基於單目視覺的智能車輛視覺導航係統設計
發布時間:2012-02-23
中心議題:
- 探討基於單目視覺的智能車輛視覺導航係統設計
解決方案:
- 采用了一種基於光密度差的道路檢測算法
- 使用了車輛陰影檢測為主、左右邊緣檢測為輔的車輛探測方法
- 采用了簡單、實用的測距和報警方法
引言
基於計算機視覺的高速公路防撞係統是當前智能交通管理係統研究的熱點之一。如何在多 變的環境下快速準確地從視頻圖像裏檢測到車道和前方車輛是實現這類係統麵臨的最關鍵問題。近20年來,國內外很多研究人員對這個問題進行了大量研究,提出 了多種多樣的實用算法並成功開發了一些視覺係統。這些係統所采用的算法基本上可以分為基於雙目視覺的方法、基於運動的方法、基於外形的方法和基於知識的方 法。基於雙目立體視覺的方法計算量大,需要特殊硬件支持;基於運動的方法,無法檢測靜止目標且實時性差;基於外形的方法,因建立有效的培訓樣本仍然是需要 研究的問題;基於知識的方法,在障礙物數量較少時效率較高,但複雜環境下錯誤率有所增加。
針zhen對dui常chang規gui算suan法fa的de不bu足zu,本ben文wen設she計ji了le一yi種zhong精jing度du高gao,穩wen定ding性xing好hao的de基ji於yu單dan目mu視shi覺jiao的de車che載zai追zhui尾wei預yu警jing係xi統tong。它ta利li用yong一yi種zhong新xin的de邊bian緣yuan檢jian測ce算suan法fa識shi別bie前qian方fang道dao路lu,然ran後hou利li用yong陰yin影ying檢jian測ce與yu跟gen蹤zong相xiang結jie合he的de方fang法fa識shi別bie前qian方fang車che輛liang,接jie下xia來lai根gen據ju前qian後hou車che距ju判pan斷duan其qi威wei脅xie等deng級ji,最zui終zhong向xiang駕jia駛shi員yuan提ti供gong相xiang應ying的de聲sheng光guang報bao警jing信xin號hao。
1 係統工作原理
係 統硬件部分包括MCC-4060型CCD攝像機、VT-121視頻采集卡、GPS、PC-104工控機和顯示終端。GPS通過串口向工控機發送本車車速信 息,安裝在車內擋風玻璃後的CCD攝像機將圖像幀通過視頻采集卡送入工控機,經過軟件的處理分析後,在顯示終端上標注出前車障礙物和道路標線,同時根據車 速、間距等判斷危險等級,發出相應的聲光報警信號;
係統的軟件部分包括道路檢測、道路跟蹤、車輛檢測、車輛跟蹤、測距、決策和報警等模 塊。當車速達到60km/h時,係統開始處理實時采集到的圖像序列。對於每一幀圖像,首先檢測並跟蹤圖像中的車道白線,然後在車道確定的感興趣區域內檢測 車che輛liang。如ru果guo存cun在zai疑yi似si障zhang礙ai車che輛liang,則ze啟qi動dong車che輛liang跟gen蹤zong,利li用yong跟gen蹤zong信xin息xi進jin一yi步bu排pai除chu虛xu警jing。在zai實shi現xian對dui障zhang礙ai車che輛liang穩wen定ding跟gen蹤zong後hou,估gu算suan出chu兩liang車che間jian距ju和he相xiang對dui運yun動dong速su度du,判pan定ding其qi威wei脅xie等deng 級,並發出相應的報警信號。
2 係統關鍵技術
2.1 道路檢測
目前, 車(che)道(dao)線(xian)檢(jian)測(ce)算(suan)法(fa)主(zhu)要(yao)適(shi)用(yong)於(yu)光(guang)照(zhao)充(chong)足(zu)的(de)環(huan)境(jing)下(xia)。由(you)於(yu)車(che)道(dao)線(xian)與(yu)路(lu)麵(mian)之(zhi)間(jian)對(dui)比(bi)度(du)大(da),因(yin)此(ci)很(hen)容(rong)易(yi)利(li)用(yong)各(ge)種(zhong)常(chang)規(gui)邊(bian)緣(yuan)檢(jian)測(ce)算(suan)子(zi)獲(huo)得(de)清(qing)晰(xi)的(de)車(che)道(dao)輪(lun)廓(kuo)信(xin)息(xi),然(ran)後(hou)選(xuan)取(qu)合(he)適(shi)的(de) 閾值對圖像進行二值化處理,最後采用Hough變換識別車道線。然而在複雜光照環境下,圖像會受到各種光線直射和物體多次反射形成雜散光的幹擾,圖像光強 不能反映車道本身突變性質,導致無法正確檢測出車道。
本係統采用了一種利用光密度差得到車道標線與路麵反射率差,進而進行非線性邊緣檢測,再進行Hough變換的車道檢測算法。此算法可以有效解決在複雜光照條件下的車道檢測,也可以用於夜間的車道檢測。
另 外,目前車道線的跟蹤研究主要采用固定區域法或者Kalman濾波法,根據前一幀車道線檢測的結果來劃分感興趣區域,以實時跟蹤車道線。然而,固定區域法 對2幀圖像的相關性依賴大,劃分感興趣區域大,實時性差;而Kalman濾波法劃分感興趣區域小,容易產生檢測誤差,而造成跟蹤誤差累積,跟蹤正確率不 高。因此,本係統在跟蹤車道線時采用了一種融合固定區域法和KaIman濾波法劃分感興趣區域的新方法。
一般來說,隻將車道邊界線交點(即滅點)以下、2車道線之間的區域作為感興趣區域,考慮到跨道行駛的車輛依然對本車有威脅,算法把兩車道線分別向兩側平移40個像素,使感興趣區域擴展到可以覆蓋跨道車輛的範圍。
2.2 車輛檢測
圖像中包含車輛前方很大視野內的物體,如道路、樹木、護欄、標biao牌pai以yi及ji其qi他ta車che輛liang,要yao從cong中zhong準zhun確que檢jian測ce出chu前qian方fang車che輛liang是shi一yi項xiang困kun難nan的de工gong作zuo,而er本ben文wen的de車che輛liang檢jian測ce模mo塊kuai會hui根gen據ju圖tu像xiang背bei景jing自zi動dong改gai變bian設she置zhi參can數shu,以yi適shi應ying不bu斷duan變bian化hua的de道dao路lu場chang景jing和he光guang照zhao條tiao件jian。
yaoshixiancheliangdekuaisujiance,shouxianxuyaogenjucheliangdejibentezhengjinxingchubujiance,jiangsuoyoukenengdeyisicheliangquyucongtuxiangzhongtiquchulai,ranhouzaigenjuqitatezhengduiyisiquyujinxingshaixuanpaichu。
[page]
2.2.1 車輛初步檢測
初步檢測采用的特征是車輛陰影,即一塊位於目標車輛底部、灰度值明顯比附近路麵區域低的區域。在一般環境條件下,大部分車輛都具有這一顯著特征。
車 輛初步檢測的流程如圖1所示。車輛陰影和車道一樣具有灰度突變的特點,因此可以調用車道檢測算法對圖2(a)中的原始圖像做二值化處理,得到圖2(b)中 的邊緣二值化圖像。同時還要對原始圖像進行灰度二值化,得到圖2(c)中的灰度二值化圖像。為提高檢測實時性,以本車附近路麵區域的平均灰度作為二值化閾 值。由於邊緣二值化圖像和灰度二值化圖像都包括了車輛的下底邊,將這兩幅圖像進行“或”運算,就可以得到如圖2(d)所示的車輛陰影圖像。
在 陰(yin)影(ying)圖(tu)像(xiang)中(zhong)由(you)下(xia)至(zhi)上(shang)逐(zhu)行(xing)搜(sou)索(suo),尋(xun)找(zhao)連(lian)續(xu)陰(yin)影(ying)點(dian)超(chao)過(guo)一(yi)定(ding)閾(yu)值(zhi)的(de)線(xian)段(duan),並(bing)以(yi)此(ci)線(xian)段(duan)為(wei)底(di)邊(bian)劃(hua)出(chu)一(yi)個(ge)矩(ju)形(xing)區(qu)域(yu)作(zuo)為(wei)疑(yi)似(si)車(che)輛(liang)區(qu)域(yu)。為(wei)保(bao)證(zheng)疑(yi)似(si)區(qu)域(yu)包(bao)含(han)車(che)輛(liang)整(zheng)體(ti),矩(ju)形(xing) 的(de)寬(kuan)度(du)比(bi)線(xian)段(duan)稍(shao)寬(kuan),高(gao)度(du)由(you)寬(kuan)度(du)按(an)比(bi)例(li)給(gei)出(chu)。為(wei)避(bi)免(mian)重(zhong)複(fu)搜(sou)索(suo),將(jiang)已(yi)搜(sou)索(suo)到(dao)的(de)疑(yi)似(si)區(qu)域(yu)內(nei)陰(yin)影(ying)完(wan)全(quan)抹(mo)去(qu)。由(you)於(yu)同(tong)一(yi)車(che)輛(liang)的(de)各(ge)個(ge)部(bu)分(fen)可(ke)能(neng)分(fen)別(bie)被(bei)檢(jian)測(ce)為(wei)疑(yi)似(si)目(mu)標(biao),因(yin)此(ci) 還需要對各個相交的疑似區域進行合並。由於前方車輛的遮擋,可能會將多個目標認定為一個目標,但是對本車的安全無影響。
2.2.2 篩選驗證
如果單純采用陰影特征進行車輛檢測,在保證較低“漏警”率的同時,也造成了較高的“虛警”率,因此還需要對疑似區域進行篩選和驗證。
對 於結構化道路,車輛寬度與車道寬度的比值應該是大致固定的,那麼當攝像機的焦距、俯仰角等參數固定後,圖像上車道寬度(像素數)與車輛寬度(像素數)也滿 足zu這zhe個ge比bi例li。根gen據ju之zhi前qian檢jian測ce的de車che道dao方fang程cheng,就jiu可ke以yi計ji算suan出chu感gan興xing趣qu區qu域yu內nei任ren意yi縱zong坐zuo標biao上shang車che輛liang圖tu像xiang寬kuan度du的de範fan圍wei,並bing剔ti除chu寬kuan度du不bu在zai此ci範fan圍wei內nei的de疑yi似si區qu域yu。
在(zai)以(yi)往(wang)的(de)車(che)輛(liang)驗(yan)證(zheng)方(fang)法(fa)中(zhong),最(zui)常(chang)用(yong)的(de)是(shi)對(dui)稱(cheng)性(xing)測(ce)度(du)驗(yan)證(zheng)。這(zhe)種(zhong)算(suan)法(fa)的(de)計(ji)算(suan)量(liang)較(jiao)大(da),且(qie)對(dui)於(yu)背(bei)景(jing)複(fu)雜(za),對(dui)稱(cheng)度(du)差(cha)圖(tu)像(xiang)的(de)驗(yan)證(zheng)效(xiao)果(guo)不(bu)盡(jin)人(ren)意(yi)。為(wei)了(le)解(jie)決(jue)這(zhe)個(ge)問(wen)題(ti),該(gai)係(xi)統(tong)采(cai)用(yong)了(le)一(yi)種(zhong)基(ji)於(yu)邊(bian)緣(yuan)二(er)值(zhi)化(hua)圖(tu)像(xiang),通(tong)過(guo)搜(sou)索(suo)車(che)輛(liang)左(zuo)右(you)邊(bian)緣(yuan)進(jin)行(xing)驗(yan)證(zheng)的(de)算(suan)法(fa)。
假設疑似區域的寬度為W,區域左邊緣的坐標為(X1,Y1),右邊緣的水平坐標為(X2,Y2)。定義函數:

式 中:f(x,y)為(x,y)點的灰度值。在區間(X1-W/4,X1+W/4)內搜索g(u)的最大值點,該點對應的水平坐標X1’就是車輛的左邊緣坐 標。同理也可以搜索到車輛的右邊緣X2’。如果左右邊緣的g(u)值均大於某閾值,那麼就可以認定該車輛確實存在。實驗證明,該算法能排除掉大量的“虛 警”區域並得到真實車輛的兩側邊緣。
2.3 車輛跟蹤
現關心的是前方車輛與本車相對的二維位置和速度,因此隻需要使用卡爾曼濾波器預測橫坐標x、橫向速度Vx、縱坐標y、縱向坐標Vy這四個狀態向量。此外由於x方向和y方向的狀態向量沒有直接聯係,所以可以將其分為兩組分別處理。
在車輛行駛過程中,由於顛簸或遮擋等原因,係統可能會將路牌、guanmucongdengwutiwurenweishicheliangjiancechulai,chanshengxujing。erzhexiexujingwutiwangwangzhinengzailianxushuzhentuxiangzhongcunzai。ruguobucaiqucuoshi,xitongjiuhuishichangchanshengduancudebaojing。
當圖像采樣間隔足夠短時,相鄰幀內同一車輛的位置會具有很大的相關性。
係 統采用檢測與跟蹤相結合的方法,根據第n幀圖像獲得的信息,預測車輛在第n+1幀圖像中的位置等信息,並與n+1幀圖像中實際檢測到的結果進行比對。如果 二者匹配度最大且超出一定值,則認定為同一車輛,繼續進行跟蹤、報警,否則認為此車已被遮擋或消失,暫時不做處理,數幀後被剔除出去。
[page]
2.4 測距報警
車間測距通常采用幾何投影模型,采用了一種簡化的車距模型公式L×W=C,其中L為兩車間距,單位為m;W為圖像上目標車輛處車道寬度,單位為pixel;C為常數,可通過事先的標定獲得。然而兩車間安全車距S采用文獻推導的臨界安全車距公式動態得到。

式中:Vr為相對車速,由對測出車距求導得到相對車速後進行卡爾曼濾波得到;Vb為本車車速,由GPS得到。
如果告警頻率過高,容易使駕駛員麻痹大意,過低可能使駕駛員來不及做出反應,因此該係統采用由遠至近的三段報警。
若 車距d≥1.5S,判定為3級威脅,發出長而緩的報警聲,提醒駕駛員前方有障礙物,但暫無危險;若車距S≤d≤1.5S,判定為2級威脅,發出較急促的報 警聲,提醒駕駛員減速;若車距d≤S,判定為1級威脅,發出短而急的報警聲,提醒駕駛員製動;3種狀態下的告警聲差異很大,駕駛員可以很容易地根據報警聲 判斷威脅等級。
3 試驗結果
係統框架及所有算法在Boiland C++ Builder 6環境下編譯完成。為了驗證係統算法的可靠性和實時性,利用在合肥市環城高速公路上采集不同車型、不同路段、不同環境光下多組道路圖像作為測試序列,進行了大量實驗。
圖3為典型道路場景下的實驗結果,圖3(a)為大型卡車;(b)為小型麵包車;(c)為遠距離處;(d)為近距離處的檢測結果。係統將檢測到的目標用黑框標記出來。
可以看出,係統能夠檢測到本車道內不同距離上的各種車型車輛。在高速公路上的實驗結果表明,在最大車速100 km/h的情況下,係統在Celeron M 600 MHz處理器上的處理速度為8 j/s左右,也就是說處理一幀圖像的時間內車輛行駛3~4 m,基本滿足實時報警的要求。在一般光照條件下,係統正常報警的縱向距離超過200 m,視場角遠遠大於雷達(一般為±7°)。
為了驗證單目視覺測距準確性,在市內道路上采集了前車與本車距離從5~100 m的一組圖像。對采集的圖像進行處理後,根據公式推導出本車與前車距離以及實際距離見表1。表中數據顯示,單目視覺測距的相對誤差都在5%以內,可以滿足實際工作中測距告警的需要。
4 結語
本 文設計了一個基於單目視覺的汽車追尾預警係統。該係統采用了一種基於光密度差的道路檢測算法,並使用了一種以車輛陰影檢測為主、左右邊緣檢測為輔的車輛探 測方法,同時采用了簡單、實用的測距和報警方法。高速公路上的實驗結果證明了該係統的實時性、魯棒性和準確性。該係統目前還沒有在雨霧天氣或缺少照明的夜 間環境下進行試驗,未來我們將針對這些使用環境對係統做進一步改進和優化。
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
- 貿澤EIT係列新一期,探索AI如何重塑日常科技與用戶體驗
- 算力爆發遇上電源革新,大聯大世平集團攜手晶豐明源線上研討會解鎖應用落地
- 創新不止,創芯不已:第六屆ICDIA創芯展8月南京盛大啟幕!
- AI時代,為什麼存儲基礎設施的可靠性決定數據中心的經濟效益
- 矽典微ONELAB開發係列:為毫米波算法開發者打造的全棧工具鏈
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall









