基於雙目立體視覺伺服的智能車室內彎道控製
發布時間:2016-04-12 責任編輯:wenwei
【導讀】智能車環境感知係統的一個重要任務就是實時地提供車輛在行使過程中的位置信息。機器視覺因其有信號探測範圍寬、獲取信息完整、符合人類認知習慣、維護成本低、不產生環境汙染等多優點,已在智能車環境感知係統中廣泛采用。
jiqishijiaochelianghuanjingganzhixitongzhongdezhuyaorenwushiwanchengdaolujimubiaodeshibiehegenzong,weizhinengchexingshitigongbixudebencheweizhixinxihezhouweihuanjingjulixinxi。
對於現實情況下的道路,一般可以將其分為兩大類,即:結構化道路和非結構化道路。結構化道路上有明顯的道路標記,且qie這zhe些xie標biao記ji具ju有you較jiao強qiang的de幾ji何he特te征zheng,道dao路lu路lu麵mian主zhu要yao是shi由you這zhe些xie標biao記ji界jie分fen確que定ding的de,如ru高gao速su公gong路lu上shang道dao路lu中zhong間jian黃huang色se的de連lian續xu標biao誌zhi線xian或huo白bai色se的de間jian斷duan標biao誌zhi線xian以yi及ji兩liang旁pang白bai色se的de連lian續xu標biao誌zhi線xian;非結構化道路上沒有明顯的道路標記,在二維圖像中道路路麵與非路麵主要依靠紋理與色彩而區分的,如沒有標記的水泥路、野外土路或石板路等。
wandaotuxiangbaohanfengfudedaoluxinxihehuanjingxinxi,jieshiledaoluzhouweichangjing。wandaojianceshicongdaolutuxiangzhongjiancechuwanquchedaoxiandebianjie,zheyeshiduiwandaolijiedejichu。jianliwandaomoxing;提取車道線像素點;擬合車道線模型屬於目前較常采用的認知方法,並在特定的結構化道路體現出較好的檢測效果。文獻[6]介紹了彎道檢測在車道偏離預警、彎道限速以及彎道防碰撞預警等領域的應用情況,並提出了彎道檢測應該建立三維車道線模型,提高適用性。
均采用的Hough變bian換huan求qiu出chu車che道dao線xian直zhi線xian方fang程cheng,從cong而er確que定ding對dui應ying直zhi線xian段duan上shang的de最zui低di點dian和he最zui高gao點dian,然ran後hou根gen據ju相xiang應ying準zhun則ze判pan斷duan曲qu線xian道dao路lu的de彎wan曲qu方fang向xiang,最zui後hou分fen段duan擬ni合he車che道dao線xian的de直zhi線xian段duan和he曲qu線xian段duan實shi現xian車che道dao線xian的de二er維wei重zhong建jian。
彎道檢測不僅需要識別出道路邊界線,還需要判斷道路彎曲方向,確定轉彎的曲率半徑。常用的車道檢測方法可分為2大類:jiyudaolutezhenghejiyudaolumoxingdefangfa。muqianguowaizhuyaochangyongjiyudaolumoxingdefangfa,jijiangwandaojiancezhuanhuaweigezhongquxianmoxingzhongshuxuecanshudeqiujiewenti。shenglvewandaoquxianmoxingjianliheshuxuecanshudefuzaqiujieguocheng,benwencaiyonglitishijiaoganzhihuanjingdesanweixinxi,liyongtadeshichayuanliduisuohuoqushineidaoluzhoubianhuanjingtuxiangzhongjiaodiantezhengdeweizhihuifuqisanweixinxilaipanduanchetidewandaozhuanxianghepianhangjiaodu。jianlileshijiaoxinxizhijiekongzhichetiqudongpianlijiaoyupianlijulishijiaosifukongzhixitong,chubucaiyongleBP控製策略,利用Simulink仿真環境實現了針對未知彎道曲率的智能車轉彎控製運動。
1 室內道路環境信息的視覺感知
1.1 立體視覺係統模型
采用針孔成像模型將圖像中任何點的投影位置與實際點的物理位置建立連線關係,攝像機光心O與空間P點間的連線OP與圖像平麵的交點即為圖像投影的位置(u,v)。用齊次坐標和矩陣表示上述透視投影關係為:
本文采用的雙目平行相機的模型如圖1所示,C1與C2攝像機的焦距相等,各內部參數也相等,而且兩個相機的光軸互相平行,x軸互相重合,y軸互相平行,因此,將第一個攝像機沿x軸平移一段距離b後與第二個攝像機完全重合。假設C1坐標係為O1 x1 y1 z1,C2坐標係為O2 x2 y2 z2,則在上述攝像機配置下,若任何空間點P的坐標在C1坐標係下為(x1),y1,z1,在C2坐標係下為(x1)-b,y1,z1。由中心攝影的比例關係可得:
其中(u1,v1)、(u2,v2)分別為P1與P2的圖像坐標。由P1與P2的圖像坐標(u2,v2)、(u2,v2)可求出空間點P的三維坐標(x1,y1,z1)。
1.2 室內環境特征向量的提取與匹配
由於噪聲、光照變化、遮(zhe)擋(dang)和(he)透(tou)視(shi)畸(ji)變(bian)等(deng)因(yin)素(su)的(de)影(ying)響(xiang),空(kong)間(jian)同(tong)一(yi)點(dian)投(tou)影(ying)到(dao)兩(liang)個(ge)攝(she)像(xiang)機(ji)的(de)圖(tu)像(xiang)平(ping)麵(mian)上(shang)形(xing)成(cheng)的(de)對(dui)應(ying)點(dian)的(de)特(te)性(xing)可(ke)能(neng)不(bu)同(tong),對(dui)在(zai)一(yi)幅(fu)圖(tu)像(xiang)中(zhong)的(de)一(yi)個(ge)特(te)征(zheng)點(dian)或(huo)者(zhe)一(yi)小(xiao)塊(kuai)子(zi)圖(tu)像(xiang),在(zai)另(ling)一(yi)幅(fu)圖(tu)像(xiang)中(zhong)可(ke)能(neng)存(cun)在(zai)好(hao)幾(ji)個(ge)相(xiang)似(si)的(de)候(hou)選(xuan)匹(pi)配(pei)。因(yin)此(ci)需(xu)要(yao)另(ling)外(wai)的(de)信(xin)息(xi)或(huo)者(zhe)約(yue)束(shu)作(zuo)為(wei)輔(fu)助(zhu)判(pan)據(ju),以(yi)便(bian)能(neng)得(de)到(dao)惟(wei)一(yi)準(zhun)確(que)的(de)匹(pi)配(pei)。最(zui)近(jin)鄰(lin)法(fa)是(shi)一(yi)種(zhong)有(you)效(xiao)的(de)為(wei)每(mei)個(ge)特(te)征(zheng)點(dian)尋(xun)找(zhao)匹(pi)配(pei)點(dian)的(de)方(fang)法(fa)。最(zui)近(jin)鄰(lin)點(dian)被(bei)定(ding)義(yi)為(wei)與(yu)特(te)征(zheng)點(dian)的(de)不(bu)變(bian)描(miao)述(shu)子(zi)向(xiang)量(liang)之(zhi)間(jian)的(de)歐(ou)氏(shi)距(ju)離(li)最(zui)短(duan)的(de)點(dian)。
假定參考圖像P的SIFT特征點集合為:FP ={FP (1),FP (2),-,FP (m)},m為圖像P的特征點的個數;待匹配圖像Q的特征點的個數為N,SIFT特征點集合為FQ ={FQ (1),FQ (2),-,FQ (m)}。當在建立參考圖像中的特征點和待匹配圖像的特征篩選對應匹配關係時,應按照圖2所示的算法進行對稱性測試,隻有當兩個匹配集中的對應點完全一致時,才視為有效匹配。
SIFT特(te)征(zheng)向(xiang)量(liang)生(sheng)成(cheng)後(hou),利(li)用(yong)特(te)征(zheng)點(dian)向(xiang)量(liang)的(de)歐(ou)式(shi)距(ju)離(li)來(lai)作(zuo)為(wei)兩(liang)幅(fu)圖(tu)像(xiang)中(zhong)特(te)征(zheng)點(dian)的(de)相(xiang)似(si)性(xing)判(pan)定(ding)度(du)量(liang)。最(zui)近(jin)鄰(lin)法(fa)是(shi)一(yi)種(zhong)有(you)效(xiao)的(de)為(wei)每(mei)個(ge)特(te)征(zheng)點(dian)尋(xun)找(zhao)匹(pi)配(pei)點(dian)的(de)方(fang)法(fa)。
最近鄰點被定義為與特征點的不變描述子向量之間的歐氏距離最短的點。對特征點集合FP中的每個點,逐一計算其與特征點集合FQ中每個點的距離,得到特征點之間的距離集合D。將距離集合D中的元素進行排序,得到最近鄰距離dmin和次近鄰距離dn–nim。SIFT算法通過判斷最近鄰和次近鄰距離的比值:
來區分正確匹配對和錯誤匹配對。
對於正確的匹配對,其最近鄰距離dmin要遠遠小於次近鄰距離dn-nim,即DistanceRatio-1;而錯誤的匹配對,由於特征空間的維數很高,其最近鄰距離dmin與次近鄰距離dn-nim差距不大,即DistanceRatio≈1。所以可取一個距離比閾值Threh∈(0,1)來區分正確匹配對和錯誤匹配對。
1.3 運動估計
進行特征點立體匹配和跟蹤匹配如圖2所示,對當前時刻t獲得圖像對(ImgL1和ImgL2)進行SIFT特征匹配之後獲得道路環境匹配特征點Ni個,再對相鄰時刻t+1獲得的Ni+1個特征點計算歐式距離,尋找t與t+1時刻獲取圖像中相同的特征點,得到一係列匹配點在車體運動前後的三維坐標。
本文實驗環境是在室內,在假定室內環境為理想的水平麵的基礎上,同一特征點三維坐標中y坐標保持基本不變,即車體運動參數僅在x-z坐標平麵內發生變化。
圖3中點P(x1,y1,z1)為所提取環境特征點,在t時刻立體匹配後得到其在攝像頭坐標係下的三維坐標,由於攝像頭固定安裝在小車上,因此通過坐標係的旋轉與平移變換可將點P的三維坐標轉換到小車坐標係ΣBt下表示。同理,t+1時刻所獲取的圖像中相同點P的(u,v)二維坐標發生變化,經坐標轉換後可得到小車坐標係ΣBt+1下表示。
小車t時刻位於位置A時,特征點P在坐標係ΣBt為參考位置的三維坐標是[x1],y1,z1T,當經過t+1時刻後移動到空間位置B時,同一特征點P在以B為參考位置的三維坐標為[x]t+1,yt+1,zt+1T,所以得到:
當這些位置滿足3個及以上相同的匹配特征點時,小車所在坐標係間的平移與旋轉向量就可以通過以上方程獲得。
2 車體的轉彎控製
2.1 車體定位參數計算
環境特征點投影到車體坐標係下表示後,即為所有的環境坐標均統一在世界坐標係下的表示。如圖4所示,其中小車前進方向為zw軸,xw水平垂直於zw,方向向右,其交點為原點Ow。直線為lmid為道路中間線,lmid與zw的夾角為φ,即為車輛的偏航角。點Ow到左車道線lL的距離為DL,到右車道線lR的距離為DR,可行駛區域的道路寬度為w = DL+DR。
2.2 彎道控製策略
2.2.1 控製策略
機ji器qi人ren的de底di層ceng運yun動dong控kong製zhi是shi非fei常chang重zhong要yao的de一yi個ge環huan節jie,機ji器qi人ren運yun動dong控kong製zhi的de好hao壞huai直zhi接jie決jue定ding了le能neng否fou有you效xiao執zhi行xing決jue策ce意yi圖tu,準zhun確que無wu誤wu地di沿yan著zhe預yu定ding軌gui跡ji行xing進jin,完wan成cheng導dao航hang任ren務wu。傳chuan統tong的de定ding位wei控kong製zhi中zhong,PI、PID是shi廣guang泛fan采cai用yong的de控kong製zhi方fang法fa,這zhe些xie方fang法fa比bi較jiao成cheng熟shu,但dan卻que具ju有you一yi定ding的de局ju限xian性xing。對dui被bei控kong係xi統tong的de參can數shu變bian化hua比bi較jiao敏min感gan,難nan以yi克ke服fu係xi統tong中zhong非fei線xian性xing因yin素su的de影ying響xiang。本ben文wen采cai用yongBPshenjingwangluokongzhiqizaixingshiguochengzhongjingxuexiduiwangluojinxingxunlian,yishiyingdangqiandehuanjinglukuanglaitiaozhengchedezuoyoulunsukongzhiliang。zhinengchezuoyoulunsudedaxiao,hechetipianlidaoluzhongjianxianlmid的距離d和車運動時方向偏離中間線的角度φ有關。小車控製輸入為d,φ,輸出為VL,VR。
基於雙目立體視覺獲取得到的三維信息,即為經左右圖像SIFT特(te)征(zheng)點(dian)匹(pi)配(pei),在(zai)攝(she)像(xiang)頭(tou)坐(zuo)標(biao)係(xi)中(zhong)獲(huo)取(qu)前(qian)景(jing)環(huan)境(jing)中(zhong)各(ge)關(guan)鍵(jian)點(dian)的(de)坐(zuo)標(biao)信(xin)息(xi)。選(xuan)取(qu)關(guan)鍵(jian)點(dian)中(zhong)與(yu)機(ji)器(qi)人(ren)基(ji)坐(zuo)標(biao)係(xi)原(yuan)點(dian)高(gao)度(du)靠(kao)近(jin)的(de)點(dian),並(bing)且(qie)該(gai)點(dian)的(de)個(ge)數(shu)需(xu)大(da)於(yu)3,之後,采用最小二乘法擬合可得行駛區域的邊界直線,即確定了車體定位參數中左、右車道線lL、lR。直線與圖像右邊界存在交點,即可判斷出彎道轉向。同時,擬合確定的左車道線與圖像下邊緣的交點Pl0為第一個控製點;以圖像右邊界與擬合直線的交點處為第二個控製點Pln。圖5表示為前景環境中對特征點的匹配結果圖和判斷可行駛區域。
對序列圖像進行實時處理時,由於攝像機采集係統速度為30幀/s,車速在不超過33cm/s的情況下,采集一幀圖像智能車向前行駛約小於1cm,連續采集的兩幀圖像中所判斷的車道左右車道線和彎道方向偏差不會太大。

2.2.2 控製仿真實驗
實驗采用BP神經網絡作為控製對偏離角φ進行仿真實驗。在Simulink環境下搭建的係統模型中BP神經網絡的搭建如圖6所示。U為經由視覺信息得到的偏航角φ作為係統輸入量,輸出Y為小車質心速度V。小車左、右輪速可在判斷彎道轉向的前提下,由兩輪速差VD經計算得出。若如圖5所示,彎道轉向向右:
利用Simulink庫中Signal Builder產生變化的Signal仿真實際環境中視覺係統得到的當前車體的偏移量。
小車經左右輪差速轉彎運動中質心位置實際偏轉角度作為網絡的輸入,經訓練學習反饋回係統的控製輸入端。圖7為控製仿真結果圖,由圖示可知該方法基本完成了對信號的控製跟蹤,由此說明了利用雙目立體視覺所獲得的信息,並采用BP網絡自學習對道路的變化可適用於不同彎道的道路,避免了傳統PID控製方法因彎道曲率變化使得小車轉彎控製失敗。
3 結論
jiezhujiqishijiaoxitongpanduanxiaochekexingshiquyu,tongshihaikeqingxidipanduanchuwanquxianludezouxiang,bimianlewandaofangxiangdefuzapanbiefangfa,qiegaifangfapubianshiyongyubutongdedaoluhuanjing,tebieshifeijiegouhuadedaoluhuanjing,yezengqianglesuanfadeshiyongxinghelubangxing。danmuqianduishuangmushexiangjijinxingjingquepipeihebiaodingrengranshigejishunanti;神經網絡訓練方法在選取訓練樣本數據和精確定位車輛位置方麵也比較困難,這將是進一步研究的主要關鍵問題。來源:電子發燒友。
【推薦閱讀】
特別推薦
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
技術文章更多>>
- 邊緣AI的發展為更智能、更可持續的技術鋪平道路
- 每台智能體PC,都是AI時代的新入口
- IAR作為Qt Group獨立BU攜兩項重磅汽車電子應用開發方案首秀北京車展
- 構建具有網絡彈性的嵌入式係統:來自行業領袖的洞見
- 數字化的線性穩壓器
技術白皮書下載更多>>
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門搜索
Future
GFIVE
GPS
GPU
Harting
HDMI
HDMI連接器
HD監控
HID燈
I/O處理器
IC
IC插座
IDT
IGBT
in-cell
Intersil
IP監控
iWatt
Keithley
Kemet
Knowles
Lattice
LCD
LCD模組
LCR測試儀
lc振蕩器
Lecroy
LED
LED保護元件
LED背光


