多傳感器信息融合（Multi-sensor Information Fusion，MSIF），就(jiu)是(shi)利(li)用(yong)計(ji)算(suan)機(ji)技(ji)術(shu)將(jiang)來(lai)自(zi)多(duo)傳(chuan)感(gan)器(qi)或(huo)多(duo)源(yuan)的(de)信(xin)息(xi)和(he)數(shu)據(ju)，在(zai)一(yi)定(ding)的(de)準(zhun)則(ze)下(xia)加(jia)以(yi)自(zi)動(dong)分(fen)析(xi)和(he)綜(zong)合(he)，以(yi)完(wan)成(cheng)所(suo)需(xu)要(yao)的(de)決(jue)策(ce)和(he)估(gu)計(ji)而(er)進(jin)行(xing)的(de)信(xin)息(xi)處(chu)理(li)過(guo)程(cheng)。

 

多傳感器信息融合技術的基本原理就像人的大腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優化組合處理
，最終產生對觀測環 境的一致性解釋。

 

在(zai)這(zhe)個(ge)過(guo)程(cheng)中(zhong)要(yao)充(chong)分(fen)地(di)利(li)用(yong)多(duo)源(yuan)數(shu)據(ju)進(jin)行(xing)合(he)理(li)支(zhi)配(pei)與(yu)使(shi)用(yong)
，而(er)信(xin)息(xi)融(rong)合(he)的(de)最(zui)終(zhong)目(mu)標(biao)則(ze)是(shi)基(ji)於(yu)各(ge)傳(chuan)感(gan)器(qi)獲(huo)得(de)的(de)分(fen)離(li)觀(guan)測(ce)信(xin)息(xi)，通(tong)過(guo)對(dui)信(xin)息(xi)多(duo)級(ji)別(bie)
、多方麵組合導出更多有用信息。

 

這不僅是利用了多個傳感器相互協同操作的優勢，而且也綜合處理了其它信息源的數據來提高整個傳感器係統的智能化。

 

2. 融合體係

 

 

在信息融合處理過程中
，根據對原始數據處理方法的不同，信息融合係統的體係結構主要有三種：集中式、分布式和混合式。

 

1、集中式：jizhongshijianggechuanganqihuodedeyuanshishujuzhijiesongzhizhongyangchuliqijinxingronghechuli
，keyishixianshishironghe，qishujuchulidejingdugao，suanfalinghuo，quedianshiduichuliqiyaoqiugao，kekaoxingjiaodi
，shujuliangda，gunanyushixian。

 

2、分布式：每個傳感器對獲得的原始數據先進行局部處理，包括對原始數據的預處理
、fenleijitiqutezhengxinxi，bingtongguogezidejuecezhunzefenbiezuochujuece，ranhoujiangjieguosongruronghezhongxinjinxingrongheyihuodezuizhongdejuece。fenbushiduitongxindaikuanxuqiudi、計算速度快、可靠性和延續性好，但跟蹤精度沒有集中式高。

 

3、混合式：daduoqingkuangshibashangshuerzhejinxingbutongdezuhe，xingchengyizhonghunheshijiegou。tabaoliuleshangshuliangleixitongdeyoudian，danzaitongxinhejisuanshangyaofuchujiaoangguidedaijia。danshi，cileixitongyeyoushangshuliangleixitongnanyibinideyoushi
，zaishijichanghewangwangcaiyongcileijiegou。

 

3. 多傳感器融合特點

 

多傳感器融合 係統具有四個顯著的特點：

 

①信息的冗餘性：對於環境的某個特征，可以通過多個傳感器（或者單個傳感器的多個不同時刻）得到它的多份信息

，這些信息是冗餘的，並且具有不同的可靠性，通過融合處理，可以從中提取出更加準確和可靠的信息。

 

此外，信息的冗餘性可以提高係統的穩定性，從而能夠避免因單個傳感器失效而對整個係統所造成的影響。

 

②信息的互補性：不同種類的傳感器可以為係統提供不同性質的信息，這些信息所描述的對象是不同的環境特征，它們彼此之間具有互補性。

 

如(ru)果(guo)定(ding)義(yi)一(yi)個(ge)由(you)所(suo)有(you)特(te)征(zheng)構(gou)成(cheng)的(de)坐(zuo)標(biao)空(kong)間(jian)
，那(na)麼(me)每(mei)個(ge)傳(chuan)感(gan)器(qi)所(suo)提(ti)供(gong)的(de)信(xin)息(xi)隻(zhi)屬(shu)於(yu)整(zheng)個(ge)空(kong)間(jian)的(de)一(yi)個(ge)子(zi)空(kong)間(jian)，和(he)其(qi)他(ta)傳(chuan)感(gan)器(qi)形(xing)成(cheng)的(de)空(kong)間(jian)相(xiang)互(hu)獨(du)立(li)。

 

③信息處理的及時性：各(ge)傳(chuan)感(gan)器(qi)的(de)處(chu)理(li)過(guo)程(cheng)相(xiang)互(hu)獨(du)立(li)，整(zheng)個(ge)處(chu)理(li)過(guo)程(cheng)可(ke)以(yi)采(cai)用(yong)並(bing)行(xing)導(dao)熱(re)處(chu)理(li)機(ji)製(zhi)，從(cong)而(er)使(shi)係(xi)統(tong)具(ju)有(you)更(geng)快(kuai)的(de)處(chu)理(li)速(su)度(du)，提(ti)供(gong)更(geng)加(jia)及(ji)時(shi)的(de)處(chu)理(li)結(jie)果(guo)。

 

④信息處理的低成本性：duogechuanganqikeyihuafeigengshaodedaijialaidedaoxiangdangyudanchuanganqisuonengdedaodexinxiliang。lingyifangmian，ruguobujiangdangechuanganqisuotigongdexinxiyonglaishixianqitagongneng
，dangechuanganqidechengbenheduochuanganqidechengbenzhiheshixiangdangde。

 

4. 在自動駕駛中的應用

 

zidongjiashicheshangshiyongleduozhongduoyangdechuanganqi，butongleixingdechuanganqijianzaigongyongshanghuxiangbuchong
，tigaozidongjiashixitongdeanquanxishu。zidongjiashiyaoqiuchuanganqironghejubeiyigebixudexingzhi——實時性。

 

MSDF麵臨的主要挑戰是如何將收集來的大量數據集中在一起，並做出正確決策。如果MSDF出錯
，意味著下遊階段要麼沒有必要的信息，要是使用了錯誤的信息做出了錯誤的決策。

 

可以看到，自動駕駛汽車會通過安裝在車身周圍的攝像頭收集視覺數據，也會通過雷達（激光雷達、毫米波雷達等）來收集諸如周圍物體運動速度的數據，但是這些數據是從不同角度來描述現實世界的同一樣或不同樣的物體。

 

shiyongyueduodechuanganqi
，duijisuannenglideyaoqiujiuyuegao，zheyiweizhezidongjiashiqichebixudazaigengduodejisuanjichuliqiheneicun，zheyehuizengjiaqichedezhongliang，xuyaogengduodegonglv，haihuichanshenggengduodereliang。zhurucileidequedianhaiyouhenduo。

 

智能汽車的顯著特點在於智能，意思就是說汽車自己能通過車載傳感係統感知道路環境，自動規劃行車路線並控製車輛到達預定目標。

 

目前而言，車載感知模塊包括視覺感知模塊
、毫米波雷達、超聲波雷達
、360°環視係統等，多源傳感器的協同作用識別道路車道線、行人車輛等障礙物，為安全駕駛保駕護航。因此
，感知信息也需要融合，感知信息也需要相互補充。

 

5. 多傳感器融合的四個關鍵方法

 

 

Harmonize

 

假設有兩種不同的傳感器，稱它們為傳感器X和傳感器Z。它們都能夠感知自動駕駛汽車的外部世界。

 

在現實世界中存在一個物體
，這個物體可能是人，也可能是車，甚至是一條狗
，傳感器X和傳感器Z都能夠檢測到這個物體。

 

這zhe就jiu意yi味wei著zhe傳chuan感gan器qi對dui這zhe個ge物wu體ti進jin行xing了le雙shuang重zhong檢jian測ce，這zhe種zhong雙shuang重zhong檢jian測ce意yi味wei著zhe兩liang種zhong不bu同tong類lei型xing的de傳chuan感gan器qi都dou有you關guan於yu該gai物wu體ti的de數shu據ju報bao告gao，對dui於yu該gai物wu體ti有you兩liang個ge維wei度du不bu同tong地di認ren知zhi。

 

假設，傳感器X表示該物體高6英尺
，寬2英尺；傳感器Z表示該物體以每秒3英尺的速度正朝著自動駕駛車輛方向移動。

 

結合兩個傳感器采集到的數據，就可以得出一條相對準確的信息：有一個高約6英尺
，寬2英尺的物體正在以每秒鍾3英尺的速度移動。

 

假設這兩自動駕駛汽車上隻安裝了X傳感器，那麼就無法得知該物體的大小；若Z傳感器壞了，那麼就隻有物體的大小信息，無法檢測該物體的運動狀態。這也就是最近業內廣泛討論的“在自動駕駛汽車上應該安裝哪些傳感器”的問題。

 

此前
，特斯拉埃隆•馬斯克(Elon Musk)旗幟鮮明地聲稱，特斯拉不會安裝激光雷達。

 

盡管馬斯克自己也認為，L5自動駕駛不會通過激光雷達來實現這個想法最終可能被驗證為錯誤的，這依舊沒有改變馬斯克的決定。

 

一(yi)些(xie)反(fan)對(dui)的(de)聲(sheng)音(yin)稱(cheng)
，不(bu)配(pei)備(bei)激(ji)光(guang)雷(lei)達(da)的(de)特(te)斯(si)拉(la)，無(wu)法(fa)通(tong)過(guo)其(qi)他(ta)的(de)傳(chuan)感(gan)器(qi)獲(huo)取(qu)如(ru)同(tong)激(ji)光(guang)雷(lei)達(da)效(xiao)果(guo)相(xiang)同(tong)的(de)感(gan)官(guan)輸(shu)入(ru)

，也(ye)無(wu)法(fa)提(ti)供(gong)補(bu)償(chang)和(he)三(san)角(jiao)測(ce)量(liang)。

 

但是另一些支持者認為
，激光雷達不值得花費如此高昂的費用成本，不值得為其增大計算能力
，也不值得為其增加認知時間。

 

Reconcile

 

在同一個視場(Field of View，FOV)內，假設傳感器X探測到一個物體，而傳感器Z沒有探測到。注意
，這與物體完全在傳感器Z的FOV之外的情況有很大的不。

 

一方麵
，係統會認為傳感器X是正確的，Z是錯誤的，可能是因為Z有故障，或者有模糊探測，或者是其他的一些什麼原因。另一個方麵，也許傳感器X是錯誤的，X可能是報告了一個“幽靈”（實際上並不存在的東西），而傳感器Z報告那裏沒有東西是正確的。

 

Integrate

 

假設我們有兩個物體a和b
，分別在傳感器X和傳感器Z的視場FOV內（a在X視場內

，b在Z視場內）。也就是說，Z無法直接檢測到a，X也無法直接檢測到b。

 

目前，想要實現的效果是，能否將X和Z的報告整合在一起，讓它們在各自的視場內探測物體同時，判斷是否為X視場中的物體正在向Z視場移動，預先提醒Z將有物體進入探測區域。

 

Synthesize

 

第四種方法Synthesize是將感知數據融合在一起，你可能會遇到這樣的情況，傳感器X和傳感器Z都沒有在各自的視場內探測到物體。

 

在(zai)這(zhe)種(zhong)情(qing)況(kuang)下(xia)，沒(mei)有(you)傳(chuan)感(gan)器(qi)知(zhi)道(dao)這(zhe)個(ge)物(wu)體(ti)的(de)存(cun)在(zai)
，但(dan)是(shi)可(ke)以(yi)通(tong)過(guo)一(yi)些(xie)其(qi)他(ta)的(de)感(gan)觀(guan)數(shu)據(ju)，比(bi)如(ru)聲(sheng)音(yin)，間(jian)接(jie)地(di)弄(nong)清(qing)楚(chu)在(zai)視(shi)場(chang)之(zhi)外(wai)的(de)物(wu)體(ti)情(qing)況(kuang)。自(zi)動(dong)駕(jia)駛(shi)汽(qi)車(che)是(shi)時(shi)刻(ke)運(yun)動(dong)的(de)，所(suo)以(yi)要(yao)求(qiu)這(zhe)種(zhong)預(yu)判(pan)是(shi)瞬(shun)間(jian)發(fa)生(sheng)的(de)，像(xiang)上(shang)文(wen)提(ti)到(dao)的(de)一(yi)樣(yang)，是(shi)實(shi)時(shi)的(de)。

 

多傳感器信息融合技術應用至今
，有著非常多的應用方法，在所有方法當中較為成熟的方法包括了聚類分析法、證據理論法、DS 算法、最優理論法等。

（來源：傳感器世界，作者：清研車聯）