傳chuan感gan器qi融rong合he是shi指zhi從cong幾ji種zhong不bu同tong的de傳chuan感gan器qi中zhong提ti取qu數shu據ju，以yi生sheng成cheng靠kao單dan個ge傳chuan感gan器qi無wu法fa提ti供gong的de信xin息xi。隨sui後hou，可ke以yi對dui該gai信xin息xi做zuo進jin一yi步bu處chu理li和he分fen析xi。並bing根gen據ju最zui終zhong應ying用yong

，必bi要yao時shi還hai可ke用yong傳chuan感gan器qi來lai製zhi定ding決jue策ce。傳chuan感gan器qi融rong合he分fen為wei兩liang大da類lei：

 

 

就嵌入式視覺係統和傳感器融合應用而言，大部分應用適合實時傳感器融合。

 

 

嵌入式視覺應用正在經曆迅猛增長
，涉及領域廣泛，從機器人、高級駕駛員輔助係統（ADAS）到(dao)增(zeng)強(qiang)現(xian)實(shi)，不(bu)一(yi)而(er)足(zu)。這(zhe)些(xie)嵌(qian)入(ru)式(shi)視(shi)覺(jiao)應(ying)用(yong)對(dui)最(zui)終(zhong)應(ying)用(yong)的(de)成(cheng)功(gong)運(yun)行(xing)有(you)很(hen)大(da)幫(bang)助(zhu)。將(jiang)嵌(qian)入(ru)式(shi)視(shi)覺(jiao)係(xi)統(tong)提(ti)供(gong)的(de)信(xin)息(xi)與(yu)來(lai)自(zi)不(bu)同(tong)傳(chuan)感(gan)器(qi)或(huo)多(duo)個(ge)傳(chuan)感(gan)器(qi)的(de)信(xin)息(xi)進(jin)行(xing)融(rong)合(he)，有(you)助(zhu)於(yu)更(geng)好(hao)理(li)解(jie)環(huan)境(jing)

，從(cong)而(er)提(ti)升(sheng)所(suo)選(xuan)應(ying)用(yong)的(de)性(xing)能(neng)。

 

很多嵌入式視覺應用隻使用一個圖像傳感器來監控一個方向，例如隻監測汽車的前方。利用這樣的圖像傳感器可以檢測
、分(fen)類(lei)和(he)跟(gen)蹤(zong)對(dui)象(xiang)。然(ran)而(er)
，由(you)於(yu)隻(zhi)使(shi)用(yong)一(yi)個(ge)傳(chuan)感(gan)器(qi)，因(yin)此(ci)就(jiu)無(wu)法(fa)測(ce)量(liang)與(yu)圖(tu)像(xiang)中(zhong)對(dui)象(xiang)的(de)距(ju)離(li)。也(ye)就(jiu)是(shi)說(shuo)，我(wo)們(men)可(ke)以(yi)檢(jian)測(ce)和(he)跟(gen)蹤(zong)到(dao)另(ling)一(yi)個(ge)車(che)輛(liang)或(huo)行(xing)人(ren)
，但(dan)如(ru)果(guo)不(bu)借(jie)助(zhu)另(ling)一(yi)個(ge)傳(chuan)感(gan)器(qi)，我(wo)們(men)就(jiu)無(wu)法(fa)確(que)定(ding)是(shi)否(fou)存(cun)在(zai)碰(peng)撞(zhuang)風(feng)險(xian)。本(ben)例(li)中(zhong)我(wo)們(men)需(xu)要(yao)另(ling)一(yi)個(ge)傳(chuan)感(gan)器(qi)
，例(li)如(ru)RADAR或LIDAR，該傳感器能提供與已檢測到的對象的距離。由於這種方法能夠將來自多個不同類型傳感器的信息融合，因此稱為異構傳感器融合。

 

 

 

另ling一yi種zhong方fang案an是shi提ti供gong第di二er個ge圖tu像xiang傳chuan感gan器qi
，以yi實shi現xian立li體ti視shi覺jiao。這zhe種zhong方fang案an是shi讓rang兩liang個ge圖tu像xiang傳chuan感gan器qi朝chao著zhe相xiang同tong方fang向xiang

，但dan分fen開kai一yi小xiao段duan距ju離li
，就jiu像xiang人ren的de兩liang個ge眼yan睛jing那na樣yang
，通tong過guo視shi差cha確que定ding對dui象xiang在zai視shi場chang中zhong的de深shen度du。像xiang這zhe樣yang使shi用yong多duo個ge相xiang同tong類lei型xing的de圖tu像xiang傳chuan感gan器qi
，稱cheng為wei同tong構gou傳chuan感gan器qi融rong合he。

 

當然，這裏需要根據駕駛條件確定架構和傳感器類型的選擇。這包括深度感的範圍、測量精度、環境光和天氣條件、實現成本以及實現複雜程度。

 

嵌入式視覺不僅可用於對象檢測和汽車防撞，還可以作為導航係統的一部分，用來收集交通標誌信息。另外，還可融合醫用X光、MRI和CT等多種不同圖像，或者融合安防與監視設備中的可見光和紅外圖像。

 

我們通常認為嵌入式視覺應用隻使用可見電磁光譜，其實很多嵌入式視覺應用能融合來自可見電磁光譜以外的數據。

 

 

如ru果guo不bu進jin行xing融rong合he
，處chu理li圖tu像xiang時shi就jiu需xu要yao相xiang當dang大da的de計ji算suan能neng力li，這zhe是shi因yin為wei係xi統tong要yao執zhi行xing一yi係xi列lie預yu處chu理li功gong能neng。例li如ru在zai使shi用yong彩cai色se圖tu像xiang傳chuan感gan器qi時shi，這zhe些xie處chu理li任ren務wu包bao括kuo顏yan色se濾lv波bo插cha值zhi、色彩空間轉換／zhongcaiyangyijituxiangxiaozheng。chucizhiwai
，womenhaiyaozhixingchuanganqironghesuanfabenshendechulirenwu，zaizhiqianshiyongdeduixiangjianceshilizhong

，womenxuyaozhixingbeijingjianfa
、閾值和輪廓檢測

，以使用最簡單方案定位對象，或者可能需要更強的 HoG／SVM 分類器。

 

隨著幀率和圖像尺寸增加
，預處理圖像和提取信息所需的處理能力也會隨之增加。

 

然而
，從圖像中提取所需的信息還隻是任務的一部分，如果使用異構融合，我們還需對來自第二個傳感器的信息進行配置、驅動
、接收和提取。如果我們選擇同構係統，則需要為第二個圖像傳感器再次執行與第一個傳感器相同的圖像處理流水線。

 

這樣能提供兩組數據，必須對這兩組數據進行處理以確定與對象的實際距離，這才是真正的融合。

 

 

在嵌入式視覺係統中
，一般使用All Programmable FPGA或All Programmable SoC來實現圖像處理流水線。如果它們能用於傳統嵌入式視覺應用，那麼也適用於嵌入式視覺融合應用。

 

無論選擇FPGA還是SoC
，嵌入式視覺應用通常使用處理器進行監視、控製和通信。如果選用All Programmable SoC，那麼中間有一個硬核
，並有很多支持外設和接口標準。如果使用All Programmable FPGA
，就會使用一個軟核，例如 MicroBlazeTM，並采用更加定製化的外設和接口支持。

 

對於嵌入式視覺傳感器融合應用，我們可進一步利用處理器為所用的眾多傳感器提供簡單接口。例如，加速計、壓力計
、陀螺儀和 GPS 傳感器都配有串行外設接口（SPI）和內部集成電路（I2C）接口，都得到All Programmable Zynq?－7000和MicroBlaze軟核處理器的支持。這使軟件能夠快速

、方便地從不同類型的傳感器獲得所需信息
，並提供給可擴展架構。

 

在可編程邏輯架構中可輕鬆實現用於從圖像傳感器提取信息的圖像處理流水線，此外，可編程邏輯架構還可用來為其他異構傳感器（例如 RADAR 和 LIDAR）或者同構係統中的多種情況實現處理流水線。

 

當使用All Programmable Zynq－7000 或 All Programmable UltraScale＋TMMPSoC時shi，處chu理li器qi存cun儲chu器qi與yu可ke編bian程cheng邏luo輯ji之zhi間jian緊jin密mi耦ou合he的de架jia構gou允yun許xu應ying用yong軟ruan件jian訪fang問wen所suo得de到dao的de數shu據ju集ji，以yi便bian進jin一yi步bu處chu理li和he製zhi定ding決jue策ce。獨du立li傳chuan感gan器qi鏈lian可ke在zai可ke編bian程cheng邏luo輯ji中zhong實shi現xian，而er且qie可ke並bing行xing運yun行xing，這zhe對dui於yu立li體ti視shi覺jiao等deng需xu要yao同tong步bu操cao作zuo的de情qing況kuang非fei常chang有you利li。

 

為了加速在可編程邏輯中實現的融合應用的交付進程，我們可利用高層次綜合（HLS）開發可直接在可編程邏輯架構中實現的算法。

 

 

開發前麵介紹的對象檢測和距離算法
，利用All Programmable SoC演示同構和異構方案。盡管兩種方案使用的傳感器類型不用，但這兩種架構的最終目標都是將兩個數據集放在處理係統的DDR內存，同時將可編程邏輯架構的性能最大化。

 

實現同構對象檢測係統需要使用相同的傳感器類型，這裏是CMOS成像傳感器。這樣做的優勢是隻需要開發一條圖像處理鏈
，這個圖像處理鏈可以為兩個圖像傳感器在可編程邏輯架構中實例化兩次。

 

同(tong)構(gou)架(jia)構(gou)實(shi)現(xian)立(li)體(ti)視(shi)覺(jiao)係(xi)統(tong)的(de)條(tiao)件(jian)之(zhi)一(yi)是(shi)要(yao)求(qiu)兩(liang)個(ge)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)同(tong)步(bu)在(zai)可(ke)編(bian)程(cheng)邏(luo)輯(ji)架(jia)構(gou)中(zhong)並(bing)行(xing)實(shi)現(xian)兩(liang)個(ge)圖(tu)像(xiang)處(chu)理(li)鏈(lian)並(bing)使(shi)用(yong)具(ju)有(you)適(shi)當(dang)約(yue)束(shu)的(de)相(xiang)同(tong)時(shi)鍾(zhong)
，這(zhe)樣(yang)有(you)助(zhu)於(yu)滿(man)足(zu)這(zhe)一(yi)苛(ke)刻(ke)的(de)要(yao)求(qiu)。

 

盡管視差計算需要進行密集處理
，但兩次實現相同的圖像處理鏈的能力可顯著節省開發成本。

 

 

上圖給出了同構方案的架構
，其中兩條圖像處理鏈主要基於可用的 IP 模塊。圖像數據采用定製的傳感器接口IP 模塊捕獲，並從並行格式轉換為AXI流媒體。這樣能實現輕鬆可擴展的圖像處理鏈；我們可以利用高性能 AXI 互連以及視頻DMA將結果從圖像處理鏈傳送到PS DDR。

 

考慮采用不同類型傳感器的異構實例
， 我們可將上麵介紹的圖像傳感器對象檢測架構與RADAR 距離檢測相結合。對於RADAR的實現


，我們有兩個選擇：脈衝方案（多普勒）或者連續波。具體選擇哪種方案取決於最終應用要求，不過，這兩種方法大同小異。

 

 

RADAR的架構可分成兩部分：信號生成和信號接收。信號生成部分負責生成連續波信號或者待傳輸的脈衝信號，無論哪種方案都需要利用信號生成 IP 模塊與高速數模轉換器進行接口連接。

 

信(xin)號(hao)接(jie)收(shou)部(bu)分(fen)也(ye)需(xu)要(yao)使(shi)用(yong)高(gao)速(su)模(mo)數(shu)轉(zhuan)換(huan)器(qi)來(lai)捕(bu)獲(huo)接(jie)收(shou)到(dao)的(de)連(lian)續(xu)波(bo)或(huo)脈(mai)衝(chong)信(xin)號(hao)。說(shuo)到(dao)信(xin)號(hao)處(chu)理(li)

，這(zhe)兩(liang)種(zhong)方(fang)案(an)都(dou)需(xu)要(yao)使(shi)用(yong)通(tong)過(guo)可(ke)編(bian)程(cheng)邏(luo)輯(ji)架(jia)構(gou)實(shi)現(xian)的(de)FFT分析方法
；同樣
，我們可使用DMA將得到的數據集傳送到PS DDR。

 

無論選擇哪種實現架構
，兩個數據集的融合算法都是通過軟件用PS來執行。另外，這些融合算法對處理帶寬要求較高，實現更高性能的一種方法是使用現有工具集功能
，尤其是設計環境 SDSoCTM。

 

SDSoC可利用Vivado HLS和連接框架（二者對軟件開發人員都是透明的）無縫地在處理器與SoC可(ke)編(bian)程(cheng)邏(luo)輯(ji)之(zhi)間(jian)傳(chuan)輸(shu)軟(ruan)件(jian)功(gong)能(neng)。當(dang)然(ran)，我(wo)們(men)可(ke)利(li)用(yong)高(gao)層(ceng)次(ci)綜(zong)合(he)為(wei)同(tong)構(gou)和(he)異(yi)構(gou)實(shi)現(xian)方(fang)式(shi)的(de)處(chu)理(li)鏈(lian)開(kai)發(fa)功(gong)能(neng)。我(wo)們(men)還(hai)可(ke)進(jin)一(yi)步(bu)擴(kuo)展(zhan)，針(zhen)對(dui)所(suo)選(xuan)的(de)實(shi)現(xian)方(fang)案(an)創(chuang)建(jian)定(ding)製(zhi)SDSoC平台，然後借助SDSoC功能，利用未占用的邏輯資源進一步加速整個嵌入式視覺係統性能的提升。

 

 

傳感器融合已經紮根，同時，嵌入式視覺係統正在迅速增長，傳感器快速推廣和普及。All Programmable FPGA 和 SoC 提供的功能使多種類型的傳感器可並行運行並按要求實現同步；同時
，利用 SoC 處理係統或軟核處理器來執行數據融合和決策活動。

 

係統和高層次綜合工具（如 SDSoC 和 Vivado HLS）
，為工程設計團隊帶來了多種優勢
，可確保如期進行應用開發。