【導讀】得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝she像xiang頭tou在zai工gong業ye應ying用yong，尤you其qi是shi機ji器qi人ren領ling域yu越yue來lai越yue受shou歡huan迎ying。盡jin管guan具ju有you這zhe些xie優you勢shi
，但dan光guang學xue係xi統tong的de固gu有you複fu雜za性xing往wang往wang會hui約yue束shu視shi場chang
，從cong而er限xian製zhi獨du立li功gong能neng。本ben文wen中zhong討tao論lun的de3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合，生成連續的高質量3D圖像，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互，深度學習網絡在移動機器人應用中特別有價值。

摘要

得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)攝she像xiang頭tou在zai工gong業ye應ying用yong，尤you其qi是shi機ji器qi人ren領ling域yu越yue來lai越yue受shou歡huan迎ying。盡jin管guan具ju有you這zhe些xie優you勢shi，但dan光guang學xue係xi統tong的de固gu有you複fu雜za性xing往wang往wang會hui約yue束shu視shi場chang
，從cong而er限xian製zhi獨du立li功gong能neng。本ben文wen中zhong討tao論lun的de3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合，生成連續的高質量3D圖像，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互，深度學習網絡在移動機器人應用中特別有價值。
 
簡介

飛行時間(TOF)攝像頭作為出色的測距成像係統脫穎而出，它利用TOF技術來確定攝像頭與圖像中每個點之間的距離。通過測量激光器或LED發射的人造光信號的往返時間
，便可計算出距離。TOF攝像頭提供精確的深度信息，因此在準確距離測量和3D可視化至關重要的應用中，比如在機器人和工業技術應用中，該攝像頭是極具價值的工具，例如能夠在270°的視場(FOV)範圍執行碰撞檢測和人體檢測
，從而提高安全性。
 
ADTF3175 TOF傳感器的校準FOV可達到75°。然而
，當應用的FOV超chao出chu該gai區qu域yu時shi，挑tiao戰zhan出chu現xian

，此ci時shi就jiu需xu要yao多duo個ge傳chuan感gan器qi。如ru果guo通tong過guo集ji成cheng各ge個ge傳chuan感gan器qi的de數shu據ju來lai為wei整zheng個ge視shi場chang提ti供gong全quan麵mian的de分fen析xi
，這zhe可ke能neng會hui造zao成cheng困kun難nan。一yi個ge潛qian在zai解jie決jue方fang案an是shi讓rang傳chuan感gan器qi對dui部bu分fenFOV執行算法，然後將輸出傳輸至主機以進行整理。然而
，該方法麵臨區域重疊、死區和通信延遲等問題，導致其成為很難有效解決的複雜問題。
 
另ling一yi種zhong方fang法fa是shi將jiang從cong所suo有you傳chuan感gan器qi捕bu獲huo的de數shu據ju拚pin接jie成cheng單dan個ge圖tu像xiang
，隨sui後hou在zai拚pin接jie的de圖tu像xiang上shang應ying用yong檢jian測ce算suan法fa。該gai過guo程cheng可ke卸xie載zai至zhi單dan獨du的de主zhu機ji處chu理li器qi

，從cong而er減jian輕qing傳chuan感gan器qi單dan元yuan的de計ji算suan負fu荷he，留liu出chu空kong間jian執zhi行xing高gao級ji分fen析xi和he其qi他ta處chu理li選xuan項xiang。然ran而er，值zhi得de注zhu意yi的de是shi，傳chuan統tong圖tu像xiang拚pin接jie算suan法fa本ben身shen非fei常chang複fu雜za，會hui消xiao耗hao主zhu機ji處chu理li器qi相xiang當dang一yi部bu分fen的de計ji算suan能neng力li。此ci外wai，由you於yu隱yin私si原yuan因yin，在zai許xu多duo應ying用yong中zhong，數shu據ju無wu法fa發fa送song到dao雲yun端duan進jin行xing拚pin接jie。
 
ADIgongsidesuanfajiejuefangankeshiyongshendushujudedianyuntouying，pinjielaizibutongchuanganqideshenduhehongwaituxiang。zhebaokuoshiyongshexiangtouwaibuweizhizhuanhuanbuhuodaodeshujubingjiangqitouyinghuidao2D空間
，從而生成單張連續顯示的圖像。

該方法能夠大幅減少計算量，有助於在邊緣達到實時運行的速度，並確保主機處理器的計算能力仍可用於其他高級分析。

圖1.深度拚接算法。

解決方案描述

ADI的3D TOF解決方案分4個階段運行（參見圖1）：

1. 預處理紅外和深度數據：紅外和深度數據的時間同步及預處理。
2. 將深度數據投影到3D點雲：利用攝像頭內參將深度數據投影到3D點雲。
3. 轉換和合並點：使用攝像頭的外部位置對點雲進行坐標轉換，並合並重疊區域。
4. 將點雲投影到2D圖像：采用圓柱投影將點雲投影回到2D圖像。

係統與算法的挑戰及解決方案
 
主機接收深度和紅外幀

主機通過USB等高速連接方式連接到多個TOF傳感器。主機收集深度和紅外幀
，並將其存儲在隊列中。
 
同步深度和紅外數據

主(zhu)機(ji)接(jie)收(shou)到(dao)的(de)來(lai)自(zi)每(mei)個(ge)傳(chuan)感(gan)器(qi)的(de)深(shen)度(du)和(he)紅(hong)外(wai)幀(zhen)在(zai)不(bu)同(tong)時(shi)間(jian)實(shi)例(li)被(bei)捕(bu)獲(huo)。為(wei)了(le)避(bi)免(mian)因(yin)物(wu)體(ti)移(yi)動(dong)而(er)造(zao)成(cheng)的(de)時(shi)間(jian)不(bu)匹(pi)配(pei)
，所(suo)有(you)傳(chuan)感(gan)器(qi)的(de)輸(shu)入(ru)需(xu)要(yao)同(tong)步(bu)到(dao)同(tong)一(yi)時(shi)間(jian)實(shi)例(li)。使(shi)用(yong)時(shi)間(jian)同(tong)步(bu)器(qi)模(mo)塊(kuai)
，該(gai)模(mo)塊(kuai)根(gen)據(ju)來(lai)自(zi)隊(dui)列(lie)的(de)時(shi)間(jian)戳(chuo)匹(pi)配(pei)傳(chuan)入(ru)的(de)幀(zhen)。
 
投影到點雲

通過使用每個傳感器的同步深度數據，在主機上生成點雲。然後，每個點雲根據其各自在真實場景中的攝像頭位置（參見圖2）進行轉換（平移和旋轉）。接著
，這些轉換後的點雲合並形成單個連續點雲，覆蓋傳感器的組合FOV（參見圖3）。

圖2.相機外參。
 圖3.合並的點雲。

3D到2D投影

通過使用圓柱投影算法


，也稱為前視圖投影，FOV的組合點雲投影到2D畫布上（參見圖4）。換言之，該算法將合並點雲的每個點投影到2D平麵的像素上
，從而生成單一連續全景圖，覆蓋所有傳感器的組合視場。這會產生兩個2D拚接圖像：一個用於拚接的紅外圖像，另一個用於投影到2D平麵的拚接深度圖像。

圖4.圓柱投影算法。 

提高投影質量

將3D組合點雲投影到2D圖(tu)像(xiang)仍(reng)無(wu)法(fa)生(sheng)成(cheng)高(gao)質(zhi)量(liang)圖(tu)像(xiang)。圖(tu)像(xiang)存(cun)在(zai)失(shi)真(zhen)和(he)噪(zao)點(dian)。這(zhe)不(bu)僅(jin)影(ying)響(xiang)視(shi)覺(jiao)質(zhi)量(liang)，對(dui)投(tou)影(ying)上(shang)運(yun)行(xing)的(de)任(ren)何(he)算(suan)法(fa)也(ye)會(hui)產(chan)生(sheng)不(bu)利(li)影(ying)響(xiang)。以(yi)下(xia)章(zhang)節(jie)記(ji)錄(lu)了(le)3個關鍵問題（參見圖5）及其解決方法。

圖5.2D投影問題。

投影無效深度區域

對於超出傳感器工作範圍(8000 mm)的點
，ADTF3175的深度數據的無效深度值為0 mm。這會導致深度圖像上出現大片空白區域，並形成不完整的點雲。將深度值8000 mm（攝像頭支持的最大深度）分配給深度圖像上的所有無效點，並利用該值生成點雲。這確保了點雲沒有間隙。
 
填充未映射的像素

將3D點雲投影到2D平麵時，2D圖像中存在未映射/未填充的區域。許多點雲(3D)像素映射至同一個2D像素，因此多個2D像素仍是空白。這就會產生如圖6所示的拉伸圖案。為解決該問題，我們使用3 × 3過濾器，用其相鄰的8個具備有效值的像素的平均紅外/深度值來填充未映射的像素。這樣便可獲得更完整的輸出圖像，並消除偽影（參見圖6）。
 
重疊點產生的噪點

得益於圓柱投影算法，重疊區域上的許多點最終在2D投(tou)影(ying)輸(shu)出(chu)上(shang)獲(huo)得(de)相(xiang)同(tong)的(de)靜(jing)止(zhi)坐(zuo)標(biao)。由(you)於(yu)背(bei)景(jing)像(xiang)素(su)與(yu)前(qian)景(jing)像(xiang)素(su)重(zhong)疊(die)，因(yin)此(ci)會(hui)產(chan)生(sheng)噪(zao)點(dian)。為(wei)解(jie)決(jue)該(gai)問(wen)題(ti)，我(wo)們(men)將(jiang)每(mei)個(ge)點(dian)的(de)徑(jing)向(xiang)距(ju)離(li)與(yu)現(xian)有(you)點(dian)進(jin)行(xing)比(bi)較(jiao)，僅(jin)當(dang)與(yu)攝(she)像(xiang)頭(tou)原(yuan)點(dian)的(de)距(ju)離(li)小(xiao)於(yu)現(xian)有(you)點(dian)時(shi)，才(cai)會(hui)替(ti)換(huan)該(gai)點(dian)。這(zhe)有(you)助(zhu)於(yu)僅(jin)保(bao)留(liu)前(qian)景(jing)點(dian)，並(bing)提(ti)高(gao)投(tou)影(ying)質(zhi)量(liang)（參見圖7）。

圖6.填充未映射的像素。
 
 圖7.重疊噪點修複。

結論

該算法能夠以小於5°的重疊度拚接來自不同攝像頭的圖像，相比之下
，傳統關鍵點匹配算法至少需要20°的de重zhong疊die度du。該gai方fang法fa所suo需xu的de計ji算suan量liang極ji少shao，因yin此ci非fei常chang適shi用yong於yu邊bian緣yuan係xi統tong。由you於yu沒mei有you圖tu像xiang失shi真zhen，深shen度du數shu據ju在zai拚pin接jie後hou仍reng具ju有you完wan整zheng性xing。該gai解jie決jue方fang案an進jin一yi步bu支zhi持chi了leADTF3175傳感器的模塊化實現，以極小的損失獲得所需FOV。
 
FOV的擴展不限於水平維度，相同技術也可用於在垂直方向上擴展視場
，從而獲得真正的球形視覺。該解決方案可以在連接了4個傳感器的Arm® V8 6核邊緣CPU上以10 fps的速度運行，提供275°的FOV。當僅使用兩個傳感器時
，幀速率可達30 fps。
 
該方法的主要優勢之一是實現了巨大的計算效率增益，基本計算效率的增益超過3倍（參見表1）。

圖8和圖9展示了使用該解決方案獲得的一些結果。

表1.計算複雜性比較：針對512 × 512 QMP輸入，傳統算法與本文所提算法比較
 
圖8.拚接的紅外數據提供210°的FOV。

參考文獻

“ADI公司的3DToF ADTF31xx”。GitHub, Inc.
“ADI公司3DToF地麵探測器”。GitHub, Inc.
“ ADI公司3DToF圖像拚接”。GitHub, Inc.
“ ADI公司3DToF安全氣泡探測器”。GitHub, Inc.
“ ADI公司3D ToF軟件套件”。GitHub, Inc.
He、Yingshen、Ge Li
、Yiting Shao、Jing Wang、Yueru Chen和Shan Liu.“通過球麵投影的點雲壓縮框架”。2020年IEEE視覺通信和圖像處理國際會議
，2020年。
工業視覺技術。
ADI公司
Topiwala、Anirudh。“點雲的球麵投影”。Towards Data Science，2020年3月。

圖9.具有278° FoV的拚接紅外和深度圖像。

關於ADI公司

Analog Devices, Inc. (NASDAQ: ADI)是全球領先的半導體公司，致力於在現實世界與數字世界之間架起橋梁，以實現智能邊緣領域的突破性創新。ADI提供結合模擬、數字和軟件技術的解決方案，推動數字化工廠、汽車和數字醫療等領域的持續發展

，應對氣候變化挑戰

，並建立人與世界萬物的可靠互聯。ADI公司2024財年收入超過90億美元，全球員工約2.4萬人。ADI助力創新者不斷超越一切可能。更多信息，請訪問www.analog.com/cn。

作者簡介

Rajesh Mahapatra擁有超過30年的工作經驗，目前就職於班加羅爾ADI公司的軟件和安全部門。他熱衷於使用基於ADIyingjianjiejuefangandesuanfaheqianrushiruanjianlaibangzhukehujiejuewenti。tayufeizhengfuzuzhimiqiehezuo，zhishuzaolin，bingweichengshilijingjikunnanderenquntigongpeixun，bangzhutamenmousheng。tazaixitong、圖像處理和計算機視覺領域擁有5項專利。
 
Anil Sripadarao於2007年加入ADI公司，目前就職於班加羅爾ADI公司的軟件和安全部門。他感興趣的領域包括音頻/視頻編解碼器、AI/ML、計算機視覺算法和機器人技術。他在圖像處理和計算機視覺領域擁有6項專利。
 
Swastik Mahapatra是軟件和安全部門的高級機器學習工程師。他於2018年加入ADI公司，致力於開發各種計算機視覺技術和機器人安全解決方案。他在深度學習邊緣推理框架開發、機器人應用開發方麵擁有豐富的經驗，並精通卷積神經網絡。他的專業領域包括計算機視覺、3D視覺、機器學習和機器人的算法開發。

(來源：ADI公司，作者：Rajesh Mahapatra，高級經理,Anil Sripadarao，首席工程師,Swastik Mahapatra
，高級工程師)

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息

，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

安全設計降壓前置穩壓器，為汽車電源保駕護航！

交流電源係統中的過流保護

柵極驅動器選得好，SiC MOSFET高效又安全

集成開/關控製器如何提升係統能效

充電器 IC 中的動態電源路徑管理