簡介

 

現在，許多機器視覺應用需要高分辨率的3D深度圖像來替代或增強標準的2D圖成像。這類解決方案依靠3D相(xiang)機(ji)來(lai)提(ti)供(gong)可(ke)靠(kao)的(de)深(shen)度(du)信(xin)息(xi)以(yi)保(bao)證(zheng)安(an)全(quan)性(xing)，尤(you)其(qi)是(shi)當(dang)機(ji)器(qi)在(zai)極(ji)其(qi)貼(tie)近(jin)人(ren)附(fu)近(jin)工(gong)作(zuo)的(de)時(shi)候(hou)。在(zai)具(ju)有(you)挑(tiao)戰(zhan)性(xing)的(de)環(huan)境(jing)中(zhong)工(gong)作(zuo)時(shi)，例(li)如(ru)在(zai)具(ju)有(you)高(gao)反(fan)射(she)性(xing)表(biao)麵(mian)的(de)大(da)空(kong)間(jian)中(zhong)和(he)有(you)其(qi)他(ta)移(yi)動(dong)物(wu)體(ti)的(de)環(huan)境(jing)中(zhong)工(gong)作(zuo)時(shi)，相(xiang)機(ji)還(hai)需(xu)要(yao)提(ti)供(gong)可(ke)靠(kao)的(de)深(shen)度(du)信(xin)息(xi)。目(mu)前(qian)的(de)許(xu)多(duo)產(chan)品(pin)使(shi)用(yong)低(di)分(fen)辨(bian)率(lv)測(ce)距(ju)儀(yi)類(lei)型(xing)解(jie)決(jue)方(fang)案(an)來(lai)提(ti)供(gong)深(shen)度(du)信(xin)息(xi)
，以(yi)增(zeng)強(qiang)2D成像。但是，這種方法有很多限製。對於可從更高分辨率3D深度信息獲益的應用，CW CMOS ToF相機提供了市場上最高性能的解決方案。表1更詳細地說明了由高分辨率CW ToF傳感器技術實現的一些係統特性。這些係統特性還能運用於消費者使用場景
，如視頻背景虛化、麵部身份驗證和測量應用
，以及汽車使用場景
，如駕駛員狀態監控和自動化艙內配置。

 

表1.連續波飛行時間係統特性

 

連續波CMOS飛行時間相機概述

 

深shen度du相xiang機ji是shi指zhi每mei個ge像xiang素su都dou會hui輸shu出chu相xiang機ji與yu場chang景jing之zhi間jian距ju離li的de相xiang機ji。一yi種zhong測ce量liang深shen度du的de技ji術shu是shi計ji算suan光guang從cong相xiang機ji光guang源yuan行xing進jin到dao反fan射she表biao麵mian再zai返fan回hui相xiang機ji所suo需xu的de時shi間jian。此ci行xing程cheng時shi間jian通tong常chang被bei稱cheng為wei飛fei行xing時shi間jian(ToF)。

 

圖1.連續波飛行時間傳感器技術概要

 

ToF相機由多個元件組成（參見圖1），包括：

 

●    光源
，例如垂直腔麵發射激光器(VCSEL)或邊緣發射激光二極管，其發射近紅外域的光。最常用的波長為850 nm和940 nm。光源通常是漫射源（泛光照明）
，其發出具有一定散度的光束（即照明區或FOI），以照射相機前方的場景。

●    激光驅動器，其調製光源發射的光的強度。

●    具有像素陣列的傳感器
，其從場景中收集返回光線並輸出每個像素的值。

●    鏡頭，其將返回光線聚焦到傳感器陣列上。

●    帶通濾波器
，其與鏡頭共置
，用於濾除以光源波長為中心的窄帶寬之外的光線。

●    處理算法，其將傳感器輸出的原始幀轉換為深度圖像或點雲。

 

人們可以使用多種方法來調製ToF相機中的光線。一種簡單辦法是使用連續波調製
，例如50％占zhan空kong比bi的de方fang波bo調tiao製zhi。在zai實shi踐jian中zhong，激ji光guang波bo形xing很hen少shao是shi完wan美mei的de方fang波bo

，看kan起qi來lai可ke能neng更geng靠kao近jin正zheng弦xian波bo。對dui於yu給gei定ding光guang功gong率lv
，方fang形xing激ji光guang波bo形xing可ke產chan生sheng更geng好hao的de信xin噪zao比bi，但dan高gao頻pin諧xie波bo的de存cun在zai也ye會hui導dao致zhi深shen度du非fei線xian性xing誤wu差cha。

 

CW ToF相機通過估算發射信號與返回信號的基波之間的相移 ϕ = 2πftd 來測量這兩個信號之間的時間差td。深度可以利用相移 (ϕ) 和光速(c)來估算，公式如下

 

 

其中fmod為調製頻率。

 

傳感器中的時鍾產生電路控製互補像素時鍾，而互補像素時鍾分別控製兩個電荷儲存元件（Tap A和Tap B）中的光電荷的累積
，以及激光驅動器的激光調製信號。返回調製光的相位可以相對於像素時鍾的相位來測量（參見圖1右側）。像素中的Tap A和Tap B之間的差分電荷與返回調製光的強度和返回調製光相對於像素時鍾的相位成比例。

 

利(li)用(yong)零(ling)中(zhong)頻(pin)檢(jian)測(ce)原(yuan)理(li)，使(shi)用(yong)像(xiang)素(su)時(shi)鍾(zhong)和(he)激(ji)光(guang)調(tiao)製(zhi)信(xin)號(hao)之(zhi)間(jian)的(de)多(duo)個(ge)相(xiang)對(dui)相(xiang)位(wei)進(jin)行(xing)測(ce)量(liang)。組(zu)合(he)這(zhe)些(xie)測(ce)量(liang)結(jie)果(guo)即(ji)可(ke)確(que)定(ding)返(fan)回(hui)調(tiao)製(zhi)光(guang)信(xin)號(hao)中(zhong)的(de)基(ji)波(bo)相(xiang)位(wei)。知(zhi)道(dao)該(gai)相(xiang)位(wei)即(ji)可(ke)計(ji)算(suan)光(guang)從(cong)光(guang)源(yuan)行(xing)進(jin)到(dao)被(bei)觀(guan)察(cha)的(de)物(wu)體(ti)再(zai)返(fan)回(hui)到(dao)傳(chuan)感(gan)器(qi)像(xiang)素(su)所(suo)花(hua)的(de)時(shi)間(jian)

 

高調製頻率的優點

 

在實踐中，光子散粒噪聲
、讀出電路噪聲、多路徑幹擾等非理想因素會導致相位測量誤差。高調製頻率可降低這些誤差對深度估算的影響。

 

通過一個簡單例子就能輕鬆理解這一點。假設相位誤差為 ϵϕ，那麼傳感器測得的相位為 。深度誤差即為：

 

 

因此

，深度誤差與調製頻率fmod成反比。圖2以圖形方式顯示了這一點。

 

這個簡單公式在很大程度上解釋了為什麼高調製頻率的ToF相機與低調製頻率的ToF相機相比深度噪聲更低且深度誤差更小。

 

圖2.相位誤差對距離估計的影響

 

使shi用yong高gao調tiao製zhi頻pin率lv的de一yi個ge缺que點dian是shi相xiang位wei環huan繞rao速su度du更geng快kuai，這zhe意yi味wei著zhe可ke以yi準zhun確que測ce量liang的de距ju離li更geng短duan。解jie決jue此ci限xian製zhi的de常chang見jian辦ban法fa是shi使shi用yong多duo個ge以yi不bu同tong速su率lv環huan繞rao的de調tiao製zhi頻pin率lv。最zui低di調tiao製zhi頻pin率lv支zhi持chi準zhun確que測ce量liang較jiao長chang距ju離li
，但dan深shen度du誤wu差cha（噪聲、多路徑幹擾等）也較大，串聯使用較高調製頻率可降低深度誤差。圖3顯(xian)示(shi)了(le)一(yi)個(ge)使(shi)用(yong)三(san)種(zhong)不(bu)同(tong)調(tiao)製(zhi)頻(pin)率(lv)的(de)示(shi)例(li)方(fang)案(an)。最(zui)終(zhong)深(shen)度(du)通(tong)過(guo)不(bu)同(tong)調(tiao)製(zhi)頻(pin)率(lv)的(de)展(zhan)開(kai)相(xiang)位(wei)估(gu)計(ji)值(zhi)加(jia)權(quan)來(lai)估(gu)算(suan)
，為(wei)較(jiao)高(gao)調(tiao)製(zhi)頻(pin)率(lv)分(fen)配(pei)較(jiao)大(da)的(de)權(quan)重(zhong)。

 

圖3.多頻相位展開

 

如果為每個頻率的權重選擇最優值，則深度噪聲與係統中選擇的調製頻率的均方根(rms)成反比。對於恒定深度噪聲預算
，提高調製頻率可以減少積分時間或照明功率。

 

對性能至關重要的其他係統方麵

 

開發高性能ToF相機時，有許多係統特征需要考慮，這裏簡要介紹其中的一些特性。

 

圖像傳感器

 

圖像傳感器是ToF相機的關鍵組件。當係統的平均調製頻率提高時，大多數與深度估計相關的非理想因素（如偏置、深度噪聲和多路徑偽像）的影響會減小。因此，傳感器在高調製頻率（數百MHz）時須具有高解調對比度（區分Tap A和Tap B之間光電子的能力）。傳感器在近紅外波長（如850 nm和940 nm）還需要具有高量子效率(QE)，從而降低在像素中產生光電子所需的光功率。最後，低讀數噪聲支持檢測較低返回信號（遠處或低反射率物體），從而有助於提高相機的動態範圍。

 

光照度

 

激光驅動器以高調製頻率調製光源（例如VCSEL）。對於給定光功率，為使像素處的有用信號量最大化，光學波形需要具有快速上升和下降時間及幹淨的邊沿。照明子係統中激光
、激光驅動器和PCB布bu局ju的de組zu合he對dui於yu實shi現xian這zhe一yi點dian至zhi關guan重zhong要yao。還hai需xu要yao進jin行xing一yi些xie標biao定ding工gong作zuo以yi找zhao到dao最zui佳jia光guang功gong率lv和he占zhan空kong比bi設she置zhi
，從cong而er使shi調tiao製zhi波bo形xing的de傅fu立li葉ye變bian換huan中zhong的de基ji波bo幅fu度du最zui大da化hua。最zui後hou
，光guang功gong率lv還hai需xu要yao以yi安an全quan方fang式shi傳chuan輸shu
，激ji光guang驅qu動dong器qi和he係xi統tong層ceng麵mian應ying內nei置zhi一yi些xie安an全quan機ji製zhi以yi確que保bao始shi終zhong符fu合he第di1類眼部安全限值。

 

光學元件

 

光學元件在ToF相機中發揮著關鍵作用。ToF相xiang機ji有you一yi些xie獨du特te的de特te性xing，因yin此ci其qi在zai光guang學xue方fang麵mian有you一yi些xie特te殊shu要yao求qiu。首shou先xian，光guang源yuan的de照zhao明ming區qu域yu應ying與yu鏡jing頭tou的de視shi場chang角jiao匹pi配pei以yi獲huo得de最zui佳jia效xiao率lv。鏡jing頭tou本ben身shen應ying具ju有you高gao孔kong徑jing（低f/#）
，以獲得更好的光收集效率，這一點也很重要。大孔徑可能導致需要權衡其他因素，如暗角
、qianjingshenhejingtoushejifuzadudeng。dizhushexianjiaodejingtoushejiyeyouzhuyujianshaodaitonglvboqidaikuan

，congergaishanhuanjingguangyizhi

，tigaohuwaixingneng。guangxuezixitonghaiyingzhenduisuoxugongzuobochangjinxingyouhua（如防反射塗層、帶通濾波器設計、鏡頭設計），以使吞吐效率最大而雜散光最小。還有許多機械要求，以確保光學對準在最終應用的期望容差範圍內。

 

電源管理

 

電源管理在高性能3D ToF相xiang機ji模mo塊kuai設she計ji中zhong同tong樣yang至zhi關guan重zhong要yao。激ji光guang調tiao製zhi和he像xiang素su調tiao製zhi產chan生sheng短duan的de高gao峰feng值zhi電dian流liu突tu發fa脈mai衝chong，這zhe給gei電dian源yuan管guan理li解jie決jue方fang案an帶dai來lai了le一yi些xie約yue束shu。傳chuan感gan器qi集ji成cheng電dian路lu(IC)的一些特性可以幫助降低成像器的峰值功耗。在係統層麵還可以應用電源管理技術來幫助降低對電源的要求（例如電池或USB）。ToF成像器的主要模擬電源通常需要一個具有良好瞬態響應和低噪聲的穩壓器。

 

圖4.光學係統架構

 

深度處理算法

 

最後，係統級設計的另一重大部分是深度處理算法。ToF圖tu像xiang傳chuan感gan器qi輸shu出chu原yuan始shi像xiang素su數shu據ju，需xu要yao從cong這zhe些xie數shu據ju中zhong提ti取qu相xiang位wei信xin息xi。該gai操cao作zuo需xu要yao多duo個ge步bu驟zhou
，包bao括kuo噪zao聲sheng濾lv波bo和he相xiang位wei展zhan開kai。相xiang位wei展zhan開kai模mo塊kuai的de輸shu出chu是shi激ji光guang器qi發fa出chu的de光guang行xing進jin到dao場chang景jing再zai返fan回hui到dao像xiang素su的de距ju離li測ce量liang結jie果guo，常chang被bei稱cheng為wei範fan圍wei或huo徑jing向xiang距ju離li。

 

徑向距離一般被轉換為點雲信息，代表特定像素的實際坐標（X
、Y
、Z）信息。通常
，最終應用僅使用Z圖像映射（景深映射）
，而(er)不(bu)是(shi)全(quan)部(bu)點(dian)雲(yun)。將(jiang)徑(jing)向(xiang)距(ju)離(li)轉(zhuan)換(huan)為(wei)點(dian)雲(yun)需(xu)要(yao)了(le)解(jie)鏡(jing)頭(tou)內(nei)在(zai)特(te)性(xing)和(he)失(shi)真(zhen)參(can)數(shu)。這(zhe)些(xie)參(can)數(shu)是(shi)在(zai)相(xiang)機(ji)模(mo)塊(kuai)的(de)幾(ji)何(he)校(xiao)準(zhun)期(qi)間(jian)估(gu)算(suan)。深(shen)度(du)處(chu)理(li)算(suan)法(fa)還(hai)能(neng)輸(shu)出(chu)其(qi)他(ta)信(xin)息(xi)，例(li)如(ru)有(you)源(yuan)亮(liang)度(du)圖(tu)像(xiang)（返回激光信號的幅度）
、無源2D IR圖像和置信度，這些信息都可以在最終應用中使用。深度處理可以在相機模塊本身中進行
，或係統中其他地方的主機處理器中進行。

 

本文涉及的不同係統級組件概覽如表2所示。這些議題將在未來的文章中詳細討論。

 

表2.3D飛行時間相機的係統級組件

 

結論

 

連續波飛行時間相機是一種強大的解決方案，可為需要高質量3D信息的應用提供高深度精度。為確保實現最佳性能水平
，有許多因素需要考慮。調製頻率、解調對比度
、量子效率和讀數噪聲等因素決定了圖像傳感器的性能。其他因素是係統級考慮因素

，包括照明子係統
、光學設計、電源管理和深度處理算法。所有這些係統級組件對於實現最高精度3D ToF相機係統至關重要。後續文章會更詳細地討論這些係統級議題。

 

 

免責聲明：本文為轉載文章
，轉載此文目的在於傳遞更多信息
，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題
，請聯係小編進行處理。

 

推薦閱讀：