新的成像應用正在蓬勃發展
，從工業 4.0 中(zhong)的(de)協(xie)作(zuo)機(ji)器(qi)人(ren)
，到(dao)無(wu)人(ren)機(ji)消(xiao)防(fang)或(huo)用(yong)於(yu)農(nong)業(ye)，再(zai)到(dao)生(sheng)物(wu)特(te)征(zheng)麵(mian)部(bu)識(shi)別(bie)，再(zai)到(dao)家(jia)庭(ting)中(zhong)的(de)護(hu)理(li)點(dian)手(shou)持(chi)醫(yi)療(liao)設(she)備(bei)。出(chu)現(xian)這(zhe)些(xie)新(xin)應(ying)用(yong)程(cheng)序(xu)的(de)一(yi)個(ge)關(guan)鍵(jian)因(yin)素(su)是(shi)，嵌(qian)入(ru)式(shi)視(shi)覺(jiao)比(bi)以(yi)往(wang)任(ren) 何時候都更普及。嵌入式視覺不是一個新概念；它隻是定義了一個係統，其中包括一個視覺設置，在沒有 外部計算機的情況下控製和處理數據。它已廣泛應用於工業質量控製，最為人熟悉的例子比如“智能相機”。

 

近年源於消費類市場經濟適用硬件器件的開發，相較於以往使用電腦的方案，這些器件大幅度減小了材料清單(BOM)成本和產品體積。舉個例子，小型係統集成商或 OEM 現在能夠小批量采購諸如 NVIDIA Jetson 的單板機或模塊係統；而較大型的 OEM 則可以直接獲得如高通驍龍(Qualcomm Snapdragon)或英特爾(Intel) Movidius Myriad 2 等圖像信號處理器。在軟件級方麵

，市麵軟件庫能夠加快專用視覺係統的開發速度，減小配置難度，即便是針對小批量生產。

 

diergetuidongqianrushishijiaoxitongfazhandebianhuashijiqixuexidechuxian，tashishiyanshizhongdeshenjingwangluonenggoujieshoupeixun，ranhouzhijieshangchuandaochuliqizhong，yibiantanenggouzidongshibietezheng，bingshishizuochujueding。

 

能neng夠gou提ti供gong適shi用yong於yu嵌qian入ru式shi視shi覺jiao係xi統tong的de解jie決jue方fang案an，對dui於yu麵mian向xiang這zhe些xie高gao增zeng長chang應ying用yong的de成cheng像xiang企qi業ye來lai說shuo至zhi關guan重zhong要yao。圖tu像xiang傳chuan感gan器qi由you於yu能neng夠gou直zhi接jie影ying響xiang嵌qian入ru式shi視shi覺jiao係xi統tong的de效xiao能neng和he設she計ji，因yin而er在zai大da規gui模mo引yin進jin中zhong有you重zhong要yao角jiao色se
，而er它ta的de主zhu要yao推tui動dong因yin素su可ke概gai括kuo為wei：更小尺寸、重量、功耗和成本，英語簡稱為“SWaP-C”(decreasing Size, Weight, Power and Cost)。

 

1.降低成本至關重要

嵌入式視覺新應用的加速推動器是滿足市場需求的價格，而視覺係統成本正是實現這要求的一個主要製肘。

 

1.1.節省光學成本

減小視覺模塊成本的第一個途徑是縮小產品尺寸， 原因有兩個：首先是圖像傳感器的像素尺寸愈小，晶圓便可以製造更多的芯片；另一方麵傳感器可以使用更小更低成本的光學組件
，二者都能夠降低固有成本。例如 Teledyne e2v 的 Emerald 5M 傳感器把像素尺寸減小至 2.8μm，讓 S 口(M12) 鏡頭能夠用於五百萬像素全局快門傳感器上，帶來直接的成本節省──入門級的 M12 鏡頭的價格約為 10 美元，而較大尺寸的 C 口或 F 口鏡頭成本是其 10 到 20 倍。所以減小尺寸是降低嵌入式視覺係統成本的有效方法。

對於圖像傳感器製造商來說，這種降低的光學成本對設計有另一個影響，因為一般來說，光學成本越低， 傳感器的入射角越不理想。因此
，低成本光學需要在像素上方設計特定的位移微透鏡，以補償來自廣角的畸變和聚焦光。

 

 

 

1.2.傳感器低成本接口

除了光學優化，傳感器接口的選擇也間接影響視覺係統的成本。MIPI CSI-2 接口是實現節約成本的最合適選擇（它最初是由 MIPI 聯盟為移動行業開發的）。它已被大多數 ISP 廣泛采用
，並已開始在工業市場采用
，因為它提供了一個從 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上係統（SOC）或模塊上係統（SOM）的集成。設計一種具有 MIPI CSI-2 傳感器接口的 CMOS 圖像傳感器
，無需任何中間轉換器橋，直接將圖像傳感器的數據傳輸到嵌入式係統的主機 SOC 或 SOM
，從而節省了成本和 PCB 空間，當然
，在基於多傳感器的嵌入式係統（如 360 度全景係統）中
，這一優勢更為突出。

不過這些好處受到一些限製
，因為 MIPI 接口的連接距離限製為 20 cm，這(zhe)在(zai)傳(chuan)感(gan)器(qi)距(ju)離(li)主(zhu)機(ji)處(chu)理(li)器(qi)較(jiao)遠(yuan)的(de)遠(yuan)程(cheng)設(she)置(zhi)中(zhong)可(ke)能(neng)不(bu)是(shi)最(zui)佳(jia)的(de)。在(zai)這(zhe)些(xie)配(pei)置(zhi)中(zhong)，以(yi)犧(xi)牲(sheng)小(xiao)型(xing)化(hua)為(wei)代(dai)價(jia)
，使(shi)用(yong)集(ji)成(cheng)更(geng)長(chang)接(jie)口(kou)的(de)相(xiang)機(ji)板(ban)解(jie)決(jue)方(fang)案(an)是(shi)比(bi)較(jiao)好(hao)的(de)選(xuan)擇(ze)。一(yi)些(xie)現(xian)成(cheng)的(de)解(jie)決(jue)方(fang)案(an)可(ke)以(yi)集(ji)成(cheng)，例(li)如(ru)工(gong)業(ye)相(xiang)機(ji)製(zhi)造(zao)商(shang)（如 Flir、AVT
、Basler 等）的相機板通常可在 MIPI 或 USB3 接口中使用，後者能夠達到的範圍可以超過 3 米至 5 米。

 

 

1.3.減小開發成本

在投資新產品時
，不斷上升的開發成本往往是一個挑戰
；它可能會在一次性開發費上花費數百萬美元，並 給上市時間帶來壓力。對於嵌入式視覺，這種壓力變得更大，因為模塊化（即產品能否切換使用多種圖像 傳感器）是集成商的重要考慮。幸運的是
，通過在傳感器之間提供一定程度的交叉兼容性，例如

，通過定 義共享相同像素體係結構的組件係列以具有穩定的光電性能
，通過具有共用光學中心來共享單個前端機製
， 以及通過兼容的 PCB 組件來簡化評估，集成和供應鏈，從而減小開發費用。

為簡化相機板設計（即使用於多款傳感器），有you兩liang種zhong方fang法fa設she計ji傳chuan感gan器qi封feng裝zhuang。針zhen腳jiao對dui針zhen腳jiao兼jian容rong是shi相xiang機ji板ban設she計ji人ren員yuan的de首shou選xuan設she計ji，因yin為wei它ta能neng使shi多duo種zhong傳chuan感gan器qi共gong享xiang同tong一yi電dian路lu和he控kong製zhi，使shi得de組zu裝zhuang完wan全quan不bu受shou PCB 設計影響。另一個選擇是采用尺寸兼容的傳感器，這樣同一 PCB 可以使用多款傳感器，但是這也意味著他們可能要應付每一款傳感器的接口和布線的差異狀況。

 

圖 1: 圖像傳感器可經設計提供針腳兼容(圖左)或尺寸兼容(圖右)以實現專有 PCB 布局設計

 

2.能效提供更佳單獨工作能力

微wei型xing電dian池chi驅qu動dong的de設she備bei是shi最zui明ming顯xian的de受shou益yi於yu嵌qian入ru式shi視shi覺jiao的de應ying用yong程cheng序xu，因yin為wei外wai部bu計ji算suan機ji阻zu止zhi任ren何he便bian攜xie式shi應ying用yong程cheng序xu的de發fa生sheng。為wei了le降jiang低di係xi統tong的de能neng耗hao，圖tu像xiang傳chuan感gan器qi現xian在zai包bao含han了le多duo種zhong功gong能neng
，使shi係xi統tong設she計ji者zhe能neng夠gou節jie省sheng電dian力li。

 

從cong傳chuan感gan器qi角jiao度du出chu發fa
，有you多duo種zhong方fang法fa減jian小xiao嵌qian入ru式shi視shi覺jiao係xi統tong功gong耗hao而er不bu損sun采cai集ji幀zhen率lv。最zui簡jian單dan的de方fang法fa是shi通tong過guo盡jin可ke能neng長chang時shi間jian使shi用yong待dai機ji或huo閑xian置zhi模mo式shi
，在zai係xi統tong級ji最zui小xiao化hua傳chuan感gan器qi本ben身shen的de動dong態tai操cao作zuo。待dai機ji模mo式shi通tong過guo關guan閉bi仿fang真zhen電dian路lu，把ba傳chuan感gan器qi的de功gong耗hao降jiang低di到dao工gong作zuo模mo式shi的de 10%以下。而閑置模式則可把功耗減半，並讓傳感器在數微秒內重新啟動獲取圖像。

 

而(er)在(zai)傳(chuan)感(gan)器(qi)設(she)計(ji)集(ji)成(cheng)節(jie)能(neng)的(de)另(ling)一(yi)個(ge)方(fang)法(fa)是(shi)采(cai)用(yong)先(xian)進(jin)光(guang)刻(ke)節(jie)點(dian)技(ji)術(shu)。技(ji)術(shu)節(jie)點(dian)越(yue)小(xiao)
，轉(zhuan)換(huan)晶(jing)體(ti)管(guan)所(suo)需(xu)的(de)電(dian)壓(ya)便(bian)越(yue)小(xiao)，由(you)於(yu)功(gong)耗(hao)與(yu)電(dian)壓(ya)成(cheng)正(zheng)比(bi)(???????????????? ∝ ?? × ??2)，這樣就能降低功耗。所以 10 年前使用 180nm 技術生產的像素不單把晶體管縮小到 110nm
，同時也把數字電路的電壓從 1.9 伏降到 1.2 伏。下一世代的傳感器將使用 65nm 技術節點
，使得嵌入式視覺應用更省能。

 

最後一點是，通過選擇合適的圖像傳感器，可以在某些條件下降低 LED 燈的能耗。有一些係統必須使用主動照明，例如三維地圖生成
、動作停頓、或是純粹使用順序脈衝指定波長來提高反差。在這些情形下
， 減jian低di圖tu像xiang傳chuan感gan器qi在zai低di亮liang度du環huan境jing下xia的de噪zao聲sheng便bian能neng實shi現xian更geng低di的de功gong耗hao。減jian小xiao了le傳chuan感gan器qi噪zao聲sheng
，工gong程cheng人ren員yuan便bian可ke決jue定ding減jian小xiao電dian流liu密mi度du強qiang度du，或huo是shi減jian小xiao集ji成cheng進jin嵌qian入ru式shi視shi覺jiao係xi統tong的de LED 燈數目。在其他情況下，當圖像捕獲和 LED 閃爍由外部事件觸發時
，選擇適當的傳感器讀出結構可以顯著節省電能。使用傳統卷簾快門傳感器，幀全曝光時 LED 燈必需全開，而全局快門傳感器則允許隻在幀的某部份開動 LED 燈。所以如使用像素內相關雙采樣(CDS)應用下
，以全局快門傳感器替代卷簾快門傳感器就可以節省照明成本，同時仍保持與顯微鏡中使用的 CCD 傳感器一樣低的噪聲。

 

3.片上功能為應用程序設計的視覺係統鋪平了道路

嵌入式視覺的一些偏鋒延展概念

，引導我們對圖像傳感器進行全麵定製，以 3D 堆疊方式集成所有處理功能（芯片上的係統） 以(yi)實(shi)現(xian)優(you)化(hua)性(xing)能(neng)和(he)功(gong)耗(hao)。不(bu)過(guo)，開(kai)發(fa)這(zhe)一(yi)類(lei)產(chan)品(pin)的(de)成(cheng)本(ben)十(shi)分(fen)高(gao)昂(ang)
，能(neng)夠(gou)達(da)到(dao)這(zhe)一(yi)集(ji)成(cheng)水(shui)平(ping)的(de)全(quan)定(ding)製(zhi)傳(chuan)感(gan)器(qi)長(chang)遠(yuan)來(lai)說(shuo)並(bing)非(fei)完(wan)全(quan)不(bu)可(ke)能(neng)

，而(er)現(xian)在(zai)我(wo)們(men)正(zheng)處(chu)於(yu)一(yi)個(ge)過(guo)渡(du)階(jie)段(duan)，包(bao)含(han)將(jiang)某(mou)些(xie)功(gong)能(neng)直(zhi)接(jie)嵌(qian)入(ru)到(dao)傳(chuan)感(gan)器(qi)，以(yi)減(jian)省(sheng)計(ji)算(suan)負(fu)載(zai)和(he)加(jia)快(kuai)處(chu)理(li)時(shi)間(jian)。

 

例如在條形碼閱讀應用， Teledyne e2v 公司已擁有專利技術
，將包含一個專有條形碼識別算法的嵌入式 功能加進傳感器芯片，這算法可以找出每一幀幅內的條形碼位置
，讓圖像信號處理器隻需聚焦於這些範圍
， 提高數據處理效率。

 

圖二：Teledyne e2v Snappy 五百萬像素芯片，自動識別條形碼位置

 

 

另一個減少處理負載和優化“良好”數據的功能是 Teledyne E2V dezhuanlikuaisupuguangmoshi
，gaimoshishichuanganqinenggouzidongxiaozhengpuguangshijian，yibimianzhaomingtiaojianbianhuashichuxianbaohe。zhexianggongnengyouhualechulishijian，yinweitashiyingledanzhenzhongguangzhaodebodong，erqiezhezhongkuaisufanyingzuidaxiandudijianshaolechuliqixuyaochulide“壞”圖像的數量。

 

這zhe些xie功gong能neng通tong常chang是shi特te定ding的de，需xu要yao很hen好hao地di理li解jie客ke戶hu的de應ying用yong程cheng序xu。隻zhi要yao對dui應ying用yong程cheng序xu有you足zu夠gou的de了le解jie，就jiu可ke以yi設she計ji多duo種zhong其qi他ta片pian上shang功gong能neng來lai優you化hua嵌qian入ru式shi視shi覺jiao係xi統tong。

 

4.減小重量尺寸以配合最小應用空間

 

嵌入式視覺係統的另一主要要求是能夠配合狹小空間，或是重量要小，以便用於手持式設備/或延長電池推動產品的工作時間。這就是現在大部份嵌入式視覺係統使用隻有 1MP 到 5MP 的低分辨率小型光學格式傳感器的原因。

減小像素芯片的尺寸隻是減小圖像傳感器占位麵積和重量的第一步。現在的 65nm 工藝讓我們能夠把全局快門像素尺寸減小至 2.5μm 而不損光電性能。這種生產工藝使得諸如全高清全局快門 CMOS 圖像傳感器能夠配合手機市場要求小於 1/3 英寸的規格。

減小傳感器重量和占位麵積的另一主要技術是縮小封裝尺寸。芯片級封裝在過去數年在市場迅速成長， 在移動、車載電子和醫療應用中特別明顯。相較用工業市場常用的傳統陶瓷 (Ceramic Land Grid Array， 簡稱 CLGA) 封裝

，芯片級扇出封裝能夠實現更高密度連接
，因而是嵌入式係統圖像傳感器輕量化小型化挑戰的出色解決方案。例如 Teledyne e2v 的 Emerald 2M 圖像傳感器芯片級封裝
，側高隻是陶瓷封裝的一半

，而尺寸則減小 30%。

 

圖 3：同一芯片采用 CLGA 封裝(圖左)和晶圓級扇出有機封裝(圖右)的比較。後者能夠減少占位、厚度和成本。
 

展望未來，我們預期新的技術能進一步實現嵌入式視覺係統所需的更小傳感器尺寸。

三維堆棧是讓半導體器件生產的創新技術，它的原理是在不同晶圓上製造各種電路芯片，然後利用銅對銅連接和過矽衝孔(Through Silicon Vias，簡稱 TSV)技術進行堆棧和互聯。三維堆棧因為是多層重迭芯片
， 允(yun)許(xu)器(qi)件(jian)實(shi)現(xian)比(bi)傳(chuan)統(tong)傳(chuan)感(gan)器(qi)更(geng)小(xiao)的(de)占(zhan)位(wei)尺(chi)寸(cun)。而(er)在(zai)三(san)維(wei)堆(dui)棧(zhan)傳(chuan)感(gan)器(qi)中(zhong)，讀(du)出(chu)和(he)處(chu)理(li)芯(xin)片(pian)可(ke)以(yi)置(zhi)於(yu)像(xiang)素(su)芯(xin)片(pian)和(he)行(xing)譯(yi)碼(ma)器(qi)的(de)下(xia)方(fang)。這(zhe)樣(yang)，傳(chuan)感(gan)器(qi)的(de)占(zhan)位(wei)尺(chi)寸(cun)因(yin)縮(suo)小(xiao)的(de)讀(du)出(chu)和(he)處(chu)理(li)芯(xin)片(pian)而(er)減(jian)小(xiao)
，並(bing)且(qie)可(ke)以(yi)在(zai)傳(chuan)感(gan)器(qi)中(zhong)加(jia)入(ru)更(geng)多(duo)處(chu)理(li)資(zi)源(yuan)以(yi)減(jian)小(xiao)圖(tu)像(xiang)信(xin)號(hao)處(chu)理(li)器(qi)的(de)載(zai)荷(he)。

 

圖 4：三維芯片堆棧技術有助於實現像素芯片
、仿真和數字電路，甚至是用於專門應用的附加處理芯片組合重迭，減小傳感器麵積。
 

不過，要讓三維堆棧技術在圖像傳感器市場獲得廣泛應用，現在還麵對著一些挑戰。首先這是一個新興的 技ji術shu，其qi次ci是shi它ta的de成cheng本ben較jiao高gao，因yin為wei需xu要yao附fu加jia的de工gong藝yi步bu驟zhou，使shi得de芯xin片pian成cheng本ben比bi使shi用yong傳chuan統tong技ji術shu的de芯xin片pian高gao三san倍bei以yi上shang。因yin為wei三san維wei埋mai迭die將jiang主zhu要yao是shi高gao性xing能neng或huo非fei常chang小xiao占zhan位wei尺chi寸cun的de嵌qian入ru式shi視shi覺jiao係xi統tong的de選xuan擇ze。

 

 

總結而言，嵌入式視覺係統可以歸納為一種「輕量」視覺技術
，可以用於包括 OEM、係統集成商和標準相機廠商等不同類型企業。“嵌入式 “是shi一yi個ge可ke用yong於yu不bu同tong應ying用yong的de概gai括kuo性xing描miao述shu，因yin而er不bu能neng開kai出chu列lie表biao說shuo明ming它ta的de特te征zheng。不bu過guo優you化hua嵌qian入ru式shi視shi覺jiao係xi統tong有you幾ji個ge適shi用yong法fa則ze，就jiu是shi一yi般ban而er言yan，市shi場chang推tui動dong力li並bing非fei來lai自zi超chao級ji快kuai的de速su度du或huo超chao高gao的de靈ling敏min度du，而er是shi尺chi寸cun、重量、功gong耗hao和he成cheng本ben。圖tu像xiang傳chuan感gan器qi是shi這zhe些xie條tiao件jian的de主zhu要yao推tui手shou，所suo以yi需xu要yao小xiao心xin選xuan擇ze合he適shi的de圖tu像xiang傳chuan感gan器qi
，以yi便bian於yu優you化hua嵌qian入ru式shi視shi覺jiao係xi統tong的de總zong體ti性xing能neng。合he適shi的de圖tu像xiang傳chuan感gan器qi能neng為wei嵌qian入ru式shi設she計ji人ren員yuan帶dai來lai更geng多duo靈ling活huo性xing，節jie省sheng材cai料liao清qing單dan成cheng本ben，減jian小xiao照zhao明ming和he光guang學xue組zu件jian的de占zhan位wei麵mian積ji。它ta也ye讓rang設she計ji人ren員yuan在zai無wu需xu麵mian對dui更geng多duo複fu雜za性xing的de情qing況kuang下xia
，選xuan擇ze來lai自zi消xiao費fei市shi場chang的de大da量liang經jing濟ji適shi用yong並bing具ju有you優you化hua深shen度du學xue習xi功gong能neng的de圖tu像xiang信xin號hao處chu理li器qi。