不過，現代多數傳感器均使用CMOSdanyuan
，zhezhuyaoshichuyuzhizaofangmiandekaolv。chuanganqiheguangxueqijianchangchangzhenghezaiyiqiyongyuzhizaojingpianjishexiangji，zhezhongshexiangjibeiyongzaileisiyushengwuxuehuoxianweijingxuedenglingyu，rutu1所示。

 

圖1：整合了光學器件和顏色過濾器的圖像傳感器的常用排列

 

圖tu像xiang傳chuan感gan器qi是shi為wei滿man足zu不bu同tong應ying用yong的de特te殊shu目mu標biao而er設she計ji的de
，它ta提ti供gong了le不bu同tong級ji別bie的de靈ling敏min度du和he質zhi量liang。想xiang要yao熟shu悉xi各ge種zhong傳chuan感gan器qi，可ke查zha閱yue其qi廠chang商shang信xin息xi。例li如ru，為wei了le在zai矽gui基ji模mo和he動dong態tai響xiang應ying（用於實現光強度和顏色檢測）之間有一個最好的折中，對一個特定的半導體製造過程
，需優化每個光電二極管傳感器單位的大小和組成成分。

 

對計算機視覺而言，采樣理論的效果具有重要意義，如目標場景的像素範圍就會用到Nyquist頻率。傳感器分辨率和光學器件能一起為每個像素提供足夠的分辨率，以便對感興趣特征進行成像，因此有這樣的結論：興趣特征的采樣（或成像）頻率應該是重要像素（對感興趣的特征而言）中(zhong)最(zui)小(xiao)像(xiang)素(su)大(da)小(xiao)的(de)兩(liang)倍(bei)。當(dang)然(ran)，對(dui)成(cheng)像(xiang)精(jing)度(du)而(er)言(yan)，兩(liang)倍(bei)的(de)過(guo)采(cai)樣(yang)僅(jin)僅(jin)是(shi)一(yi)個(ge)最(zui)低(di)目(mu)標(biao)，在(zai)實(shi)際(ji)應(ying)用(yong)中(zhong)

，並(bing)不(bu)容(rong)易(yi)決(jue)定(ding)單(dan)像(xiang)素(su)寬(kuan)度(du)的(de)特(te)征(zheng)。

 

對於給定的應用
，要取得最好的結果，需校準攝像機係統，以便在不同光照和距離條件下確定像素位深度（bit depth）的傳感器噪聲以及動態範圍。為了能處理傳感器對任何顏色通道所產生的噪聲和非線性響應
，並且檢測和校正像素壞點、處理幾何失真的建模，需發展合適的傳感器處理方法。如果使用測試模式來設計一個簡單標定方法，這種方法在灰度、顏色
、特征像素大小等方麵具有由細到粗的漸變
，就會看到結果。

 

1、傳感器材料

 

矽製圖像傳感器應用最廣，當然也會使用其他材料，比如在工業和軍事應用中會用镓（Ga）來覆蓋比矽更長的紅外波長。不同的攝像機
，其圖像傳感器的分辨率會有所不同。從單像素光電晶體管攝像機（它通過一維直線掃描陣列用於工業應用），到普通攝像機上的二維長方形陣列（所有到球形整列的路徑均用於高分辨率成像），都有可能用到。（本章最後會介紹傳感器配置和攝像機配置）。

 

普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進行製造。矽製圖像傳感器具有一個非線性的光譜響應曲線
，這會很好地感知光譜的近紅外部分
，但對藍色
、紫色和近紫外部分就感知得不好（如圖2所示）。

 

圖2：幾種矽光電二極管的典型光譜響應。可以注意到
，光電二極管在900納米附近的近紅外範圍內 具有高的敏感度，而在橫跨400納米～700納米的可見光範圍內具有非線性的敏感度。 由於標準的矽響應的緣故，從攝像機中去掉IR濾波器會增加近紅外的靈敏度。（光譜數據圖像的使用已獲得OSI光電股份有限公司的許可）

 

注zhu意yi，當dang讀du入ru原yuan始shi數shu據ju，並bing將jiang該gai數shu據ju離li散san化hua成cheng數shu字zi像xiang素su時shi
，會hui導dao致zhi矽gui光guang譜pu響xiang應ying。傳chuan感gan器qi製zhi造zao商shang在zai這zhe個ge區qu域yu做zuo了le設she計ji補bu償chang，然ran而er，當dang根gen據ju應ying用yong標biao定ding攝she像xiang機ji係xi統tong並bing設she計ji傳chuan感gan器qi處chu理li方fang法fa時shi
，應ying該gai考kao慮lv傳chuan感gan器qi的de顏yan色se響xiang應ying。

 

2、傳感器光電二極管元件

 

圖tu像xiang傳chuan感gan器qi的de關guan鍵jian在zai於yu光guang電dian二er極ji管guan的de大da小xiao或huo元yuan件jian的de大da小xiao。使shi用yong小xiao光guang電dian二er極ji管guan的de傳chuan感gan器qi元yuan件jian所suo捕bu獲huo的de光guang子zi數shu量liang沒mei有you使shi用yong大da的de光guang電dian二er極ji管guan多duo。如ru果guo元yuan件jian尺chi寸cun小xiao於yu可ke捕bu獲huo的de可ke見jian光guang波bo長chang（如長度為400納米的藍光），那(na)麼(me)為(wei)了(le)校(xiao)正(zheng)圖(tu)像(xiang)顏(yan)色(se)，在(zai)傳(chuan)感(gan)器(qi)設(she)計(ji)中(zhong)必(bi)須(xu)克(ke)服(fu)其(qi)他(ta)問(wen)題(ti)。傳(chuan)感(gan)器(qi)廠(chang)商(shang)花(hua)費(fei)大(da)量(liang)精(jing)力(li)來(lai)設(she)計(ji)優(you)化(hua)元(yuan)件(jian)大(da)小(xiao)，以(yi)確(que)保(bao)所(suo)有(you)的(de)顏(yan)色(se)能(neng)同(tong)等(deng)成(cheng)像(xiang)（如圖3所示）。在zai極ji端duan的de情qing況kuang下xia，由you於yu缺que乏fa累lei積ji的de光guang子zi和he傳chuan感gan器qi讀du出chu噪zao聲sheng，小xiao的de傳chuan感gan器qi可ke能neng對dui噪zao聲sheng更geng加jia敏min感gan。如ru果guo二er極ji發fa光guang管guan傳chuan感gan器qi元yuan件jian太tai大da
，那na麼me矽gui材cai料liao的de顆ke粒li大da小xiao和he費fei用yong會hui增zeng加jia，這zhe沒mei有you任ren何he優you勢shi可ke言yan。一yi般ban商shang業ye傳chuan感gan器qi設she備bei具ju有you的de傳chuan感gan器qi元yuan件jian大da小xiao至zhi少shao為wei1平方微米

，每個生產廠商會不同，但為了滿足某些特殊的需求會有一些折中。

 

圖3：基本顏色的波長分配。注意，基本顏色區域相互重疊
， 對所有的顏色而言，綠色是一個很好的單色替代品

 

3、傳感器配置：馬賽克、Faveon和BSI

 

圖4顯示了多光譜傳感器設計的不同片內配置，包括馬賽克和堆疊方法。在馬賽克方法中，顏色過濾器被裝在每個元件的馬賽克模式上。Faveon傳(chuan)感(gan)器(qi)堆(dui)疊(die)方(fang)法(fa)依(yi)賴(lai)於(yu)顏(yan)色(se)波(bo)長(chang)深(shen)度(du)滲(shen)透(tou)到(dao)半(ban)導(dao)體(ti)材(cai)料(liao)的(de)物(wu)理(li)成(cheng)分(fen)，其(qi)中(zhong)每(mei)種(zhong)顏(yan)色(se)對(dui)矽(gui)材(cai)料(liao)進(jin)行(xing)不(bu)同(tong)程(cheng)度(du)的(de)滲(shen)透(tou)，從(cong)而(er)對(dui)各(ge)自(zi)的(de)顏(yan)色(se)進(jin)行(xing)成(cheng)像(xiang)。整(zheng)個(ge)元(yuan)件(jian)大(da)小(xiao)可(ke)適(shi)用(yong)於(yu)所(suo)有(you)顏(yan)色(se)，所(suo)以(yi)不(bu)需(xu)要(yao)為(wei)每(mei)種(zhong)顏(yan)色(se)分(fen)別(bie)配(pei)置(zhi)元(yuan)件(jian)。

 

圖4：（左圖）堆疊RGB元件的Foveon方法：在每個元件位置都有RGB顏色， 並在不同的深度吸收不同的波長；（右圖）標準的馬賽克元件：在每個光電二極管上麵放置一個RGB濾波器
，每個濾波器隻允許特定的波長穿過每個光電二極管

 

反向照明（back-side illuminated，BSI）傳感器結構具有更大的元件區域
，並且每個元件要聚集更多的光子，因而在晶粒上重新布置了傳感器接線。

 

傳感器元件的布置也影響到顏色響應。例如，圖5顯示了基本顏色（R
、G


、B）傳感器以及白色傳感器的不同排列，其中白色傳感器（W）有(you)一(yi)個(ge)非(fei)常(chang)清(qing)晰(xi)或(huo)非(fei)彩(cai)色(se)的(de)顏(yan)色(se)濾(lv)波(bo)器(qi)。傳(chuan)感(gan)器(qi)的(de)排(pai)列(lie)考(kao)慮(lv)到(dao)了(le)一(yi)定(ding)範(fan)圍(wei)的(de)像(xiang)素(su)處(chu)理(li)，如(ru)在(zai)傳(chuan)感(gan)器(qi)對(dui)一(yi)個(ge)像(xiang)素(su)信(xin)息(xi)的(de)處(chu)理(li)過(guo)程(cheng)中(zhong)，會(hui)組(zu)合(he)在(zai)鄰(lin)近(jin)元(yuan)件(jian)的(de)不(bu)同(tong)配(pei)置(zhi)中(zhong)所(suo)選(xuan)取(qu)的(de)像(xiang)素(su)，這(zhe)些(xie)像(xiang)素(su)信(xin)息(xi)會(hui)優(you)化(hua)顏(yan)色(se)響(xiang)應(ying)或(huo)空(kong)間(jian)顏(yan)色(se)分(fen)辨(bian)率(lv)。實(shi)際(ji)上(shang)
，某(mou)些(xie)應(ying)用(yong)僅(jin)僅(jin)使(shi)用(yong)原(yuan)始(shi)的(de)傳(chuan)感(gan)器(qi)數(shu)據(ju)並(bing)執(zhi)行(xing)普(pu)通(tong)的(de)處(chu)理(li)過(guo)程(cheng)來(lai)增(zeng)強(qiang)分(fen)辨(bian)率(lv)或(huo)者(zhe)構(gou)造(zao)其(qi)他(ta)顏(yan)色(se)混(hun)合(he)物(wu)。

 

 

圖5：元件顏色的幾個不同馬賽克配置，包括白色、基本RGB顏色和次要CYM元件。 每種配置為傳感器處理過程優化顏色或空間分辨率提供了不同的方法（圖像來自於《Building Intelligent Systems》一書，並得到Intel出版社的使用許可）。

 

整zheng個ge傳chuan感gan器qi的de大da小xiao也ye決jue定ding了le鏡jing頭tou的de大da小xiao。一yi般ban來lai說shuo，鏡jing頭tou越yue大da通tong過guo的de光guang越yue多duo，因yin此ci，對dui攝she影ying應ying用yong而er言yan，較jiao大da的de傳chuan感gan器qi能neng更geng好hao地di適shi用yong於yu數shu字zi攝she像xiang機ji。另ling外wai
，元yuan件jian在zai顆ke粒li上shang排pai列lie的de縱zong橫heng比bi（aspect ratio）決定了像素的幾何形狀，如，4：3和3:2的縱橫比分別用於數字攝像機和35毫米的膠片。傳感器配置的細節值得讀者去理解，這樣才能夠設計出最好的傳感器處理過程和圖像預處理程序。

 

4、動態範圍和噪聲

 

當前
，最先進的傳感器每個顏色單元能提供至少8個比特位，通常是12～14個(ge)比(bi)特(te)位(wei)。傳(chuan)感(gan)器(qi)元(yuan)件(jian)需(xu)要(yao)花(hua)費(fei)空(kong)間(jian)和(he)時(shi)間(jian)來(lai)聚(ju)集(ji)光(guang)子(zi)
，所(suo)以(yi)較(jiao)小(xiao)的(de)元(yuan)件(jian)必(bi)須(xu)經(jing)過(guo)精(jing)心(xin)設(she)計(ji)
，以(yi)避(bi)免(mian)產(chan)生(sheng)一(yi)些(xie)問(wen)題(ti)。噪(zao)聲(sheng)可(ke)能(neng)來(lai)自(zi)於(yu)所(suo)用(yong)的(de)光(guang)學(xue)元(yuan)件(jian)、顏色濾波器、傳感器元件、增益和A/D轉換器
、後期處理過程或者壓縮方法等。傳感器的讀出噪聲也會影響到實際的分辨率，因為每個像素單元從傳感器中讀出再傳到A/D轉換器中，從而組成數字形式的行和列，以便用於像素轉換。越好的傳感器會產生越少的噪聲
，同時會得到更高效的比特分辨率。Ibenthal 的工作是降噪方麵的好文獻。

 

另(ling)外(wai)，傳(chuan)感(gan)器(qi)光(guang)子(zi)吸(xi)收(shou)對(dui)每(mei)種(zhong)顏(yan)色(se)會(hui)有(you)所(suo)不(bu)同(tong)，對(dui)藍(lan)色(se)有(you)可(ke)能(neng)有(you)些(xie)問(wen)題(ti)

，即(ji)對(dui)於(yu)較(jiao)小(xiao)的(de)傳(chuan)感(gan)器(qi)成(cheng)像(xiang)而(er)言(yan)這(zhe)是(shi)最(zui)難(nan)的(de)一(yi)種(zhong)顏(yan)色(se)。在(zai)某(mou)些(xie)情(qing)況(kuang)下(xia)，生(sheng)產(chan)商(shang)會(hui)試(shi)圖(tu)在(zai)傳(chuan)感(gan)器(qi)中(zhong)為(wei)每(mei)種(zhong)顏(yan)色(se)內(nei)建(jian)一(yi)個(ge)簡(jian)單(dan)的(de)伽(jia)馬(ma)曲(qu)線(xian)修(xiu)正(zheng)方(fang)法(fa)，但(dan)這(zhe)種(zhong)方(fang)法(fa)並(bing)不(bu)值(zhi)得(de)提(ti)倡(chang)。在(zai)對(dui)彩(cai)色(se)有(you)需(xu)求(qiu)的(de)應(ying)用(yong)中(zhong)，可(ke)以(yi)考(kao)慮(lv)色(se)度(du)設(she)備(bei)模(mo)型(xing)和(he)顏(yan)色(se)管(guan)理(li)，甚(shen)至(zhi)讓(rang)傳(chuan)感(gan)器(qi)的(de)每(mei)種(zhong)顏(yan)色(se)通(tong)道(dao)具(ju)有(you)非(fei)線(xian)性(xing)特(te)征(zheng)並(bing)建(jian)立(li)一(yi)係(xi)列(lie)簡(jian)單(dan)的(de)校(xiao)正(zheng)查(zha)找(zhao)表(biao)（Lookup Table, LUT）轉換。

 

5、傳感器處理

 

傳感器處理用於從傳感器陣列中去馬賽克並聚集像素，也用於校正感知瑕疵。在這一節我們會討論傳感器處理基礎。

 

通常在每個成像係統中都有一個專有的傳感器處理器，包括一個快速HW傳感器接口
、優化的超長指令集（very long instruction word,VLIW）、單指令多數據流（single instruction multiple data, SIMD）zhilingyijijuyougudinggongnengdeyingjianmokuai，zhexiegongnengshiweilejiejuedaguimobingxingxiangsuchulisuozaochengdegongzuofuzai。tongchang，chuanganqichuliguochengtoumingqiezidonghua，bingyouchengxiangxitongdeshengchanchangshangshezhi
，laizichuanganqidesuoyoutuxiangjunyitongyangdefangshichuli。yecunzaiyongyutigongyuanshishujudeqitafangshi
，zhexieshujuyunxuzhenduiyingyonglaidingzhichuanganqichuliguocheng
，jiuxiangshuzisheyingnayang。

 

6、去馬賽克

 

根據不同的傳感器元件配置（如圖5所示），可利用各種去馬賽克算法將原始傳感器數據生成最終的RGB像素。Losson &Yang還有Li等人分別給出了兩篇非常好的綜述文獻，這些文獻介紹了各種方法以及所麵臨的挑戰等。

 

qumasaikedeyigezhuyaotiaozhanzhiyishixiangsuchazhi，qizuoyongshijianglinjindanyuandeyansetongdaozuhechengdangexiangsu。zaigeidingchuanganqiyuanjianpailiedejihexingzhuangyijidanyuanpailiedezonghengbidetiaojianxia，zheshiyigezhongyaodewenti。yigeyuzhixiangguandewentishiyansedanyuandejiaquanwenti，ruzaimeigeRGB像素中每種顏色應該占多少比例。因為在馬賽克傳感器中，空間元件分辨率大於最終組合的RGB像(xiang)素(su)分(fen)辨(bian)率(lv)，某(mou)些(xie)應(ying)用(yong)需(xu)要(yao)原(yuan)始(shi)傳(chuan)感(gan)器(qi)數(shu)據(ju)
，以(yi)便(bian)盡(jin)可(ke)能(neng)利(li)用(yong)所(suo)有(you)的(de)精(jing)度(du)和(he)分(fen)辨(bian)率(lv)

，或(huo)者(zhe)有(you)些(xie)處(chu)理(li)要(yao)麼(me)需(xu)要(yao)增(zeng)強(qiang)有(you)效(xiao)的(de)像(xiang)素(su)分(fen)辨(bian)率(lv)
，要(yao)麼(me)需(xu)要(yao)更(geng)好(hao)地(di)實(shi)現(xian)空(kong)間(jian)精(jing)確(que)的(de)顏(yan)色(se)處(chu)理(li)和(he)去(qu)馬(ma)賽(sai)克(ke)處(chu)理(li)。

 

7、壞像素的校正

 

像LCDxianshiqiyiyang
，chuanganqiyekenenghuiyouhuaixiangsu。tongguozaishexiangjimokuaihuoqudongchengxuzhongtigongxuyaoxiaozhengdehuaixiangsuzuobiao

，gongyingshangkeyizaigongchangxiaozhengchuanganqi，bingweiyizhidequexiantigongyigechuanganqiquexiantu。zaimouxieqingkuangxia，zishiyingdequexianxiaozhengfangfahuiyongzaichuanganqishang，yibianjiankonglinjinxiangsudianlaifaxianquexian，ranhouxiaozhengyidingfanweineidequexianleixing，birudanxiangsuquexian、列或行缺陷以及類似2×2或3×3的塊狀缺陷。為了實時尋找瑕疵，攝像機驅動也可提供自適應的缺陷分析
，在攝像機的啟動菜單中可能會提供一個特殊的補償控製。

 

8、顏色和照明校正

 

有必要進行顏色校正以便平衡總的顏色精確度和白平衡。如圖1-2suoshi
，guichuanganqishangduihongsehelvsezheliangzhongyansetongchanghenmingan
，danshiduilansequebumingan，yinci，lijiehebiaodingchuanganqishidedaozuijingqueyansedejibengongzuo。

 

daduoshutuxiangchuanganqidechuliqibaohanleyongyuguangyunxiaozhengdejihechuliqi，zhezaituxiangdebianyuanbiaoxianweiguangzhaogengan。xiaozhengjiyujiheniuquhanshu
，kekaolvkebianchengdeguangzhaogongnenglaizengjiachaoxiangbianyuandeguangzhao，zhexuyaozaichuchangqianjinxingbiaoding，yibianyuguangxuedeguangyunmoshixiangpipei。

 

9、幾何校正

 

鏡(jing)頭(tou)可(ke)能(neng)會(hui)有(you)幾(ji)何(he)相(xiang)差(cha)或(huo)朝(chao)邊(bian)緣(yuan)發(fa)生(sheng)扭(niu)曲(qu)，產(chan)生(sheng)徑(jing)向(xiang)失(shi)真(zhen)的(de)圖(tu)像(xiang)。為(wei)了(le)解(jie)決(jue)鏡(jing)頭(tou)畸(ji)變(bian)，大(da)多(duo)數(shu)成(cheng)像(xiang)係(xi)統(tong)具(ju)有(you)專(zhuan)用(yong)的(de)傳(chuan)感(gan)器(qi)處(chu)理(li)器(qi)，它(ta)有(you)一(yi)個(ge)硬(ying)件(jian)加(jia)速(su)的(de)數(shu)字(zi)扭(niu)曲(qu)元(yuan)件(jian)，類(lei)似(si)於(yu)GPU上的紋理采樣器。在工廠就會針對光學器件的幾何校正進行校準並編程。

 

 

推薦閱讀：