圖1：整合了光學器件和顏色過濾器的圖像傳感器的常用排列

 

圖(tu)像(xiang)傳(chuan)感(gan)器(qi)是(shi)為(wei)滿(man)足(zu)不(bu)同(tong)應(ying)用(yong)的(de)特(te)殊(shu)目(mu)標(biao)而(er)設(she)計(ji)的(de)，它(ta)提(ti)供(gong)了(le)不(bu)同(tong)級(ji)別(bie)的(de)靈(ling)敏(min)度(du)和(he)質(zhi)量(liang)。想(xiang)要(yao)熟(shu)悉(xi)各(ge)種(zhong)傳(chuan)感(gan)器(qi)，可(ke)查(zha)閱(yue)其(qi)廠(chang)商(shang)信(xin)息(xi)。例(li)如(ru)
，為(wei)了(le)在(zai)矽(gui)基(ji)模(mo)和(he)動(dong)態(tai)響(xiang)應(ying)（用於實現光強度和顏色檢測）之間有一個最好的折中，對一個特定的半導體製造過程，需優化每個光電二極管傳感器單位的大小和組成成分。

 

對計算機視覺而言
，采樣理論的效果具有重要意義，如目標場景的像素範圍就會用到Nyquist頻率。傳感器分辨率和光學器件能一起為每個像素提供足夠的分辨率，以便對感興趣特征進行成像，因此有這樣的結論：興趣特征的采樣（或成像）頻率應該是重要像素（對感興趣的特征而言）中zhong最zui小xiao像xiang素su大da小xiao的de兩liang倍bei。當dang然ran，對dui成cheng像xiang精jing度du而er言yan，兩liang倍bei的de過guo采cai樣yang僅jin僅jin是shi一yi個ge最zui低di目mu標biao，在zai實shi際ji應ying用yong中zhong，並bing不bu容rong易yi決jue定ding單dan像xiang素su寬kuan度du的de特te征zheng。

 

對於給定的應用，要取得最好的結果，需校準攝像機係統，以便在不同光照和距離條件下確定像素位深度（bit depth）的傳感器噪聲以及動態範圍。為了能處理傳感器對任何顏色通道所產生的噪聲和非線性響應，並且檢測和校正像素壞點、處理幾何失真的建模，需發展合適的傳感器處理方法。如果使用測試模式來設計一個簡單標定方法
，這種方法在灰度、顏色、特征像素大小等方麵具有由細到粗的漸變，就會看到結果。

 

 

矽製圖像傳感器應用最廣，當然也會使用其他材料，比如在工業和軍事應用中會用镓（Ga）來覆蓋比矽更長的紅外波長。不同的攝像機，其圖像傳感器的分辨率會有所不同。從單像素光電晶體管攝像機（它通過一維直線掃描陣列用於工業應用），到普通攝像機上的二維長方形陣列（所有到球形整列的路徑均用於高分辨率成像）
，都有可能用到。（本章最後會介紹傳感器配置和攝像機配置）。

 

普通成像傳感器采用CCD、CMOS
、BSI和Foveon方法進行製造。矽製圖像傳感器具有一個非線性的光譜響應曲線，這會很好地感知光譜的近紅外部分，但對藍色、紫色和近紫外部分就感知得不好（如圖2所示）。

 

圖2：幾種矽光電二極管的典型光譜響應。可以注意到
，光電二極管在900納米附近的近紅外範圍內 具有高的敏感度，而在橫跨400納米～700納米的可見光範圍內具有非線性的敏感度。 由於標準的矽響應的緣故
，從攝像機中去掉IR濾波器會增加近紅外的靈敏度。（光譜數據圖像的使用已獲得OSI光電股份有限公司的許可）

 

注(zhu)意(yi)，當(dang)讀(du)入(ru)原(yuan)始(shi)數(shu)據(ju)
，並(bing)將(jiang)該(gai)數(shu)據(ju)離(li)散(san)化(hua)成(cheng)數(shu)字(zi)像(xiang)素(su)時(shi)
，會(hui)導(dao)致(zhi)矽(gui)光(guang)譜(pu)響(xiang)應(ying)。傳(chuan)感(gan)器(qi)製(zhi)造(zao)商(shang)在(zai)這(zhe)個(ge)區(qu)域(yu)做(zuo)了(le)設(she)計(ji)補(bu)償(chang)，然(ran)而(er)，當(dang)根(gen)據(ju)應(ying)用(yong)標(biao)定(ding)攝(she)像(xiang)機(ji)係(xi)統(tong)並(bing)設(she)計(ji)傳(chuan)感(gan)器(qi)處(chu)理(li)方(fang)法(fa)時(shi)，應(ying)該(gai)考(kao)慮(lv)傳(chuan)感(gan)器(qi)的(de)顏(yan)色(se)響(xiang)應(ying)。

 

 

tuxiangchuanganqideguanjianzaiyuguangdianerjiguandedaxiaohuoyuanjiandedaxiao。shiyongxiaoguangdianerjiguandechuanganqiyuanjiansuobuhuodeguangzishuliangmeiyoushiyongdadeguangdianerjiguanduo。ruguoyuanjianchicunxiaoyukebuhuodekejianguangbochang（如長度為400納米的藍光）
，那na麼me為wei了le校xiao正zheng圖tu像xiang顏yan色se，在zai傳chuan感gan器qi設she計ji中zhong必bi須xu克ke服fu其qi他ta問wen題ti。傳chuan感gan器qi廠chang商shang花hua費fei大da量liang精jing力li來lai設she計ji優you化hua元yuan件jian大da小xiao
，以yi確que保bao所suo有you的de顏yan色se能neng同tong等deng成cheng像xiang（如圖3所示）。在(zai)極(ji)端(duan)的(de)情(qing)況(kuang)下(xia)
，由(you)於(yu)缺(que)乏(fa)累(lei)積(ji)的(de)光(guang)子(zi)和(he)傳(chuan)感(gan)器(qi)讀(du)出(chu)噪(zao)聲(sheng)
，小(xiao)的(de)傳(chuan)感(gan)器(qi)可(ke)能(neng)對(dui)噪(zao)聲(sheng)更(geng)加(jia)敏(min)感(gan)。如(ru)果(guo)二(er)極(ji)發(fa)光(guang)管(guan)傳(chuan)感(gan)器(qi)元(yuan)件(jian)太(tai)大(da)
，那(na)麼(me)矽(gui)材(cai)料(liao)的(de)顆(ke)粒(li)大(da)小(xiao)和(he)費(fei)用(yong)會(hui)增(zeng)加(jia)，這(zhe)沒(mei)有(you)任(ren)何(he)優(you)勢(shi)可(ke)言(yan)。一(yi)般(ban)商(shang)業(ye)傳(chuan)感(gan)器(qi)設(she)備(bei)具(ju)有(you)的(de)傳(chuan)感(gan)器(qi)元(yuan)件(jian)大(da)小(xiao)至(zhi)少(shao)為(wei)1平方微米，每個生產廠商會不同，但為了滿足某些特殊的需求會有一些折中。

 

圖3：基本顏色的波長分配。注意，基本顏色區域相互重疊， 對所有的顏色而言
，綠色是一個很好的單色替代品

 

 

圖4顯示了多光譜傳感器設計的不同片內配置，包括馬賽克和堆疊方法。在馬賽克方法中
，顏色過濾器被裝在每個元件的馬賽克模式上。Faveon傳chuan感gan器qi堆dui疊die方fang法fa依yi賴lai於yu顏yan色se波bo長chang深shen度du滲shen透tou到dao半ban導dao體ti材cai料liao的de物wu理li成cheng分fen

，其qi中zhong每mei種zhong顏yan色se對dui矽gui材cai料liao進jin行xing不bu同tong程cheng度du的de滲shen透tou
，從cong而er對dui各ge自zi的de顏yan色se進jin行xing成cheng像xiang。整zheng個ge元yuan件jian大da小xiao可ke適shi用yong於yu所suo有you顏yan色se，所suo以yi不bu需xu要yao為wei每mei種zhong顏yan色se分fen別bie配pei置zhi元yuan件jian。

 

圖4：（左圖）堆疊RGB元件的Foveon方法：在每個元件位置都有RGB顏色， 並在不同的深度吸收不同的波長；（右圖）標準的馬賽克元件：在每個光電二極管上麵放置一個RGB濾波器，每個濾波器隻允許特定的波長穿過每個光電二極管

 

反向照明（back-side illuminated

，BSI）傳感器結構具有更大的元件區域
，並且每個元件要聚集更多的光子
，因而在晶粒上重新布置了傳感器接線。

 

傳感器元件的布置也影響到顏色響應。例如，圖5顯示了基本顏色（R、G、B）傳感器以及白色傳感器的不同排列，其中白色傳感器（W）有you一yi個ge非fei常chang清qing晰xi或huo非fei彩cai色se的de顏yan色se濾lv波bo器qi。傳chuan感gan器qi的de排pai列lie考kao慮lv到dao了le一yi定ding範fan圍wei的de像xiang素su處chu理li
，如ru在zai傳chuan感gan器qi對dui一yi個ge像xiang素su信xin息xi的de處chu理li過guo程cheng中zhong，會hui組zu合he在zai鄰lin近jin元yuan件jian的de不bu同tong配pei置zhi中zhong所suo選xuan取qu的de像xiang素su，這zhe些xie像xiang素su信xin息xi會hui優you化hua顏yan色se響xiang應ying或huo空kong間jian顏yan色se分fen辨bian率lv。實shi際ji上shang
，某mou些xie應ying用yong僅jin僅jin使shi用yong原yuan始shi的de傳chuan感gan器qi數shu據ju並bing執zhi行xing普pu通tong的de處chu理li過guo程cheng來lai增zeng強qiang分fen辨bian率lv或huo者zhe構gou造zao其qi他ta顏yan色se混hun合he物wu。

 

圖5：元件顏色的幾個不同馬賽克配置
，包括白色
、基本RGB顏色和次要CYM元件。 每種配置為傳感器處理過程優化顏色或空間分辨率提供了不同的方法（圖像來自於《Building Intelligent Systems》一書，並得到Intel出版社的使用許可）。

 

整zheng個ge傳chuan感gan器qi的de大da小xiao也ye決jue定ding了le鏡jing頭tou的de大da小xiao。一yi般ban來lai說shuo，鏡jing頭tou越yue大da通tong過guo的de光guang越yue多duo，因yin此ci，對dui攝she影ying應ying用yong而er言yan，較jiao大da的de傳chuan感gan器qi能neng更geng好hao地di適shi用yong於yu數shu字zi攝she像xiang機ji。另ling外wai，元yuan件jian在zai顆ke粒li上shang排pai列lie的de縱zong橫heng比bi（aspect ratio）決定了像素的幾何形狀
，如，4：3和3:2的縱橫比分別用於數字攝像機和35毫米的膠片。傳感器配置的細節值得讀者去理解
，這樣才能夠設計出最好的傳感器處理過程和圖像預處理程序。

 

 

當前，最先進的傳感器每個顏色單元能提供至少8個比特位
，通常是12～14個(ge)比(bi)特(te)位(wei)。傳(chuan)感(gan)器(qi)元(yuan)件(jian)需(xu)要(yao)花(hua)費(fei)空(kong)間(jian)和(he)時(shi)間(jian)來(lai)聚(ju)集(ji)光(guang)子(zi)，所(suo)以(yi)較(jiao)小(xiao)的(de)元(yuan)件(jian)必(bi)須(xu)經(jing)過(guo)精(jing)心(xin)設(she)計(ji)
，以(yi)避(bi)免(mian)產(chan)生(sheng)一(yi)些(xie)問(wen)題(ti)。噪(zao)聲(sheng)可(ke)能(neng)來(lai)自(zi)於(yu)所(suo)用(yong)的(de)光(guang)學(xue)元(yuan)件(jian)、顏色濾波器、傳感器元件
、增益和A/D轉換器、後期處理過程或者壓縮方法等。傳感器的讀出噪聲也會影響到實際的分辨率
，因為每個像素單元從傳感器中讀出再傳到A/D轉換器中，從而組成數字形式的行和列
，以便用於像素轉換。越好的傳感器會產生越少的噪聲，同時會得到更高效的比特分辨率。Ibenthal 的工作是降噪方麵的好文獻。

 

lingwai，chuanganqiguangzixishouduimeizhongyansehuiyousuobutong
，duilanseyoukenengyouxiewenti，jiduiyujiaoxiaodechuanganqichengxiangeryanzheshizuinandeyizhongyanse。zaimouxieqingkuangxia
，shengchanshanghuishituzaichuanganqizhongweimeizhongyanseneijianyigejiandandejiamaquxianxiuzhengfangfa
，danzhezhongfangfabingbuzhidetichang。zaiduicaiseyouxuqiudeyingyongzhong，keyikaolvsedushebeimoxingheyanseguanli
，shenzhirangchuanganqidemeizhongyansetongdaojuyoufeixianxingtezhengbingjianliyixiliejiandandexiaozhengzhazhaobiao（Lookup Table, LUT）轉換。

 

 

傳感器處理用於從傳感器陣列中去馬賽克並聚集像素，也用於校正感知瑕疵。在這一節我們會討論傳感器處理基礎。

 

通常在每個成像係統中都有一個專有的傳感器處理器，包括一個快速HW傳感器接口、優化的超長指令集（very long instruction word,VLIW）、單指令多數據流（single instruction multiple data, SIMD）指zhi令ling以yi及ji具ju有you固gu定ding功gong能neng的de硬ying件jian模mo塊kuai，這zhe些xie功gong能neng是shi為wei了le解jie決jue大da規gui模mo並bing行xing像xiang素su處chu理li所suo造zao成cheng的de工gong作zuo負fu載zai。通tong常chang
，傳chuan感gan器qi處chu理li過guo程cheng透tou明ming且qie自zi動dong化hua，並bing由you成cheng像xiang係xi統tong的de生sheng產chan廠chang商shang設she置zhi
，來lai自zi傳chuan感gan器qi的de所suo有you圖tu像xiang均jun以yi同tong樣yang的de方fang式shi處chu理li。也ye存cun在zai用yong於yu提ti供gong原yuan始shi數shu據ju的de其qi他ta方fang式shi

，這zhe些xie數shu據ju允yun許xu針zhen對dui應ying用yong來lai定ding製zhi傳chuan感gan器qi處chu理li過guo程cheng
，就jiu像xiang數shu字zi攝she影ying那na樣yang。

 

 

根據不同的傳感器元件配置（如圖5所示），可利用各種去馬賽克算法將原始傳感器數據生成最終的RGB像素。Losson &Yang還有Li等人分別給出了兩篇非常好的綜述文獻，這些文獻介紹了各種方法以及所麵臨的挑戰等。

 

去qu馬ma賽sai克ke的de一yi個ge主zhu要yao挑tiao戰zhan之zhi一yi是shi像xiang素su插cha值zhi，其qi作zuo用yong是shi將jiang鄰lin近jin單dan元yuan的de顏yan色se通tong道dao組zu合he成cheng單dan個ge像xiang素su。在zai給gei定ding傳chuan感gan器qi元yuan件jian排pai列lie的de幾ji何he形xing狀zhuang以yi及ji單dan元yuan排pai列lie的de縱zong橫heng比bi的de條tiao件jian下xia，這zhe是shi一yi個ge重zhong要yao的de問wen題ti。一yi個ge與yu之zhi相xiang關guan的de問wen題ti是shi顏yan色se單dan元yuan的de加jia權quan問wen題ti，如ru在zai每mei個geRGB像素中每種顏色應該占多少比例。因為在馬賽克傳感器中，空間元件分辨率大於最終組合的RGB像xiang素su分fen辨bian率lv，某mou些xie應ying用yong需xu要yao原yuan始shi傳chuan感gan器qi數shu據ju，以yi便bian盡jin可ke能neng利li用yong所suo有you的de精jing度du和he分fen辨bian率lv，或huo者zhe有you些xie處chu理li要yao麼me需xu要yao增zeng強qiang有you效xiao的de像xiang素su分fen辨bian率lv
，要yao麼me需xu要yao更geng好hao地di實shi現xian空kong間jian精jing確que的de顏yan色se處chu理li和he去qu馬ma賽sai克ke處chu理li。

 

 

像LCD顯xian示shi器qi一yi樣yang，傳chuan感gan器qi也ye可ke能neng會hui有you壞huai像xiang素su。通tong過guo在zai攝she像xiang機ji模mo塊kuai或huo驅qu動dong程cheng序xu中zhong提ti供gong需xu要yao校xiao正zheng的de壞huai像xiang素su坐zuo標biao
，供gong應ying商shang可ke以yi在zai工gong廠chang校xiao正zheng傳chuan感gan器qi，並bing為wei已yi知zhi的de缺que陷xian提ti供gong一yi個ge傳chuan感gan器qi缺que陷xian圖tu。在zai某mou些xie情qing況kuang下xia，自zi適shi應ying的de缺que陷xian校xiao正zheng方fang法fa會hui用yong在zai傳chuan感gan器qi上shang，以yi便bian監jian控kong鄰lin近jin像xiang素su點dian來lai發fa現xian缺que陷xian，然ran後hou校xiao正zheng一yi定ding範fan圍wei內nei的de缺que陷xian類lei型xing
，比bi如ru單dan像xiang素su缺que陷xian
、列或行缺陷以及類似2×2或3×3的塊狀缺陷。為了實時尋找瑕疵，攝像機驅動也可提供自適應的缺陷分析
，在攝像機的啟動菜單中可能會提供一個特殊的補償控製。

 

 

有必要進行顏色校正以便平衡總的顏色精確度和白平衡。如圖1-2suoshi
，guichuanganqishangduihongsehelvsezheliangzhongyansetongchanghenmingan
，danshiduilansequebumingan，yinci

，lijiehebiaodingchuanganqishidedaozuijingqueyansedejibengongzuo。

 

大(da)多(duo)數(shu)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)的(de)處(chu)理(li)器(qi)包(bao)含(han)了(le)用(yong)於(yu)光(guang)暈(yun)校(xiao)正(zheng)的(de)幾(ji)何(he)處(chu)理(li)器(qi)，這(zhe)在(zai)圖(tu)像(xiang)的(de)邊(bian)緣(yuan)表(biao)現(xian)為(wei)光(guang)照(zhao)更(geng)暗(an)。校(xiao)正(zheng)基(ji)於(yu)幾(ji)何(he)扭(niu)曲(qu)函(han)數(shu)
，可(ke)考(kao)慮(lv)可(ke)編(bian)程(cheng)的(de)光(guang)照(zhao)功(gong)能(neng)來(lai)增(zeng)加(jia)朝(chao)向(xiang)邊(bian)緣(yuan)的(de)光(guang)照(zhao)
，這(zhe)需(xu)要(yao)在(zai)出(chu)廠(chang)前(qian)進(jin)行(xing)標(biao)定(ding)，以(yi)便(bian)與(yu)光(guang)學(xue)的(de)光(guang)暈(yun)模(mo)式(shi)相(xiang)匹(pi)配(pei)。

 

 

鏡jing頭tou可ke能neng會hui有you幾ji何he相xiang差cha或huo朝chao邊bian緣yuan發fa生sheng扭niu曲qu，產chan生sheng徑jing向xiang失shi真zhen的de圖tu像xiang。為wei了le解jie決jue鏡jing頭tou畸ji變bian，大da多duo數shu成cheng像xiang係xi統tong具ju有you專zhuan用yong的de傳chuan感gan器qi處chu理li器qi，它ta有you一yi個ge硬ying件jian加jia速su的de數shu字zi扭niu曲qu元yuan件jian，類lei似si於yuGPU上的紋理采樣器。在工廠就會針對光學器件的幾何校正進行校準並編程。