S32V234采用了4顆ARM Cortex A53作為核心CPU，以獲得更高的性能功耗比。另外
，S32V234包含了一顆ARM Cortex M4來作為片上MCU，主要用於關鍵IO（如CAN-FD）的實時控製
，並支持AutoSAR操作係統。

芯片集成了兩路MIPI-CSI2和兩路16bit並行相機接口
，以及Gbit以太網控製器
，為圖像傳感器的輸入提供了多種選擇。同時芯片內部包含了可編程的圖像信號處理（ISP）硬件模塊。利用嵌入式ISP，外部配搭的圖像傳感器可以輸出raw data
，從而降低物料成本，節省空間尺寸。另外，芯片還包含了兩個名為APEX2CL的視覺加速引擎。每個APEX2CL擁有64個本地計算單元（CU），並配有本地內存，通過SIMD/MIMD（單指令多數據/多指令多數據）的處理方式對圖像識別過程進行加速。 另外值得指出的是，考慮到ADAS係統對安全性和可靠性的嚴苛需求，S32V234在設計時加入了諸如ECC（錯誤檢查與糾正），FCCU（故障收集與控製單元），M/L BIST（內存/邏輯內置自測）等多種安全機製，能夠滿足ISO26262 ASIL B~C的需求。

雙目視覺簡介

相比於單目視覺，雙目視覺（Stereo Vision）的關鍵區別在於可以利用雙攝像頭從不同角度對同一目標成像
，從而獲取視差信息，推算目標距離。具體到視覺ADASyingyonglaishuo，ruguocaiyongdanmushexiangtou
，weileshibiexingrenhecheliangdengmubiao，tongchangxuyaodaguimodeshujucaijihexunlianlaiwanchengjiqixuexisuanfa，bingqienanyishibiebuguizewuti
；而er利li用yong毫hao米mi波bo雷lei達da和he激ji光guang雷lei達da進jin行xing測ce距ju的de精jing度du雖sui然ran較jiao高gao

，但dan是shi成cheng本ben和he難nan度du亦yi較jiao高gao。所suo以yi，雙shuang目mu視shi覺jiao的de最zui大da優you勢shi在zai於yu維wei持chi開kai發fa成cheng本ben較jiao低di的de前qian提ti下xia，實shi現xian一yi定ding精jing度du的de目mu標biao識shi別bie和he測ce距ju
，完wan成chengFCW（前方碰撞預警）等ADAS功能。

雙目視覺測距的基本原理並不複雜，如圖2所示，P為目標點，它在左右兩個相機（鏡頭中心分別為A和B）上的成像點分別為E和F

，則P點在兩個相機中的視差為d=EC+DF。根據三角形ACE與POA以及三角形BDF與POB的相似性
，推導可得d=(fq)/z，其中f為相機焦距
，q為兩相機光軸的距離，z為目標到相機平麵的距離。則距離z=(fq)/d，而f和q可認為是固定參數，所以求出視差信號d即可求得距離z。

根據雙目視覺的測距原理
，通常將其實現過程分為五個步驟：相(xiang)機(ji)標(biao)定(ding)
，圖(tu)像(xiang)獲(huo)取(qu)
，圖(tu)像(xiang)預(yu)處(chu)理(li)，特(te)征(zheng)提(ti)取(qu)與(yu)立(li)體(ti)匹(pi)配(pei)，三(san)維(wei)重(zhong)構(gou)。其(qi)中(zhong)，相(xiang)機(ji)標(biao)定(ding)是(shi)為(wei)了(le)得(de)到(dao)相(xiang)機(ji)的(de)內(nei)外(wai)參(can)數(shu)和(he)畸(ji)變(bian)係(xi)數(shu)等(deng)，可(ke)以(yi)離(li)線(xian)進(jin)行(xing)；而左右相機圖像獲取的同步性，圖像預處理的質量和一致性
，以及立體匹配（獲取視差信息）和三維重構（獲取距離信息）算法的實時性要求帶來的巨大運算量

，對在嵌入式平台上實現雙目視覺ADAS提出了挑戰。

基於S32V234的雙目視覺ADAS解決方案

S32V234片上具有兩路MIPI-CSI2相機接口，每一路最大可提供6Gbps的傳輸速率，可用於左右兩路相機的視頻輸入。由於兩路相機分別輸入兩個MIPI通道
，需要考慮二者之間的同步問題。在外部圖像傳感器的配合下，S23V324能夠支持不同的同步方式。如圖3所示，圖像傳感器通常具有場同步信號（VSYNC）和行同步信號（HSYNC）來進行信號同步：當兩路相機工作在主從模式時，由Master向Slave發送同步信號；當兩路相機都工作在從模式時
，可以由S32V234內部定時器產生同步信號，同時發送給兩路相機。


在S32V234獲取外部相機的圖像信號後，可以由內部的ISP進行預處理。ISP模塊包含多個針對ISP功能進行優化的處理單元

，利用片上SRAM對輸入信號和中間處理結果進行緩存

，並采用一個基於ARM Cortex M0+的專用協處理器來管理ISP處理單元的時序，從而實現圖像信號的像素級處理。由於ISP位於芯片內部並且可以靈活編程，所以不僅能夠節省雙目相機外置ISP的成本，而且其運算資源和帶寬能夠支持對雙路高達1080p@30fps圖像信號的實時處理，保證了雙路圖像信號的質量和一致性。

在雙目視覺ADAS應用中
，最大的挑戰來自於對兩路圖像進行立體匹配和三維重構所需要的巨大運算量。以FCWyingyongweili
，jiyaoqiushichaxinhaodetiqujuyouzugoudejingduyibaozhengcejujingdu，youyaoqiuchulizhenpinweichiyidingshuipingyibaozhengyujingdexiangyingsudu，yinciyaoqiuqianrushipingtaijuyouzugoudechulinengli。S32V234中集成的圖像加速引擎APEX2的結構如圖4所示，其並行計算結構和專用DMA等設計保證了對圖像信號具有極高的處理效率。具體來說，ISP對圖像信號預處理完畢後送入DDR
，APEX2引擎將圖像分割後經由專用DMA將其送入每個CU對應的本地內存CMEM中
，而立體匹配所需要的塊匹配（Block Matching）等算法可以在不同的CU中並行處理，處理完畢後的數據經由DMA送回DDR
，由CPU進行進一步處理（如生成預警信號），或送至專門的DCU（Display Control Unit）模塊輸出顯示。


綜上所述，基於S32V234的雙目視覺應用數據流如圖5所示。在該應用中

，數據流按照ISP-APEX2-DCU的方向流動，A53作為主控CPU完成邏輯控製和必要的數據處理。通過這種流水線式的處理方式，可以使各部分計算資源充分利用，提高計算效率。


利用S32V234開發板搭建雙目視覺平台，對雙路720p@30fps視頻信號進行處理，其輸出結果如圖6所示。其中從左至右的三幅圖中目標與相機的距離分別為1m
，2m
，3m，顯示結果以冷暖色調的變化表征目標距離。結果表明，S32V234能夠對雙目視覺信號進行實時處理


，正確得到三維測距結果
，同時輔以芯片的各項安全性設計
，可以滿足雙目視覺ADAS係統的需求。

總結

恩智浦的視覺ADAS專用芯片S32V234集成了圖像信號處理器ISP，圖形加速引擎APEX2，3D GPU等專用計算單元，通過流水線式的處理架構使各個異構計算資源充分利用
；不同計算模塊對OpenCV ，OpenCL和OpenVG等多種API的支持增強了算法的可移植性
；而符合ISO26262標準的功能安全設計使得芯片能夠滿足ADAS係統對安全性的嚴苛需求。S32V234支持包括雙目視覺在內的多種視覺ADAS和傳感器數據融合解決方案
，使得我們在通往無人駕駛的道路上邁出堅實的一步。



【推薦閱讀】


利用MEMS陀螺儀實現低噪聲反饋控製設計
具有快速開關頻率的電源已大幅提升安全性
如何用欠壓保護(UVP)電路保護可充電電池
？
自恢複保險絲PPTC工作原理及選型應用
電源管理技術的主要分類和熱門應用領域