【導讀】低延時時
、實時聲學處理是許多嵌入式處理應用的關鍵因素，其中包括語音預處理、語音識別和主動降噪(ANC)。隨sui著zhe這zhe些xie應ying用yong領ling域yu對dui實shi時shi性xing能neng的de要yao求qiu穩wen步bu提ti高gao


，開kai發fa人ren員yuan需xu要yao以yi戰zhan略lve思si維wei來lai妥tuo善shan應ying對dui這zhe些xie要yao求qiu。由you於yu許xu多duo大da型xing係xi統tong都dou由you芯xin片pian提ti供gong可ke觀guan的de性xing能neng
，因yin此ci我wo們men往wang往wang會hui將jiang出chu現xian的de任ren何he額e外wai任ren務wu都dou加jia載zai到dao這zhe些xie設she備bei上shang，但dan我wo們men需xu要yao知zhi道dao，延yan時shi時shi和he其qi確que定ding性xing是shi非fei常chang關guan鍵jian的de因yin素su
，如ru果guo未wei仔zai細xi考kao慮lv，很hen容rong易yi引yin發fa重zhong大da的de實shi時shi係xi統tong問wen題ti。本ben文wen將jiang探tan討tao設she計ji人ren員yuan在zai選xuan擇zeSoC和專用音頻DSP時應考慮的問題，以避免實時聲學係統出現令人不快的意外。

低延時聲學係統的應用非常廣泛。例如，單單是在汽車領域

，低延時對於個人音頻區域、路噪降噪和車內通訊係統等都至關重要。

隨著汽車電氣化趨勢湧現，路噪降噪變得更加重要
，因為沒有內燃機產生明顯噪音。所以
，與汽車道路接觸相關的噪音會變得更明顯
、更擾人。減少這種噪音不僅能帶來更舒適的駕駛體驗，還能減少駕駛員疲勞感。與在專用音頻DSP上部署低延時時聲學係統相比，在SoC上部署會麵臨諸多挑戰。這些問題包括延時時、可擴展性
、可升級性
、算法考量、硬件加速和客戶支持。我們來逐一進行介紹。

延時

在實時聲學處理係統中，延時問題非常重要。如果處理器跟不上係統的實時數據搬運和計算需求
，會導致不可接受的音頻斷續。

一般來說，SoC會配備小型片內SRAM，因此，大部分本地存儲器訪問必須依賴緩存。這導致代碼和數據的使用具有不確定性
，還會增大處理延時。對於ANC這樣的實時應用來說，單是這一點就無法接受。但是

，事實上，SoC也會運行管理繁重的多任務非實時操作係統。這會放大係統的不確定性操作特性，使其很難在多任務環境中支持相對複雜的聲學處理。

圖1顯示了一個運行實時音頻處理負載的SoC的具體示例
，在處理更高優先級的SoC任務時，CPU負載出現峰值。例如，在執行以SoC為中心的任務時，包括在係統上進行媒體渲染
、瀏覽或執行應用，可能會出現這些峰值。當峰值超過100% CPU負載時
，SoC將不再實時運行，這會導致音頻丟失。

圖1. 除了運行其他任務外
，運行高音頻負載處理的典型SoC的瞬時CPU負載。¹

另一方麵，音頻DSP的架構是為了在整個信號處理路徑（從采樣音頻輸入到處理（例如，音效+噪聲抑製）到揚聲器輸出）中實現低延時。L1指令和數據SRAM是最接近處理器內核的單周期存儲器

，足以支持多個處理算法
，無需將中間數據轉存到片外存儲器。此外
，片內L2存儲器（離內核較遠，但訪問速度仍然比片外DRAM快得多）可以在L1 SRAM的存儲容量不夠時
，提供中間數據操作緩存。最後

，音頻DSP通常運行實時操作係統(RTOS)，確保可以在新輸入數據到達之前完成輸入數據處理並將其搬移到目標位置，從而確保數據緩衝區在實時操作期間不會上溢。

係統啟動時的實際延時時（通常通過啟動發聲來表征）也是重要指標，尤其是對於汽車係統

，它要求在啟動後的某個窗口內播報提示音。在SoC領(ling)域(yu)，通(tong)常(chang)采(cai)用(yong)很(hen)長(chang)的(de)啟(qi)動(dong)時(shi)序(xu)
，其(qi)中(zhong)包(bao)括(kuo)啟(qi)動(dong)整(zheng)個(ge)設(she)備(bei)的(de)操(cao)作(zuo)係(xi)統(tong)，所(suo)以(yi)很(hen)難(nan)或(huo)無(wu)法(fa)滿(man)足(zu)這(zhe)個(ge)啟(qi)動(dong)要(yao)求(qiu)。另(ling)一(yi)方(fang)麵(mian)，可(ke)以(yi)對(dui)運(yun)行(xing)自(zi)己(ji)的(de)RTOS、不受其他無關的係統優先級影響的獨立式音頻DSP實施優化
，以加快其啟動速度，從而滿足啟動發聲要求。

可擴展性

雖然在諸如噪聲控製等應用中，對於SoC來說，延時是個問題，但對於想要執行聲學處理的SoC來說
，可擴展性是另一個缺點。換句話說
，控製具有許多不同子係統的大型係統（例如汽車多媒體主機和儀表盤）的SoC無法輕易從低端擴展到滿足高端音頻需求
，這是因為每個子係統組件的可擴展性需求之間始終存在衝突，需要在整體SoC利用率方麵進行權衡。例如，如果前端SoC連(lian)接(jie)到(dao)遠(yuan)端(duan)收(shou)音(yin)模(mo)組(zu)
，並(bing)且(qie)適(shi)配(pei)多(duo)種(zhong)車(che)型(xing)，那(na)麼(me)該(gai)收(shou)音(yin)模(mo)組(zu)需(xu)要(yao)從(cong)幾(ji)個(ge)通(tong)道(dao)擴(kuo)展(zhan)到(dao)多(duo)個(ge)通(tong)道(dao)，而(er)每(mei)個(ge)通(tong)道(dao)都(dou)會(hui)加(jia)劇(ju)之(zhi)前(qian)提(ti)到(dao)的(de)實(shi)時(shi)問(wen)題(ti)。這(zhe)是(shi)因(yin)為(wei)SoC控製下的每個附加特性都會改變SoC的實時行為，以及多個功能所使用的關鍵架構組件的資源可用性。這些資源包括存儲器帶寬
、處理器內核周期和係統總線結構仲裁槽等方麵。

除了有關連接到多任務SoC的其他子係統的問題外

，聲學係統本身也存在擴展性問題。其中涉及低端到高端的擴展（例如，增加ANC應用中麥克風和揚聲器通道的數量），也涉及音頻體驗擴展，從基本的音頻解碼和立體聲播放一直到3D虛擬化和其他高級功能。雖然這些要求不具有ANC係統的實時限製，但它們與係統音頻處理器的選擇直接相關。

使用一個單獨的音頻DSP作為SoC的協處理器是解決音頻可擴展性問題的極佳解決方案
，可以實現模塊化的係統設計和成本優化的解決方案。SoC可以減少對大型係統實時聲學處理需求的關注，將這種處理需求轉移到低延時音頻DSP上進行。此外，音頻DSP提供代碼兼容和引腳兼容選項，涵蓋幾種不同的價格/性能/存儲容量等級，讓係統設計人員能夠最大限度地靈活選擇適合給定產品層級的音頻性能產品。

圖2. ADSP-2156x DSP，高度可擴展的音頻處理器。

可升級性

隨著如今的汽車越來越普遍地采用OTA，通過發布關鍵補丁或提供新功能進行升級變得越來越重要。由於其各個子係統之間的依賴性增加，這可能會導致SoC的關鍵問題。首先，多個處理和數據移動線程會在SoC上爭奪資源。在添加新功能時，尤其是在處於活動高峰期間時
，這會加劇處理器MIPS和存儲空間的競爭。從音頻的角度來看

，其他SoC控製域中的新增特性可能會對實時聲學性能產生無法預測的影響。這種情況帶來的一個負麵影響是：新(xin)功(gong)能(neng)必(bi)須(xu)在(zai)所(suo)有(you)操(cao)作(zuo)平(ping)麵(mian)上(shang)進(jin)行(xing)交(jiao)叉(cha)測(ce)試(shi)，導(dao)致(zhi)彼(bi)此(ci)競(jing)爭(zheng)的(de)子(zi)係(xi)統(tong)的(de)各(ge)種(zhong)操(cao)作(zuo)模(mo)式(shi)之(zhi)間(jian)出(chu)現(xian)無(wu)數(shu)排(pai)列(lie)組(zu)合(he)。所(suo)以(yi)
，每(mei)個(ge)升(sheng)級(ji)包(bao)的(de)軟(ruan)件(jian)驗(yan)證(zheng)次(ci)數(shu)都(dou)會(hui)成(cheng)倍(bei)增(zeng)加(jia)。

從另一個角度來看，可以說除了受SoC控製的其他子係統的功能圖譜外，SoC音頻性能的改善還取決於可用的SoC MIPS。

算法開發與性能

顯然，在開發實時聲學算法時，音頻DSP旨在達成任務目標。與SoC的顯著區別在於，獨立音頻DSP可以提供圖形化開發環境，讓缺乏DSP編bian碼ma經jing驗yan的de工gong程cheng師shi能neng夠gou在zai其qi設she計ji中zhong集ji成cheng高gao質zhi量liang的de聲sheng學xue處chu理li。這zhe種zhong類lei型xing的de工gong具ju可ke以yi在zai不bu犧xi牲sheng質zhi量liang和he性xing能neng的de情qing況kuang下xia通tong過guo縮suo短duan開kai發fa時shi間jian來lai降jiang低di開kai發fa成cheng本ben。

例如，ADI的SigmaStudio®圖形音頻開發環境提供多種集成至直觀的圖形用戶界麵(GUI)的信號處理算法，從而能夠創建複雜的音頻信號流。它還支持采用圖形A2B配置進行音頻傳輸，非常有助於加快實時聲學係統開發。

音頻輔助硬件特性

除了專為高效並行浮點計算和數據訪問而設計的處理器內核架構外，音頻DSP通常還采用專用的多通道加速器來運行通用算法，例如快速傅立葉變換(FFT)、有限和無限脈衝響應（FIR和IIR）濾波，以及異步采樣速率轉換(ASRC)。這樣允許在內核CPU之外進行實時音頻濾波、caiyanghepinyuzhuanhuan
，congertigaoneihedeyouxiaoxingneng。ciwai
，youyutamencaiyongyouhuadejiagou，tigongshujuliuguanligongneng，suoyiyouzhuyugoujianlinghuoqiefangbianyonghushiyongdebianchengmoxing。

由於音頻通道數量、濾波器流
、采樣速率等增加
，我們需要使用配置程度最高的引腳接口
，以支持在線采樣速率轉換、精密時鍾和同步高速串行端口來高效的路由數據
，避免導致延時或外部接口邏輯增加。ADI的SHARC®係列處理器的數字音頻互連口(DAI)就展現了這種能力，如圖4所示。

圖3. ADI公司的SigmaStudio圖形開發環境。

圖4. 數字音頻互連(DAI)框圖。

客戶支持

在使用嵌入式處理器進行開發時，我們常常會忽略一點，即客戶對設備的支持。

盡管SoC供應商提倡在他們的內置DSP產品上運行聲學算法
，但在實際使用時這會帶來一些負擔。一方麵
，供應商的支持通常更複雜，因為SoC應用開發領域一般不涉及聲學專業知識。因此，往往很難為想要基於SoC的片內DSP技術開發自己的聲學算法的客戶提供支持。而是由供應商提供標準算法
，並收取可觀的NRE費用，然後將聲學算法移植到SoC的一個或多個內核中。即使如此，也無法保證一定能成功
，在供應商無法提供成熟、低延時的框架軟件時更是如此。最後，適合基於SoC的聲學處理的第三方生態係統往往相當脆弱
，因為這個領域不是SoC關注的重點。

顯然，專用音頻DSPkeweikaifafuzadeshengxuexitongtigonggengqiangdadeshengtaixitong
，congyouhuadesuanfakuheshebeiqudongchengxudaoshishicaozuoxitongheyiyushiyongdekaifagongju。ciwai，youzhuyujiakuaichanpinshangshideyiyinpinweizhudecankaopingtai（例如ADI的SHARC音頻模塊平台，如圖5所示）對於SoC來說比較少見，但在獨立音頻DSP領域卻很常見。

圖5. SHARC音頻模塊(SAM)開發平台。

總之，很明顯，設計實時聲學係統需要細致
、戰略性的規劃係統資源
，不能單單通過在多任務SoC上分配處理裕量來進行管理。相反
，針對低延時處理而優化獨立的音頻DSP有望提高其耐用性


，縮短開發時間，實現出色的可擴展性，以適應未來的係統需求和性能等級。

參考電路 

1 Paul Beckmann。“多核SOC處理器：性能
、分析和優化” 。2017年 度AES國際汽車音頻大會，2017年8月。

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

通過SiC技術電機逆變器實現電動汽車行駛裏程拓展的承諾

想要輕鬆改造智能開關，如何選擇單火線電源很關鍵！

用於實現O-RAN無線解決方案的5G技術設備

SiC-SBD和Si-FRED: 誰能突破功率半導體器件性能天花板？

功率半導體冷知識：IGBT短路結溫和次數