影像專業(yè)NPU　淺析OPPO馬里亞納MariSiliconX芯片

自研ISP的春天

如今智能手機愈加看重影像（拍照，攝像）實力。但是，手機影像系統(tǒng)卻是一個非常長的鏈條，包括CMOS傳感器、馬達、光學(xué)防抖模塊、鏡片、鏡頭（光圈）、鍍膜，在光學(xué)信號轉(zhuǎn)化為數(shù)字信號時還需要ISP影像處理器進行“糾錯”、“校驗”和“補償”，再通過后端標(biāo)定和AI算法調(diào)優(yōu)等過程。其中，ISP影像處理器芯片的角色最為特殊（圖1），也是手機廠商之間尋求影像差異化的最佳突圍路徑。

對于一線智能手機品牌來說，自研芯片已是一項不可或缺的核心競爭力，而自研ISP因難度相對較?。ㄏ啾戎苯友邪l(fā)SoC），更是形成了一股風(fēng)潮。特別是在AI人工智能時代，也唯有自研的ISP才能算是“知根知底”，100%匹配自家的AI成像算法，進而更好地實現(xiàn)自身軟硬件的協(xié)同，解決用戶關(guān)心的痛點，在設(shè)計、硬件和系統(tǒng)趨于同質(zhì)化的當(dāng)下帶來更多的辨識度。

火速鏈接

如果你對ISP的原理感興趣，請參考本刊2021年第18期《兵家必爭之地淺析智能手機“心臟” 內(nèi)的I SP模塊》這篇文章。

為了提升影像實力，在武裝更高規(guī)格CMOS傳感器之外，從去年開始以小米和vivo為代表的品牌就相繼走上了自研ISP影像處理器的道路。比如，小米去年發(fā)布的澎湃C1就幫助M I XFOLD折疊屏手機實現(xiàn)了更精細、更先進的3A（AF對焦、AWB白平衡及AE自動曝光）處理（圖2）;vivoV1也能讓X70 Pro+在低功耗條件下就實現(xiàn)暗光環(huán)境下的實時預(yù)覽，在高速處理同等計算量任務(wù)時，V1的專用算法相比軟件實現(xiàn)的方式可使硬件電路功耗降低50%，還能提供游戲插幀體驗，震撼更勝以往（圖3）。

②

③

如今，終于輪到OPPO“交作業(yè)”了。

OPPO入局的考量

OPPO在過去一直都在手機影像領(lǐng)域持續(xù)發(fā)力，無論是從Find X3系列開始提出的“全鏈路10bit色彩引擎”還是Reno7系列獨享的RGBW傳感器IMX709，再往前還能追溯到開啟美顏時代的Ulike、配備旋轉(zhuǎn)攝像頭的N系列、可讓1300萬像素攝像頭實現(xiàn)5000萬像素的超清畫質(zhì)成像技術(shù)、R17 Pro獨特的F1.5/F2.4靈動光圈、第一代Reno主打的10倍混合光學(xué)變焦技術(shù)，每一項技術(shù)或功能都令人印象深刻。

在這個過程中，OPPO在通用SoC平臺（如高通驍龍、聯(lián)發(fā)科天璣移動平臺芯片）上積累了許多AI算法，但同時也發(fā)現(xiàn)了一系列問題。比如，以O(shè)PPO獨享的IMX709傳感器為例，由于它采用了定制的RGBW排列，需要整個圖像處理鏈路進行優(yōu)化增強，很難與通過SoC平臺實現(xiàn)緊密耦合，無法實現(xiàn)最大的收益。為此，OPPO不得不在IMX 70 9傳感器邏輯層內(nèi)置OPPO自研硬件級IP——RGBW圖像處理單元，耗資巨大（圖4）。

④

另一方面，通用SoC平臺通常是1年1次迭代升級，而AI算法卻無時無刻不在更新完善，二者在時間上難以匹配。此外，隨著超級夜景、A I美顏、A I視頻防抖等功能的出現(xiàn)，AI算法在一定程度上已經(jīng)超越了基于傳統(tǒng)ISP硬件芯片進行計算的效果。雖然通用SoC平臺內(nèi)都已集成AI模塊，但其AI算力卻無法被手機廠商自己的AI算法充分調(diào)用，效率和功耗的損失極大。

對于已經(jīng)擁有定制傳感器和成熟A I算法，并深諳用戶需求的OPPO來說，急需一顆可以將全鏈路10 bit 色彩引擎、IM X709傳感器（包括后續(xù)版本）、獨家AI算法等資源進行影像鏈路垂直整合的芯片，填補OPPO缺乏可控影像專用處理器的最后短板，將AI算法和傳統(tǒng)ISP進行更好地結(jié)合，迎接即將到來的“計算影像”時代。

淺析馬里亞納MariSilicon X

需要注意的是，OPPO首款自研芯片并非小米和vivo自研的ISP影像處理器，而是難度更高的專為影像而生的NPU——馬里亞納MariSilicon X（圖5）。官方稱該芯片是OPPO未來十年影像的開篇之作，將完全服務(wù)于OPPO定制化的計算影像需求，未來它將和通用平臺一起構(gòu)成了手機核心運算的左右大腦，正式開啟“一機雙芯”時代。

⑤

6nm制程工藝作

為一顆“非主流”的芯片，OPPO馬里亞納MariSilicon X采用DSA新黃金架構(gòu)理念，并選用了當(dāng)前仍處于領(lǐng)先水平的臺積電6nm制程工藝（圖6），需要付出更多的設(shè)計、流片成本和開發(fā)周期。作為對比，無論是小米澎湃C1還是vivo V1都采用了更主流的12nm制程工藝。有了更先進工藝的加持，馬里亞納MariSilicon X才實現(xiàn)了同級最好的能效比，達到了OPPO對自研芯片的預(yù)期要求。

⑥

ISP和NPU合二為一

馬里亞納MariSiliconX內(nèi)部有兩大OPPO自研的核心IP，分別是MariNeuro AI計算單元和MariLumi影像處理單元（圖7）。其中，前者扮演的就是類似驍龍AI引擎和聯(lián)發(fā)科APU的“NPU”，而后者則是傳統(tǒng)意義上的“ISP”。二者攜手，便能充分發(fā)揮定制圖像傳感器以及自研AI影像算法的能力，彌補當(dāng)前通用SoC平臺集成的ISP和AI算力不足的難題，而且不存在功耗和芯片面積的浪費問題。

⑦

MariNeuro AI計算單元

馬里亞納MariSiliconX集成的Mar iNeuroAI計算單元可以提供高達18TOPS的算力，以及11.6TOPS/W的能效表現(xiàn)（圖8）?？吹?8TOPS這組數(shù)據(jù)時，估計不少朋友會感到不屑——驍龍888集成的第六代高通AI引擎可是有著26TOPS的算力。但正如前文所述，手機廠商無法在影像方面充分調(diào)度通用SoC平臺的AI算力。

⑧

以搭載驍龍888的Find X3 Pro為例，在這款手機上運行OPPO自研的4K（視頻）AI降噪算法時最多只能跑出2FPS，而且功耗也接近1.7W。但在搭載了馬里亞納MariSilicon X的平臺上，運行同樣的測試項目卻能跑出40FPS的幀數(shù)，功耗也低至0.8W，實現(xiàn)了20倍的性能躍升，同時功耗降低超過50%，充分體現(xiàn)了越專用越高效的顯著優(yōu)勢。

馬里亞納MariSilicon X的AI計算之所以如此高效，還因為它解決了傳統(tǒng)AI芯片的內(nèi)存墻瓶頸（圖9）。簡單來說，OPPO為它配備了豪華的雙層存儲架構(gòu)，包括可提供高達每秒萬億比特（Tb /s）超大吞吐量的內(nèi)存子系統(tǒng)，以及傳輸速度高達8.5GB/秒的獨立DDR帶寬，后者可為芯片內(nèi)各個計算單元提供獨立帶寬，還能為手機系統(tǒng)總帶寬帶來額外的17%增量，在有效減少數(shù)據(jù)搬運的同時提升能效比。

MariLumi影像處理單元

MariLumi影像處理單元也是馬里亞納MariSilicon X的核心組成部分（圖10），它支持最高20bit的處理位寬，并支持驚人的20bit Ultra HDR。作為對比，高通新一代驍龍8集成三核18bit ISP，支持18bit RAW格式拍攝;聯(lián)發(fā)科天璣9000集成的第七代的Imagiq ISP也僅支持18bit HDR。

⑩

20bit Ultra HDR意味著能覆蓋100萬：1的最大亮度范圍，即一張照片當(dāng)中最暗和最亮的部分相差了100萬倍，達到了新一代驍龍8及天璣9000的4倍，幾乎與人眼真實的感受無異（圖11）。

⑾

20bit實時RAW計算

RAW是一種未經(jīng)過壓縮的無損原生照片格式，最大程度保留了照片拍攝的原始信息，這也使得其擁有更大的后期制作空間。在傳統(tǒng)的手機影像計算中，通常是將CMOS輸出的R AW信息先通用S oC平臺集成的ISP轉(zhuǎn)換成RGB信息，再轉(zhuǎn)換成YUV（AI降噪和HDR也在該階段完成），而其中的每一步轉(zhuǎn)換都存在一定的信息耗損，其最高上限只有18bit HDR。

通過馬里亞納MariSilicon X對影像鏈路的垂直整合，就可以重塑轉(zhuǎn)換鏈路，將處理節(jié)點提前（圖12），直接在信息量100%的RAW域做實時計算，因此才實現(xiàn)了20bit實時R AW計算和20 bit UltraHDR功能，并能夠帶來8dB的圖像信噪比提升。換句話說，這顆影像NPU會搶在手機搭載的通用SoC平臺之前進行HDR和AI降噪等操作，處理之后才會交付給通用SoC平臺（圖13）。

⑿

專屬RGBW Pro模式

早在2015年OPPO就曾在R7 Plus身上應(yīng)用過RGBW傳感器（IMX278），號稱低照度下感光能力提升32%，噪點降低78%，室內(nèi)弱光及夜拍均有更為強大的表現(xiàn)。可惜，受制于當(dāng)年芯片的制程、信號串?dāng)_、算力不足以及缺少像素合并技術(shù)等原因，RGBW的IMX278實際成像存在色彩失準(zhǔn)和摩爾紋等問題。

OPPO Reno7系列主打的IMX709內(nèi)部集成了自研的RGBW圖像融合單元，強大的算力再疊加四合一像素算法和DTI像素隔離技術(shù)，已經(jīng)很好地解決了RGBW的先天缺陷，并且減少了傳感器子像素之間的串?dāng)_，進而提升純凈度，可顯著提升人像模式下在膚色、細節(jié)、明暗等方面的表現(xiàn)。

但是，在通用SoC平臺下，依舊無法發(fā)揮IMX709，或者說RGBW傳感器的全部實力。為此，OPPO借助馬里亞納MariSilicon X的雙通路設(shè)計，首次實現(xiàn)了對RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。據(jù)悉，馬里亞納MariSilicon X的RGBW Pro模式可帶來8.6dB的信噪比提升，以及1.7倍的解析力提升（圖14），在傳感器尺寸規(guī)格都沒有變化的前提下實現(xiàn)大幅的影像效果增強。

AI夜景視頻首次嘗鮮4K

正如前文所述，哪怕驍龍888有著26 TOPS的AI算力，在進行OPPO自研的4K AI降噪算法時的幀數(shù)和功耗表現(xiàn)也極不理想。換句話說，現(xiàn)階段這種AI降噪只能用于拍照，而無法放在視頻拍攝方面。

但是，在馬里亞納MariSilicon X的加持下，就能同時讓20bit RAW計算、20bit Ultra HDR、4K AI HDR視頻降噪同時用于拍照或是視頻錄制，首次讓Android生態(tài)下的AI視頻有了4K表現(xiàn)（圖15），也讓4K視頻第一次擁有了AI能力。

⒂

小結(jié)

總的來說，馬里亞納MariSilicon X是一款性能強大且擁有極致能效比的影像專用NPU，綜合了比通用SoC平臺更強的AI算力和ISP性能，其主打的Ultra HDR能力、無損的實時RAW計算以及最大化傳感器能力的RGBWPro都是可以解決當(dāng)下手機影像痛點的特色?？梢灶A(yù)見，這顆OPPO自研的NPU芯片將主要服務(wù)于更多與視頻拍攝相關(guān)的創(chuàng)新的AI功能，用計算攝影突破手機影像功能的極限。據(jù)悉，馬里亞納MariSilicon X將被新一代Find X系列首發(fā)，以雙芯時代正式開啟面向未來十年的計算影像新篇章（圖16）。