他們選了一條最難的路

徐林

如履薄冰的自研6nm

2021年是一個重要的時間節(jié)點(diǎn)，在這一年，小米與vivo先后推出了自研的ISP芯片：澎湃C1和vivo V1，進(jìn)一步助推自己在手機(jī)影像領(lǐng)域的技術(shù)演進(jìn)。隨后，OPPO自研芯片也將要問世的消息就接踵而至，但爭議也隨之而來。因為澎湃C1和vivo V1先后都被網(wǎng)友找到了和第三方芯片公司業(yè)已存在的芯片有所關(guān)聯(lián)，紛紛質(zhì)疑其自研 的含金量。

對此我也感覺挺無奈的，因為芯片研發(fā)的鏈條本來就很長，介入方式也是多種多樣，將自主IP植入再由芯片生產(chǎn)廠商流片這本來就是一種常見且成熟的模式，其優(yōu)勢就是可以快速將自主IP硬化商用，從而節(jié)約時間與成本，并為后續(xù)的演進(jìn)和設(shè)計提供經(jīng)驗。要是按很多網(wǎng)友嚴(yán)格的自研標(biāo)準(zhǔn) 來衡量，那我們熟悉的麒麟、蘋果、高通還有聯(lián)發(fā)科估計都算不得是自研，因為它們采用的IP都來自于ARM而非自主開發(fā)，算來算去可能只有Intel這種才是真自研吧……

話題扯遠(yuǎn)了，說回OPPO。當(dāng)馬里亞納 X正式發(fā)布的時候，其類型可能出乎很多人的意料：它是一枚專門用于AI影像處理的NPU，而非之前盛傳的ISP。更重要的是，這還是一枚采用相當(dāng)先進(jìn)的6nm工藝制程的芯片，與當(dāng)前很多主流智能手機(jī)5G SoC，如高通驍龍778G/778G+，聯(lián)發(fā)科天璣 1200/1100處于同一梯隊。僅僅是6nm 這一個關(guān)鍵詞，還包含著大量信息：

第一，它的價格會很高，因為6nm是真正意義上的全EUV工藝（7nm+也只實現(xiàn)了部分EUV）。目前全球硅基芯片最先進(jìn)制程大部分都為智能手機(jī)SoC采用，OPPO在一枚NPU上采用這個工藝，真是下了血本。我和一些行業(yè)分析師估算了一下，覺得單這一枚芯片的交付成本，就和半套中端手機(jī)SoC不相上下了；

第二，只能自研，因為在這個如此先進(jìn)的制程節(jié)點(diǎn)上，沒有可以采購能達(dá)到OPPO標(biāo)準(zhǔn)的第三方成熟IP，都只能從零開始，此前網(wǎng)上有人說得頭頭是道的采購誰家IP都是扯淡；

第三，風(fēng)險極大，6nm制程+自研IP流片不成功的概率并不低，每一次流片失敗都代表著千萬級別人民幣的投入打了水漂，而就算是流片成功，芯片也會有概率不達(dá)預(yù)期，稱其為開寶 一點(diǎn)也不為過。這也讓我想起之前和華為聊到麒麟810這枚神U為何比更高定位的麒麟985還要猛時，得到的回答是流片的結(jié)果的確超過預(yù)期 。

在這些可能梳理出來的信息背后，我覺得還有一場向來行事風(fēng)格穩(wěn)重的OPPO輸不起的豪賭 ：從2018年INNO DAY上OPPO創(chuàng)始人陳明永宣布2019年研發(fā)投入100億人民幣 ，再到短短一年后的INNO DAY上3年500億人民幣 的迅速攀升，除了要支撐快速擴(kuò)張的研發(fā)業(yè)務(wù)與團(tuán)隊，還有很大一部分比例都為芯片研發(fā)業(yè)務(wù)所占據(jù)——用燒錢 來形容這個行業(yè)明顯力度不夠。

資金投入是一方面，另一方面是時間，與自研芯片配套的IMX709傳感器研發(fā)商用推進(jìn)速度很快，當(dāng)其確定在Reno7系列上采用時，留給芯片團(tuán)隊的時間就已經(jīng)不多了，首次流片如箭在弦，不得不發(fā)。幸運(yùn)的是，OPPO福星高照，馬里亞納 X不但一次流片成功，而且測試表現(xiàn)也完全達(dá)到了開發(fā)團(tuán)隊的預(yù)期，從前期研發(fā)到后期流片的所有投入都算是扎扎實實落了地，一次堪比走鋼絲 的冒險圓滿過關(guān)。

既然成本如此高昂，風(fēng)險如此巨大，為啥OPPO非要選擇這樣一條最難的路 呢？OPPO芯片產(chǎn)品高級總監(jiān)姜波為我們悉數(shù)道來——他于2019年加入OPPO芯片研發(fā)團(tuán)隊，在此之前他曾供職于高通，為高通在中國智能手機(jī)芯片的起步和快速成長做出了很大的貢獻(xiàn)。他說OPPO智能手機(jī)業(yè)務(wù)在此前10來年的發(fā)展歷程中已經(jīng)在影像領(lǐng)域有大量的積累，且在長期采用第三方通用平臺的過程中也有很多AI與CV（計算機(jī)視覺）算法的經(jīng)驗，當(dāng)業(yè)界都公認(rèn)計算影像是未來10年影像領(lǐng)域的發(fā)展方向時，如何更好地凝聚這些積累并繼續(xù)演進(jìn)就成為關(guān)鍵，這也是OPPO打算自研影像處理芯片的初衷。

智能手機(jī)的競爭已經(jīng)步入巨頭時代，為了打造產(chǎn)品差異化，定制傳感器+自主算法 的組合都為各家所采用，比如華為麒麟+RYYG 就是典型的例子，包括澎湃C1的3A算法，vivo V1固化的夜景拍攝和實時預(yù)覽都是這種方案的呈現(xiàn)。而在不久前結(jié)束的2021年高通驍龍峰會上，驍龍開發(fā)團(tuán)隊也表示很歡迎OEM伙伴加入自研芯片，但我們認(rèn)為這種方案在實效性和持續(xù)性上會有問題 。是的，ISP作為ASIC芯片，在采用的靈活性和后續(xù)提升上的確不如通用平臺方案，但其高效率和功耗平衡也是優(yōu)勢明顯，綜合下來，這也是為何很多廠商初期會采用成熟芯片植入IP這種相對穩(wěn)健的方案。

最開始，OPPO也是打算以這樣的方式入手自研芯片，且以12nm制程起步——算來算去，100億肯定是夠了。但開始之后才發(fā)現(xiàn)了問題：如果采用市面上能采購到的12nm制程IP來做，最后成片應(yīng)該無法達(dá)到手機(jī)整體系統(tǒng)功率約束的目標(biāo)。要知道，隨著5G SoC能力的提升，10W以上的芯片峰值功率已經(jīng)讓電池續(xù)航不堪重負(fù)，要是再額外加入一枚功耗表現(xiàn)不佳的芯片，勢必會對后續(xù)產(chǎn)品定義帶來更大的困擾，當(dāng)然，這就是終端廠商自己做芯片的優(yōu)勢所在，負(fù)面因素可以前置解決。在這樣的前提下，馬里亞納 X最終選擇以6nm先進(jìn)制程從零起步，3年500億，預(yù)算在燃燒……

面向未來10年的馬里亞納 X

馬里亞納 X當(dāng)中集成了OPPO自研負(fù)責(zé)AI處理的MariNeuro AI計算單元和負(fù)責(zé)影像的MariLumi影像處理單元。最直觀的數(shù)據(jù)是，馬里亞納X最終的性能不負(fù)眾望：18TOPS AI峰值算力比蘋果A15處理器NPU單元的15TOPS算力更強(qiáng)，更是遠(yuǎn)超高通驍龍888+處理器。有人可能要質(zhì)疑高通這款處理器不是宣稱有32TOPS AI算力么？因為那是指的整個AI Engine的算力，其是通過CPU、GPU和Hexagon多個單元一起協(xié)同達(dá)成的，如果對比同類型處理單元，即Hexagon DSP中的張量加速器（即高通處理器中的NPU）能力，馬里亞納 X是肯定強(qiáng)過的——當(dāng)然，新驍龍8宣稱其張量加速器性能翻倍，是不是還能打就看后續(xù)信息了。

作為衡量手機(jī)NPU性能更重要的標(biāo)準(zhǔn)——每瓦算力，馬里亞納 X為11.6TOPS/W，換算下來整個芯片的峰值運(yùn)算功耗約為1.5W，如果讓其執(zhí)行現(xiàn)實圖片，即實際拍攝圖片的處理，更高達(dá)12TOPS/W，性能與能效比在當(dāng)前業(yè)界都處于領(lǐng)先水準(zhǔn)。

除了高性能的自研NPU IP，為了滿足數(shù)據(jù)處理過程中的高吞吐量，馬里亞納 X的整個內(nèi)存系統(tǒng)也進(jìn)行了針對性設(shè)計，片上緩存速度達(dá)到了每秒萬億比特級別，集成封裝的內(nèi)存子系統(tǒng)通過雙通道方式提升了17%的帶寬，速率高達(dá)8.5GB/s。

在存儲系統(tǒng)的輔助下，馬里亞納 X擁有強(qiáng)悍的數(shù)據(jù)吞吐量：在它上邊運(yùn)行OPPO降噪算法，797mW的功耗下可實現(xiàn)4K@40fps AI處理，即可以錄制流暢的4K高清視頻，而同樣的算法運(yùn)行在Find X3 Pro上，就只能實現(xiàn)4K@2fps的速率，僅可以用來拍攝照片，且功耗高達(dá)1693mW，是馬里亞納 X協(xié)處理芯片的1倍以上。

有了馬里亞納 X NPU中OPPO自研的MariNeuro AI計算單元，其帶來的強(qiáng)大AI運(yùn)算能力，讓OPPO終于可以做一件想做很久的事情了：實時RAW域處理。為了完成這個前置的處理環(huán)節(jié)，芯片團(tuán)隊在馬里亞納X中還集成了一個重要的模塊：MariLumi影像處理單元，這是OPPO自研的具備ISP功能的處理器，它是以異構(gòu)的方式整合在馬里亞納 X之中。它可以為NPU處理提供20bit、120dB超高動態(tài)范圍的傳感器原始信號，比起現(xiàn)在Find X3 Pro所能提供的18bit信號動態(tài)范圍提升了4倍，光比從之前的25萬：1達(dá)到了100萬：1，再細(xì)化到4K場景下亮部與暗部的信號增益，則分別是8dB和12dB。

有了MariLumi的存在，OPPO還可以做一件想做很久的事情：與定制RGBW傳感器配套，進(jìn)行RGBW Pro模式增強(qiáng)處理。眾所周知，RGBW傳感器因為白色（White）像素點(diǎn)的存在，其感光能力得到大大增強(qiáng)，但同時因為傳統(tǒng)ISP RAW-RGB-YUV的處理管路，對這類傳感器的噪點(diǎn)抑制一直都不太理想。而專門設(shè)計的MariLumi則存在兩個并行的管路，分別進(jìn)行RGGB和WWWW兩路信號的獨(dú)立處理，其RAW域信息處理量直接翻倍，這帶來的好處就是實現(xiàn)了8.6dB的SNR降噪處理能力和1.7倍的紋理細(xì)節(jié)提升，這也意味著RGBW傳感器的噪點(diǎn)問題和畫質(zhì)可能都會得到更理想的解決。

說到這里，OPPO為什么如此在意馬里亞納 X的原因也就非常清楚了。首先，OPPO認(rèn)定影像會是智能手機(jī)未來10年的核心競爭點(diǎn)之一，而4K AI 夜景視頻又是這個領(lǐng)域的重要戰(zhàn)場，這一點(diǎn)從iPhone 12/13兩代產(chǎn)品在視頻性能上的大幅度強(qiáng)化就可見一斑；其次，RGBW異型CFA傳感器是OPPO未來要重點(diǎn)發(fā)力的技術(shù)，但其目前比較小眾，無論是高通還是聯(lián)發(fā)科的通用平臺對這一類型傳感器都缺乏指向性支持，想要將其能力最大化，就只有靠自己來做；第三，即使通過調(diào)校，通用處理器平臺要實現(xiàn)理想化的效果，也會付出較多能耗代價。綜合下來，自研這樣一枚芯片的確是件有價值的事情。

當(dāng)然，以較小的代價只做類似于MariLumi的ISP來解決問題，OPPO芯片團(tuán)隊也是有所考慮的，但最后還是一致認(rèn)為應(yīng)該充分考慮NPU芯片的生長性與可演進(jìn)能力。而問及馬里亞納 X可能帶來多少終端成本的上升，姜波說并沒有考慮太多，而是從產(chǎn)品特性、解決問題的目的出發(fā)，至于會不會帶來終端成本的提升，他說等到2022年首先搭載馬里亞納X的OPPO Find X系列旗艦上市，看價格大家就知道了。

寫在最后

千萬不要簡單地以為OPPO芯片團(tuán)隊投入這么多資金和人力，最后只做出來馬里亞納 X這一枚芯片——它只是這個團(tuán)隊自2019年成立以來，經(jīng)歷兩年多時間拿出的第一個作品，從各個方面來看，它已經(jīng)非常出色了，一枚針對影像解決方案的NPU都能如此用力過猛 ，也讓我對OPPO自研芯片后續(xù)的產(chǎn)品更加充滿期待，畢竟首枚芯片就做異構(gòu)，太給人以想象空間了。還有一個小信息值得關(guān)注：6nm馬里亞納 X的誕生，意味著OPPO與全球第一晶圓代工廠臺積電的關(guān)系應(yīng)該緊密了。當(dāng)然，更要一起期待2022年亮相的OPPO Find X系列旗艦啦！