3D視覺成像的下一站

3D視覺成像的三個(gè)方向

曾經(jīng)，智能手機(jī)只要做到性能強(qiáng)、網(wǎng)速快、拍照清晰、續(xù)航持久就可以了。然而，如今的人們已經(jīng)不再滿足于“屏幕內(nèi)的視界”，除了需要拍攝更具立體感的照片，更安全的面部識(shí)別/支付、3D試妝、AR裝潢、AR游戲、體感游戲、全息影像交互等需要“3D視覺成像”技術(shù)支撐的應(yīng)用環(huán)境（圖1），才是智能手機(jī)未來的發(fā)展趨勢(shì)。

根據(jù)原理和硬件實(shí)現(xiàn)方式的不同，智能手機(jī)領(lǐng)域最靠譜的3D視覺成像技術(shù)逐漸衍生出了三個(gè)方向，它們分別是雙目立體成像、3D結(jié)構(gòu)光以及TOF技術(shù)。下面，就讓我們依次了解一下這三種技術(shù)的差異吧。

雙目立體成像：無解的光線

我們?nèi)ル娪霸和ㄟ^立體眼鏡觀看3D電影，就是雙目成像技術(shù)的一種表現(xiàn)形式：由于雙眼會(huì)有視覺差距，從而呈現(xiàn)出立體的畫面。在手機(jī)領(lǐng)域，配備兩顆攝像頭陣列，就滿足了雙目成像技術(shù)的最基本要求。

雙攝手機(jī)能干啥

如今幾乎所有千元以上的新品都在主打雙攝模塊（圖2），而兩顆鏡頭的組合，也賦予了智能手機(jī)在一定程度上偵測(cè)物體遠(yuǎn)近的能力，可以拍攝出具備硬件級(jí)背景虛化效果的照片。此外，以華為/榮耀手機(jī)為代表的品牌，在相機(jī)APP中還提供了“3D動(dòng)態(tài)全景”模式（圖3）。點(diǎn)擊開啟后，只要按住快門將攝像頭對(duì)準(zhǔn)被攝物體，然后繞著它沿固定方向移動(dòng)，松開手即可完成拍攝。

在相冊(cè)預(yù)覽時(shí)，我們只要點(diǎn)擊照片中對(duì)應(yīng)的3D圖標(biāo)，就能將這張靜止的圖片變成動(dòng)態(tài)的視頻，通過陀螺儀轉(zhuǎn)動(dòng)手機(jī)，或手指的拖拽移動(dòng)欣賞拍攝物體的不同角度。總之，在拍攝具備景深信息和3D動(dòng)態(tài)的立體照片，以及時(shí)下流行的AR合影和AR萌拍時(shí)（圖4），雙攝手機(jī)的表現(xiàn)總會(huì)優(yōu)于單攝手機(jī)，而這就是類似雙目成像技術(shù)背后的功勞。

來自光線的困擾

智能手機(jī)所武裝的標(biāo)準(zhǔn)攝像頭能否拍攝清晰的圖像，完全取決于環(huán)境的光線，過亮或過暗的光線都會(huì)造成識(shí)別上的困難。就拿時(shí)下流行的“面部識(shí)別”功能為例（圖5），無論手機(jī)前置攝像頭是1顆還是2顆，其本質(zhì)上還是2D成像，不僅存在被面部照片或面部視頻“欺騙”的風(fēng)險(xiǎn)，在漆黑環(huán)境下也將徹底失效。

為此，很多手機(jī)還會(huì)額外搭配專用的前置紅外補(bǔ)光單元，從而解決漆黑環(huán)境下的面部識(shí)別難題。比如小米8，就在屏幕的劉海部分添加了隱藏式的紅外照明原件和紅外相機(jī)（圖6）。需要注意的是，紅外補(bǔ)光單元的加盟，依舊無法解決此類手機(jī)屬于2D成像面部識(shí)別的事實(shí)，與iPhone X可以用于安全支付的Face ID不可同日而語(yǔ)。

換句話說，目前智能手機(jī)通過雙攝模擬雙目成像技術(shù)的方案，最多只能算是2.5D，無論是精準(zhǔn)度還是對(duì)光線敏感度的要求，都還不足以幫助手機(jī)進(jìn)入真正的3D視覺成像時(shí)代。

3D結(jié)構(gòu)光：距離是死穴

iPhone X是一款里程碑式的產(chǎn)品，它在手機(jī)領(lǐng)域首次實(shí)現(xiàn)了深度機(jī)器視覺技術(shù)，依靠名為“結(jié)構(gòu)光技術(shù)”的硬件模組，實(shí)現(xiàn)了對(duì)面部信息采集從2D到3D的進(jìn)化。

淺析結(jié)構(gòu)光技術(shù)

簡(jiǎn)單來說，iPhone X在采集面部信息時(shí)，前置攝像頭基本就是擺設(shè)，而是依靠由紅外鏡頭、泛光感應(yīng)元件和點(diǎn)陣投影器構(gòu)成的“結(jié)構(gòu)光模具”（圖7）。其中，點(diǎn)陣投影器會(huì)發(fā)射3萬(wàn)多個(gè)肉眼不可見的光點(diǎn)投影在你的臉部，繪制出三維建模的立體面譜（圖8），紅外鏡頭則會(huì)讀取這些點(diǎn)陣圖案，并將信息發(fā)送到A11處理器的安全隔離區(qū)進(jìn)行匹配對(duì)照，而泛光感應(yīng)則是確保識(shí)別面部不受環(huán)境光線的影響。

和前文提到的已經(jīng)逐漸普及的、基于前置攝像頭和軟件算法實(shí)現(xiàn)的2D面部識(shí)別方案相比，iPhone X通過結(jié)構(gòu)光帶來的Face ID，具備金融級(jí)別的安全等級(jí)，因此蘋果才敢讓Face ID在解鎖手機(jī)之外，還能用于購(gòu)買應(yīng)用以及支付Apple Pay。

如今，結(jié)構(gòu)光技術(shù)已經(jīng)不再是iPhone X的專利，小米8探索版、OPPO Find X等手機(jī)都先后引入了類似的技術(shù)，從而實(shí)現(xiàn)了媲美iPhone X的Face ID能力。需要注意的是，小米8探索版的結(jié)構(gòu)光模塊暫時(shí)只能用來解鎖（通過屏下指紋識(shí)別用于支付），而OPPO Find X則已支持支付寶刷臉支付的功能。

從技術(shù)上來看，iPhone X、小米8探索版和OPPO Find X的結(jié)構(gòu)光模塊大致相同，只是在元器件的叫法、點(diǎn)陣傳感器類型和發(fā)射點(diǎn)的數(shù)量上存在差異。比如iPhone X將關(guān)鍵元件稱為點(diǎn)陣投影器（散斑結(jié)構(gòu)光，可發(fā)射3萬(wàn)個(gè)識(shí)別點(diǎn)）、紅外鏡頭和泛光感應(yīng)元件；小米8探索版叫點(diǎn)陣投影器（編碼結(jié)構(gòu)光，可發(fā)射3.3萬(wàn)個(gè)識(shí)別點(diǎn)）、紅外相機(jī)和泛光照明元件（圖9）；Find X則稱為點(diǎn)陣投影器（散斑結(jié)構(gòu)光，可發(fā)射1.5萬(wàn)個(gè)識(shí)別點(diǎn)）、IR補(bǔ)光燈和IR攝像頭（圖10）。雖然細(xì)節(jié)上存在不同，但幾款手機(jī)在面部解鎖的體驗(yàn)上卻基本相同。

結(jié)構(gòu)光技術(shù)的缺陷

結(jié)構(gòu)光技術(shù)幫助手機(jī)進(jìn)入了3D視覺成像時(shí)代，但它的實(shí)際應(yīng)用范圍還是相對(duì)有限，比如它只能放在手機(jī)正面與前置攝像頭做鄰居，目前比較成熟的方案也就是面部解鎖、面部支付、3D美顏以及類似Animojis的3D表情制作（圖11）。而未來結(jié)構(gòu)光的優(yōu)化方向則是實(shí)現(xiàn)3D靜態(tài)建模，掃描用戶3D頭像信息用于游戲、3D視頻通話或進(jìn)行3D打?。▓D12）。

此外，結(jié)構(gòu)光的特點(diǎn)是不必獲取被拍攝物體的表面紋理，而是將一簇簇的光線投影到物體的表面，進(jìn)而通過光線采集物體的位置以及三維縱深等信息。然而，正是因?yàn)榻Y(jié)構(gòu)光投射的是一簇簇的光線，如果距離過遠(yuǎn)，光線就會(huì)發(fā)散從而失去識(shí)別能力，這也就造成了結(jié)構(gòu)光僅能作用于近距離識(shí)別。

無論是iPhone X、小米8探索版還是Find X，只要手機(jī)距離面部超過1米左右，解鎖就會(huì)失效。當(dāng)然，現(xiàn)實(shí)中手機(jī)解鎖時(shí)距離我們也就是一臂的距離，并不影響結(jié)構(gòu)光的識(shí)別，但如果用于更遠(yuǎn)距離的AR/VR交互就有些不夠看了。

TOF技術(shù)：未來的趨勢(shì)

TOF（Time of flight，飛行時(shí)間測(cè)距法）同樣是一種用于3D視覺成像的技術(shù)，它和結(jié)構(gòu)光一樣，都是通過光線進(jìn)行物體的識(shí)別，但二者在底層技術(shù)和識(shí)別效果方面卻存在著極大的差異。

TOF技術(shù)的原理和優(yōu)勢(shì)

TOF技術(shù)的原理，就是通過專用傳感器，給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，最終通過探測(cè)光脈沖的飛行（往返）時(shí)間來得到目標(biāo)物的距離。和結(jié)構(gòu)光的點(diǎn)陣傳感器相比，TOF技術(shù)在距離和精度上有了極大的改善：

1結(jié)構(gòu)光技術(shù)發(fā)射的是一簇簇的光線，而TOF技術(shù)發(fā)射的是一整面光線（圖13），可見有效深度信息點(diǎn)從3萬(wàn)個(gè)提升到30萬(wàn)個(gè)甚至更多。當(dāng)用戶進(jìn)行解鎖和支付等涉及安全的操作時(shí)，TOF技術(shù)可帶來更精細(xì)的深度成像，最大限度提升人臉識(shí)別的安全性，做到金融級(jí)別的安全保護(hù)（圖14）；

2結(jié)構(gòu)光技術(shù)的最佳工作距離為0.2米到1.2米，而TOF技術(shù)的最佳工作距離為0.4米到5m米（理論最高可達(dá)10米），更遠(yuǎn)的有效距離，可以進(jìn)一步擴(kuò)展3D視覺成像應(yīng)用的范圍和潛力；

3TOF技術(shù)的傳感器比結(jié)構(gòu)光模塊更少更小，成本相對(duì)更低，也可以簡(jiǎn)化手機(jī)主板布局，哪怕是僅有屏幕1/3寬度的“劉?！崩镆沧銐蛉菁{相關(guān)的硬件單元；

4TOF技術(shù)既可以與手機(jī)前置攝像頭聯(lián)姻，放在手機(jī)的額頭位置，也能與手機(jī)后置鏡頭搭檔，實(shí)現(xiàn)背部三攝的豪華布局。

前置TOF設(shè)計(jì)方案

vivo曾在2018世界移動(dòng)大會(huì)（上海）中發(fā)布了前置TOF方案（圖15），并將其命名為“vivo TOF 3D超感應(yīng)技術(shù)”。由于TOF的功能與結(jié)構(gòu)光有所重疊，所以前置TOF設(shè)計(jì)同樣可以帶來與結(jié)構(gòu)光相似的功能，比如金融級(jí)的面部解鎖、面部支付、3D美顏、3D表情、3D頭像建模等，利用TOF有效距離更遠(yuǎn)的優(yōu)勢(shì)，在應(yīng)用范圍和實(shí)際體驗(yàn)上的表現(xiàn)會(huì)更好（圖16）。

比如，利用手機(jī)將萬(wàn)物（比如自己的頭像）建模，再將模型與其他虛擬游戲結(jié)合，讓玩家自己作為“新世界”的主角，兼顧沉浸式視覺體驗(yàn)與體感操作的樂趣。此外，在購(gòu)物方面，TOF可以帶來更真實(shí)和精確的3D試衣效果，無需逛賣場(chǎng)試衣就能放心下單。

后置TOF設(shè)計(jì)方案

OPPO最新發(fā)布的R17 Pro屬于后置TOF方案的代表，它在后置雙攝的上方安裝了第三顆鏡頭（圖17、圖18），也就是所謂的TOF模塊，從而將后置拍照從2D時(shí)代推向3D時(shí)代。

和前置TOF方案相比，后置TOF自然不再適用于面部解鎖和面部支付等功能了，但它在后置鏡頭的3D美顏、AR裝潢、AR游戲、體感游戲、全息影像交互等功能上，卻可以帶來比前置TOF方案更好的體驗(yàn)。

其中，AR無疑是后置TOF方案的主戰(zhàn)場(chǎng)，因?yàn)闀r(shí)下大部分AR應(yīng)用都是使用后置攝像頭拍攝真實(shí)世界的畫面并進(jìn)行算法識(shí)別，然后再進(jìn)行內(nèi)容的填充。有了TOF技術(shù)加持的后置攝像頭，可以將更完美的3D建模填充到畫面里（圖19），讓AR效果更真實(shí)。

理性看待TDF技術(shù)前景

對(duì)智能手機(jī)而言，TOF是比結(jié)構(gòu)光更具前景的3D視覺成像技術(shù)，它可以讓手機(jī)屏幕從單純的2D畫面轉(zhuǎn)變到更具空間感的3D畫面，無論是畫面的信息還是內(nèi)容都將兀然增多。通過TOF模塊與前置或后置鏡頭的搭配，還可以讓TOF更有針對(duì)性地滿足具體應(yīng)用場(chǎng)景的安全和體驗(yàn)需求。

可惜的是，TOF技術(shù)才剛剛進(jìn)入商業(yè)化量產(chǎn)的前期階段，與其搭配的應(yīng)用環(huán)境還不成熟，所以如今它的玩法還不夠豐富，相關(guān)手機(jī)的售價(jià)也談不上性價(jià)比，短期內(nèi)還是屬于偏概念的技術(shù)。想讓TOF技術(shù)真正爆發(fā)，還需要等待5G網(wǎng)絡(luò)的普及，屆時(shí)TOF搭配更極致的網(wǎng)速和帶寬，它將在3D視頻通話、遠(yuǎn)程VR、遠(yuǎn)程AR、遠(yuǎn)程JR等泛現(xiàn)實(shí)迎來殺手級(jí)的體驗(yàn)（圖20）。

讓我們共同期待吧。