引領(lǐng)科技創(chuàng)新，走出計算機視覺技術(shù)的落地之路

■ 采訪/楊晗之 受訪/賈佳亞

人工智能（AI）代表著未來發(fā)展趨勢，而計算機視覺則是人工智能最為有力的表現(xiàn)形式，近年來取得了很多突破性成就。計算機視覺技術(shù)是人工智能的重要核心技術(shù)之一，可廣泛應(yīng)用于安防、金融、互聯(lián)網(wǎng)、物流、零售、醫(yī)療、制造業(yè)等領(lǐng)域。目前，我國計算機視覺技術(shù)水平已達到全球領(lǐng)先水平，廣泛的商業(yè)化渠道和技術(shù)基礎(chǔ)使其成為人工智能在中國落地最順利的技術(shù)。未來，計算機視覺技術(shù)還將取得哪些突破性進展，有哪些應(yīng)用場景？這些代表人工智能前沿方向的技術(shù)如何真正落地，年輕科研人員如何走好科技成果轉(zhuǎn)化之路？《張江科技評論》采訪了計算機視覺領(lǐng)域的領(lǐng)軍者、香港中文大學終身教授、騰訊優(yōu)圖實驗室杰出科學家賈佳亞。

【Q】：您作為計算機視覺的領(lǐng)軍人物，請介紹一下計算機視覺有哪些應(yīng)用場景，以及未來的行業(yè)發(fā)展趨勢。

【A】：計算機視覺的研究目標是使計算機程序能夠解讀和理解圖片，不僅是理解圖片的顏色，而且是更高層地理解圖片的語義及特征。人類大腦約有50%的視覺皮層，大腦分配給視覺處理的部分超過其他任何功能。在AI領(lǐng)域，計算機視覺是最重要的研究方向之一，代表著信息的多樣性和能夠獲得的可用信息。但是，正所謂知易行難，計算機視覺聽起來很容易理解，技術(shù)上實現(xiàn)起來卻非常困難。

隨著人工智能的落地發(fā)展，機器視覺在需求和應(yīng)用方向上有了非常大的發(fā)展剛需。視覺技術(shù)在應(yīng)用上的重要性和多樣性在各個行業(yè)內(nèi)得到印證。例如，在現(xiàn)今最靠近企業(yè)業(yè)務(wù)和消費者需求的AI技術(shù)中，人臉的各類識別和預測、自拍照相產(chǎn)生的各種效果、圖像視頻上的物體檢測分割、文字識別、各種運動行為姿態(tài)估計、事件感知等都得到了極其迅速的發(fā)展。在產(chǎn)品落地和未來發(fā)展層面，手機端的應(yīng)用、智慧城市領(lǐng)域的應(yīng)用、未來自動駕駛的主要感知部件、穿戴式設(shè)備的應(yīng)用、醫(yī)療診斷的發(fā)展等都離不開在視覺AI領(lǐng)域的突破。作為這一主要方向最前沿的研究人員，我們對這些方向都有很深入的投入，這幾年的應(yīng)用產(chǎn)出也很驚人。我們對AI發(fā)展的應(yīng)用場景貢獻，包括自動駕駛的核心感知技術(shù)、智能醫(yī)療的關(guān)鍵性算法和數(shù)據(jù)分析、工業(yè)自動化智能化的深入推動和理解、社交娛樂的人臉人體技術(shù)等。我們還在其他社會發(fā)展進步中的各個環(huán)節(jié)貢獻自己的力量，包括傳統(tǒng)文化保護傳承、社會尋人系統(tǒng)搭建等。

【Q】：從給照片化妝卸妝，到自動駕駛與醫(yī)療，計算機視覺越來越成為AI領(lǐng)域中重要的落地項，請您介紹一下您和您的團隊在AI領(lǐng)域的最新進展，如何將這些技術(shù)成果落地和產(chǎn)業(yè)化？

【A】：在圖像生成和編輯方面，我們從不同角度做了一系列工作，包括人臉卸妝、人臉屬性編輯乃至更為通用的圖像到圖像轉(zhuǎn)換。在人臉卸妝方面，我們注意到不同的人臉美化效果從不同的尺度對人臉進行編輯。對于一張美化后的圖像，傳統(tǒng)的模型很難同時復原這些不同尺度的編輯。因此，我們在2017年國際計算機視覺大會（ICCV）上提出了一種新的深度網(wǎng)絡(luò)架構(gòu)，深度回歸網(wǎng)絡(luò)，對美化圖像進行盲復原。該網(wǎng)絡(luò)可以在不知道美化系統(tǒng)具體參數(shù)的情況下，更好地將美化后的圖像映射為原始圖像。

除了人臉卸妝之外，我們在2018年和2019年計算機視覺與模式識別會議（CVPR） 上更進一步地解決更為通用的人臉屬性編輯問題。目前，解決這個問題的主流方法是生成對抗網(wǎng)絡(luò)，但我們注意到生成對抗網(wǎng)絡(luò)的結(jié)果不夠穩(wěn)定，所以在2018年CVPR上， 我們提出一種基于深度特征插值的框架來解決這個問題。這個框架可以更快、更穩(wěn)定地轉(zhuǎn)換人臉屬性，如年齡、性別、胡子等。我們在這個框架的基礎(chǔ)上，在2019年CVPR上進一步提出了一個語義成分分解的網(wǎng)絡(luò)。這個網(wǎng)絡(luò)可以把一個人臉屬性分解為多個子屬性，從而可以更加靈活地編輯人臉屬性。例如，之前的方法在把一個男性人臉變女性人臉的時候，只能把所有跟男性相關(guān)的屬性轉(zhuǎn)換成女性的，而現(xiàn)在通過語義成分分解，我們可以自動地分析出男性與女性有哪些屬性需要轉(zhuǎn)換，并可以選擇性地轉(zhuǎn)換其中某些特征。

在2019年CVPR上，我們還提出了全新的框架用于不成對的圖像到圖像轉(zhuǎn)換工作，在人臉上也非常有效。相對于目前存在的框架來說，這個工作可以實現(xiàn)對多個屬性、多種模態(tài)的連續(xù)編輯。這一系列工作對我們的產(chǎn)品是非常有用的。一方面，這些算法的本身可以大大擴展人臉編輯軟件的功能，讓“P圖”變得更簡單、更智能；另一方面，這些算法可以合成非常多的人臉數(shù)據(jù)，這對其他工作，如人臉識別等問題具有潛在的意義。

在自動駕駛方面，我們有深厚的技術(shù)積累，接連斬獲多個國際頂級賽事冠軍，如常見物體圖像識別（MS COCO）和AutoNue的實例分割冠軍，以及ImageNet語義分割冠軍，這些都展現(xiàn)出我們先進的感知技術(shù)。近期，我們又首創(chuàng)道路場景的Amodal實例分割任務(wù)，并且在權(quán)威數(shù)據(jù)集KITTI上面斬獲3D點云車輛檢測第一名的成績。這些先進的技術(shù)都已經(jīng)在自動駕駛相關(guān)的業(yè)務(wù)上落地。例如：更加準確與高效的3D點云檢測算法已經(jīng)在我們的自動駕駛車輛上穩(wěn)定運行，提供感知核心能力；準確率更高的大模型也在數(shù)據(jù)預標注方面發(fā)揮自己的優(yōu)勢，極大地提升了標注效率。

在醫(yī)療AI方面，我們從實際應(yīng)用出發(fā)，針對醫(yī)療健康中的痛點，聯(lián)合騰訊覓影推進多個醫(yī)療AI產(chǎn)品的落地進程。例如：我們開發(fā)的眼底疾病自動診斷系統(tǒng)，可以根據(jù)一張眼底照片迅速精確地對多種眼部疾病及全身性疾病進行判別，目前已經(jīng)部署在多家基層醫(yī)院與社區(qū)健康服務(wù)中心；我們開發(fā)的肺癌篩查產(chǎn)品，可以自動進行肺葉定位、肺結(jié)節(jié)檢出、結(jié)節(jié)性質(zhì)分析等全面診斷，落地數(shù)十家三甲醫(yī)院，節(jié)省醫(yī)生時間，降低重復勞動強度。除了落地產(chǎn)品之外，我們還注重科研投入，在肝部、腦部、女性宮頸癌和乳腺癌篩查等研究方向都有所突破。例如：我們的肝癌分割獲得了國際競賽冠軍；我們的出血性卒中病因判別作為國際上首款應(yīng)用，輔助醫(yī)生極大地提高診斷準確程度?？傮w來說，我們致力于完善現(xiàn)有技術(shù)，創(chuàng)新更有效的方法，打磨產(chǎn)品質(zhì)量， 豐富產(chǎn)品功能，實現(xiàn)騰訊在醫(yī)療AI領(lǐng)域從無到有、小步快跑、逐步走向極致的目標。

科技創(chuàng)新青年造就者圓桌峰會

洞見未來——最值得關(guān)注 的N個領(lǐng)域

賈佳亞香港中文大學計算機科學工程系終身教授，電機及電子工程師學會（IEEE）院士，騰訊優(yōu)圖實驗室杰出科學家。計算機視覺領(lǐng)域最著名的專家之一，研究方向為計算機視覺、圖像計算和處理、機器學習等，曾發(fā)表過逾百篇頂級會議和刊物論文，創(chuàng)立的視覺實驗室對圖像濾波、圖像去模糊、圖像增強、圖像稀疏處理、多頻段圖像信號的融合，以及大范圍運動估計等研究做出了巨大的貢獻。

【Q】：在技術(shù)成果落地的過程中，您遇到過哪些困難？是如何克服的？

【A】：我剛加入騰訊優(yōu)圖實驗室的時候，在深圳組建了一個團隊，當時其他團隊并不清楚我們以后能拓展的范疇和領(lǐng)域，而且技術(shù)上需要研發(fā)投入和找到在每個時間點的任務(wù)安排。于是，我先定義騰訊優(yōu)圖實驗室新增的能力范圍，讓大家有一個基本認識。有了認識之后，我們會接到來自公司內(nèi)外的團隊的一些需求。這些需求在技術(shù)上可能并不“高端”，但很瑣碎。例如，最常見的圖像分類任務(wù)，這已經(jīng)不是學術(shù)界現(xiàn)在在做的前沿研究了，因為它在基本技術(shù)層面已經(jīng)很成熟。但是，我們要把它踏踏實實地做出來就需要解決很多實際問題，包括圖像類別的種類（每個團隊和業(yè)務(wù)需求是不一樣的）、精準度（每個方向要求不一）、數(shù)據(jù)的不一致性（數(shù)據(jù)來源多樣需要統(tǒng)一化管理和處理）。因此，我們的目標是爭取不但能夠滿足產(chǎn)品團隊的需求，還要讓準確率和執(zhí)行效率不斷提升。最終，我們不僅在內(nèi)部評測完全合格，還做到了業(yè)界最好水平。這樣，口碑就迅速積累起來。通過這些項目，我們內(nèi)部的科學家、研發(fā)人員和開發(fā)人員都對做事的方式有了很清晰的認識，取得了共識，對技術(shù)在科學化、系統(tǒng)化上有了新的理解和突破。

口碑建立之后，有更多的團隊、公司、媒體知道我們在做什么，帶來了更多需求。但是，人力仍然非常有限，這時我們需要在大量的需求之間進行抉擇。我們選擇任務(wù)時考慮的因素有3點：一是必須要可交付，以及交付后應(yīng)用范圍有多大，或者社會影響力覆蓋面有多廣；二是關(guān)聯(lián)性，這個任務(wù)和之前做過的任務(wù)是否有關(guān)聯(lián)，如果有，那我們可以依賴之前準備的數(shù)據(jù)和算法系統(tǒng)高效地快速完成新的任務(wù)，對這些任務(wù)完成知識圖譜相關(guān)性的建立；三是匹配性，項目的要求和內(nèi)部的科研人員的能力是否匹配。如果我們已經(jīng)有了很強的內(nèi)部研發(fā)能力，就可以少走彎路，直接進入研發(fā)落地階段；如果我們還沒有這樣的能力，可能會尋找外部伙伴一同完成任務(wù)。其中，決定因素是場景足夠大，最直接的體現(xiàn)是一個功能實現(xiàn)之后調(diào)用量會特別大，如社會級應(yīng)用和產(chǎn)業(yè)級開發(fā)。其他如自動駕駛中的核心感知技術(shù)，我們認為其未來將有巨大的發(fā)展價值，這樣的項目我們也會仔細考慮，投入深度研發(fā)。

【Q】：從2017年 5月加入騰訊優(yōu)圖實驗室，是否可以理解為您的工作重心從研究轉(zhuǎn)向產(chǎn)業(yè)化應(yīng)用，您如何看待從學術(shù)界到工業(yè)界的轉(zhuǎn)變，這其中是否有一些可以給我們分享的故事和體會？

【A】：在加入騰訊優(yōu)圖實驗室之前，我與工業(yè)界的合作大多局限在短期的項目上，并沒有構(gòu)建一個全面的團隊。因此，我加入工業(yè)界的目標是在工業(yè)界不局限于簡單地完成一兩個項目，而是做到在每段時間目標不明確的情況下，仍然把科研落地產(chǎn)品化的事情做好。

現(xiàn)在，我們建立了完整的研發(fā)、開發(fā)到產(chǎn)品落地的架構(gòu)。其實，研發(fā)是我們要繼續(xù)做的事，但它只是我們?nèi)蝿?wù)的一小部分，最終價值是商業(yè)和社會價值體現(xiàn)。我們秉持開放心態(tài)，已經(jīng)有一大批AI相關(guān)領(lǐng)域的一流人才加入了團隊。我們現(xiàn)在需要思考很多關(guān)于商業(yè)化和產(chǎn)品化的問題，每天都在探索怎么才能結(jié)合我們這么多年的研究經(jīng)驗和產(chǎn)業(yè)化的系統(tǒng)需求走一條科研帶動產(chǎn)品的路。想要把算法積累變成可以讓大家感受到、用到的產(chǎn)品和元素，依靠的是一個體系化的構(gòu)建過程。我們上百人的團隊自主研發(fā)了集群環(huán)境，讓深度學習的網(wǎng)絡(luò)能夠在大規(guī)模并行系統(tǒng)上開展起來，而在此基礎(chǔ)上，輔以精心設(shè)計的管理人員層級架構(gòu)，研究人員得以專注于算法和技術(shù)，以及算法在各個端的部署，研發(fā)出了種種看得見、摸得著的算法。

當然，現(xiàn)在我仍然留了一部分時間在學校，即使公司的事情再忙，“培養(yǎng)下一代人才”仍然是非常重要的一個任務(wù)。我希望能把我們積累的知識、能力和方法“傳授”給更多的學生，讓他們?nèi)ヌ剿饕恍┣八从械男聝?nèi)容。

【Q】：您作為科技創(chuàng)新青年領(lǐng)袖，不僅在研究領(lǐng)域取得了重要成果，同時也培養(yǎng)了一批優(yōu)秀人才，請給國內(nèi)眾多的年輕科研人員一些建議。

【A】：培養(yǎng)下一代的人才和看到他們的成長和成功是我最開心的事情，這個比完成眼前的項目還要有成就感和自豪感。但是，這是一個長期的過程。在我10多年的教學生涯中，曾經(jīng)的學生們有些慢慢成長為業(yè)界領(lǐng)袖，創(chuàng)建自己的公司，領(lǐng)導重要團隊；有些在高校繼續(xù)從事前沿尖端研究工作，并逐步培養(yǎng)他們的學生。這些都是我的“科學研究家族”發(fā)展的重要契機。在此，我想給年輕的科研人員以下幾點建議。

首先，堅持自己的學術(shù)發(fā)展方向。隨著科技的迅速發(fā)展，在所有科學領(lǐng)域的研究都是非常細分的，計算機也有很多研究方向。年輕的科研人員容易被社會環(huán)境和當時比較熱門的研究所影響而放棄自己的興趣轉(zhuǎn)而投向熱門的研究。在我讀博士期間，計算機視覺是關(guān)注度相對較少的一個領(lǐng)域，AI更是無人提及。我的興趣是看到圖像視頻被增強，有前所未有的效果產(chǎn)生出來。這個興趣讓我的研究有內(nèi)驅(qū)動力去追求更新、更好的成果。最近大熱的神經(jīng)網(wǎng)絡(luò)，其開創(chuàng)者也是在不被人關(guān)注甚至被抵制的情況下堅持自己的學術(shù)路線，最終開創(chuàng)了AI的新時代。

其次，注重早期積累，不要過早被業(yè)界項目驅(qū)使做短線研究開發(fā)。在研究領(lǐng)域，純粹的非功利性驅(qū)使的研究是很基礎(chǔ)的，這在歐美尤為普遍。很多基礎(chǔ)研究需要長期的投入和具有非落地性的產(chǎn)出，這時最重要的是堅持長期且有深度的探究。太早被業(yè)界提供的短線淺層技術(shù)的任務(wù)所驅(qū)使，容易喪失自主科研的把控以及對問題的深度理解和探索。我在學術(shù)生涯早期接業(yè)界的項目有一個重要條件，是需要跟我現(xiàn)在的研究保持一致，同時不能要求我做工程性的工作，否則會嚴重影響我的研究時間和精力。我也感謝早期與我合作的企業(yè)尊重我的需求，讓我做了很多年有深度且自己有興趣的研究工作。

再者，選擇適當?shù)膱F隊規(guī)模。我的很多中國香港和美國的同事，他們只有很小的科研團隊，但他們都在基礎(chǔ)模型和數(shù)學能力上非常強。這樣的團隊規(guī)模適合做尖端的最核心問題的探索，容易誕生了不起的成果。例如，我的一些同事的研究獲得了頂級學術(shù)會議的最佳論文獎或者解決了一些歷史上的猜想，靠的都是自己或者一兩個合作者。相反，系統(tǒng)級的研發(fā)需要大量硬件、實驗和系統(tǒng)構(gòu)架，這就需要發(fā)展大規(guī)模的團隊和找到足夠的資金，這樣的構(gòu)成會耗費很大的管理統(tǒng)籌精力。因此，年輕學者需要知道自己的目標，把時間和精力放在最合適的地方。