聽見(jiàn)冬奧

宋瑞　白佳麗

2月17日，天津理工大學(xué)聾人工學(xué)院學(xué)生通過(guò)手機(jī)App為手語(yǔ)識(shí)別系統(tǒng)進(jìn)行數(shù)據(jù)采集（孫凡越/ 攝）

根據(jù)全國(guó)第二次殘疾人抽樣調(diào)查數(shù)據(jù)，我國(guó)約有聽障人士2780萬(wàn)人。對(duì)他們來(lái)說(shuō)，激烈的賽事往往“只見(jiàn)其貌，不聽其聲”，但他們同樣渴望像普通人一樣，感受體育比賽的激情。

今年的北京冬奧會(huì)上，不少聽障人士發(fā)現(xiàn)，賽事新聞中出現(xiàn)了一名面容清秀、氣質(zhì)優(yōu)雅的冬奧新聞AI主播。其精準(zhǔn)的手語(yǔ)手勢(shì)，配合著妙語(yǔ)連珠的解說(shuō)，讓聽障人士能與健聽人（聽力健全人的簡(jiǎn)稱）一樣，同步感受冰雪運(yùn)動(dòng)的魅力。

“我們用技術(shù)跨越聲音的障礙，幫助聽障人士‘聽見(jiàn)’冬奧。”天津理工大學(xué)聾人工學(xué)院副院長(zhǎng)、冬奧新聞AI主播的手語(yǔ)數(shù)據(jù)庫(kù)支持團(tuán)隊(duì)負(fù)責(zé)人袁甜甜接受本刊記者采訪時(shí)說(shuō)。

2021年11月，距離北京冬奧會(huì)開幕僅剩兩個(gè)多月的時(shí)間，袁甜甜團(tuán)隊(duì)接到一個(gè)緊急任務(wù)——教冬奧新聞AI主播打手語(yǔ)。

雖然有20多萬(wàn)條手語(yǔ)語(yǔ)料庫(kù)作基礎(chǔ)，但團(tuán)隊(duì)依舊感覺(jué)一個(gè)字：“難”。

第一時(shí)間參與其中的教師閔笛對(duì)這一過(guò)程深有體會(huì)。首個(gè)難關(guān)是“冷門”詞匯。團(tuán)隊(duì)成員們把整理出的新詞形成一定的手語(yǔ)打法，再讓手語(yǔ)專家一一判定聽障人士能否看懂。遇到難以用手語(yǔ)表示的詞匯時(shí)，還需多番討論。

“每個(gè)詞至少要經(jīng)歷這樣兩個(gè)來(lái)回，就這樣我們共新增了1000多個(gè)專業(yè)詞匯的手語(yǔ)打法?！遍h笛說(shuō)。

“詞匯關(guān)”克服后，“語(yǔ)法關(guān)”又?jǐn)[在了面前。

“手語(yǔ)具有獨(dú)立的語(yǔ)法體系，而且手語(yǔ)和語(yǔ)言文字并非一一對(duì)應(yīng)，而是多對(duì)多的關(guān)系。這樣復(fù)雜的‘翻譯環(huán)境’，意味著AI主播除了要將語(yǔ)言文字解析成對(duì)應(yīng)的手語(yǔ)詞匯，還得將其調(diào)整順序，轉(zhuǎn)化為聽障人士習(xí)慣的手語(yǔ)語(yǔ)序。”閔笛說(shuō)，團(tuán)隊(duì)只能不斷對(duì)AI主播進(jìn)行“認(rèn)知訓(xùn)練”。

“人工智能深度學(xué)習(xí)的過(guò)程，就像教小孩子學(xué)說(shuō)話，每一個(gè)詞、每一個(gè)手語(yǔ)動(dòng)作、每一句語(yǔ)序都需要反復(fù)‘學(xué)習(xí)’，人工智能才能建立認(rèn)知，結(jié)果才能實(shí)現(xiàn)精準(zhǔn)無(wú)誤?！痹鹛鹫f(shuō)。

經(jīng)過(guò)大量數(shù)據(jù)采集、語(yǔ)料提取、數(shù)據(jù)處理等步驟后，專屬于北京冬奧會(huì)的AI主播初步打造了出來(lái)。

不過(guò)，“第一次進(jìn)行模擬賽事新聞播報(bào)時(shí)，AI主播的手勢(shì)動(dòng)作非?？欤悬c(diǎn)‘鬼畜’。”閔笛說(shuō)，“對(duì)于激烈的賽事講解，解說(shuō)的語(yǔ)速本就很快，而手語(yǔ)如果和這一語(yǔ)速保持一致的話，聽障人士很難看懂。”

對(duì)此，團(tuán)隊(duì)又多番對(duì)翻譯思路進(jìn)行調(diào)整。

功夫不負(fù)有心人，冬奧新聞AI主播終于如期亮相。其準(zhǔn)確的翻譯、親切自然的形象很快獲得了聽障人士的喜愛(ài)。

今年22歲的王曉陽(yáng)，是聾人工學(xué)院大三的學(xué)生。作為一名聽障學(xué)生，他既參與了冬奧新聞AI主播“學(xué)習(xí)”手語(yǔ)的全過(guò)程，也是冬奧賽事的忠實(shí)“聽眾”，每天準(zhǔn)時(shí)上線，“盯著”AI主播的手語(yǔ)播報(bào)。

“就怕‘她’沒(méi)學(xué)好，怕‘她’出錯(cuò)！”王曉陽(yáng)用手語(yǔ)解釋。但令他欣慰的是，聽障朋友們紛紛發(fā)來(lái)信息，告訴他AI主播的手語(yǔ)“看得清楚、清晰”。“手語(yǔ)打得很漂亮，我們?yōu)樽约候湴?。”一旁的同學(xué)魏翔羽用手語(yǔ)補(bǔ)充。

“能以服務(wù)聽障朋友的方式參與北京冬奧會(huì)，我們感到無(wú)比自豪?！痹鹛饘?duì)本刊記者說(shuō)，“團(tuán)隊(duì)收到很多反饋意見(jiàn)，這些寶貴的意見(jiàn)將推動(dòng)我們不斷迭代升級(jí)?！?/p>

其實(shí)，通過(guò)技術(shù)手段讓聽障人士“聽見(jiàn)”健聽人的想法，袁甜甜從6年前就開始醞釀。

“我2016年來(lái)到學(xué)院當(dāng)老師，與聽障學(xué)生接觸的過(guò)程中，發(fā)現(xiàn)他們最渴望也最懼怕的就是與健聽人交流。因?yàn)橛杏?jì)算機(jī)專業(yè)背景，所以我想到通過(guò)技術(shù)改變這種現(xiàn)狀。”袁甜甜說(shuō)，六年來(lái)，從她一人摸索，到僅有一名聽障學(xué)生加入，再到成立無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)，如今團(tuán)隊(duì)的核心成員已達(dá)50多人，其中不少是“00后”聽障學(xué)生。

隨著團(tuán)隊(duì)發(fā)展壯大，技術(shù)難關(guān)層層攻破，AI主播亮相冬奧成為該團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)落地應(yīng)用的“第一步”。

“目前，我們實(shí)現(xiàn)了在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語(yǔ)的識(shí)別率最高達(dá)95%，部分場(chǎng)景下可以實(shí)現(xiàn)‘同步翻譯’。

“不僅要讓聽障人士‘聽見(jiàn)’，還要讓他們被‘聽懂’?！痹鹛鸨硎荆瑠W賽事之外，團(tuán)隊(duì)一直在不懈探索。

“會(huì)手語(yǔ)的健聽人實(shí)在太少了。有人說(shuō)，聽障人士可以通過(guò)寫字、打字的方式進(jìn)行交流，但那樣溝通的有效性差很多。聽障人士自然的表達(dá)方式是手語(yǔ)，為什么不直接識(shí)別手語(yǔ)呢？”袁甜甜團(tuán)隊(duì)研發(fā)出了“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，可將輸入的手語(yǔ)動(dòng)作和表情經(jīng)由計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別后翻譯成文字或語(yǔ)音。

“這類似于手語(yǔ)版的‘語(yǔ)音輸入法’?！痹鹛鹫f(shuō)。但語(yǔ)音識(shí)別只需收集“聲音”，手語(yǔ)的表達(dá)方式則意味著團(tuán)隊(duì)要把手勢(shì)、表情、大肢體動(dòng)作等從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)，經(jīng)過(guò)反復(fù)訓(xùn)練，才能“教出”一個(gè)隨叫隨到、及時(shí)準(zhǔn)確的“手語(yǔ)翻譯”。

“目前，我們實(shí)現(xiàn)了在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語(yǔ)的識(shí)別率最高達(dá)95%，部分場(chǎng)景下可以實(shí)現(xiàn)‘同步翻譯’?！痹鹛鹱院赖卣f(shuō)，只要在攝像頭前打出手語(yǔ)，顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。

“信息技術(shù)對(duì)我們的幫助很大?！蓖鯐躁?yáng)用手語(yǔ)說(shuō)，以前與健聽人交流，他總覺(jué)得不安，有了這些技術(shù)手段，讓他更有勇氣融入社會(huì)。據(jù)介紹，該系統(tǒng)可用于教育、法律咨詢、餐飲、交通多個(gè)場(chǎng)景。

2021年5月，袁甜甜在第五屆世界智能大會(huì)的現(xiàn)場(chǎng)展示了這一翻譯系統(tǒng)，吸引了不少人駐足。演示人員在攝像頭前打出手語(yǔ)，身后的顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。

“一些銀行從業(yè)人員、超市經(jīng)理對(duì)我說(shuō)，如果這一系統(tǒng)實(shí)現(xiàn)產(chǎn)業(yè)化落地，能夠幫助他們解決很多實(shí)際問(wèn)題。那一刻，我深切地感受到，不僅僅是聽障人士，社會(huì)對(duì)手語(yǔ)翻譯系統(tǒng)也有很強(qiáng)烈的需求?！痹鹛鹫f(shuō)。

值得一提的還有，依托“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，袁甜甜指導(dǎo)學(xué)生創(chuàng)業(yè)團(tuán)隊(duì)開發(fā)出“鯨可語(yǔ)”項(xiàng)目，代表天津理工大學(xué)拿下了第七屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽總決賽高教主賽道的金獎(jiǎng)。

談及“鯨可語(yǔ)”，袁甜甜講訴了“52赫茲鯨”的故事——海洋中，發(fā)出15-25赫茲之間的鯨魚可以正常交流，而叫聲頻率為52赫茲的鯨魚在其他鯨魚眼中就像“聾啞魚”。

“我們希望用技術(shù)把‘52赫茲鯨’與其他鯨魚連起來(lái)，讓它們不再孤單。”袁甜甜說(shuō)。