怎樣利用語(yǔ)言知識(shí)資源進(jìn)行語(yǔ)義理解和常識(shí)推理

袁毓林,盧達(dá)威

(1. 北京大學(xué) 中文系 中國(guó)語(yǔ)言學(xué)研究中心 計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100871;2. 中國(guó)人民大學(xué) 文學(xué)院，北京 100872)

1 人工智能呼喚語(yǔ)義理解和常識(shí)推理

我們從小到大一直生活在一個(gè)由常識(shí)(commonsense)構(gòu)筑的世界中： 腳下是大地、頭頂為青天，早晨日出東方、傍晚夕陽(yáng)西下、夜空星辰閃耀，春來(lái)草樹斗芳菲、秋去葉落千山枯……。在日常生活中，我們習(xí)慣于在常識(shí)框架內(nèi)思考和談?wù)撌挛锏男螤?、材質(zhì)、構(gòu)成、功用、來(lái)源等。比如，我們認(rèn)為水是一種無(wú)色、無(wú)味、透明的液體，可以用來(lái)喝和解渴，當(dāng)然還可以用來(lái)降溫、滅火、灌溉、洗滌、游泳、漂浮船只等；貓是一種小型的、馴化的哺乳動(dòng)物，身上有柔軟的皮毛，長(zhǎng)著鋒利的爪子、尖尖的耳朵，拖著一條毛茸茸的長(zhǎng)尾巴，會(huì)捉老鼠，被人當(dāng)作寵物飼養(yǎng)；鐵路是一種由鋼軌等材料鋪成的、在上面行駛火車的道路，可以用來(lái)運(yùn)輸人員和物資等；詞語(yǔ)和句子是從人的口中發(fā)出的、有意義指稱的聲音，可以用來(lái)分類命名、描述事物、發(fā)表意見、人際交流等；政府是一種權(quán)力機(jī)構(gòu)，用以推行法律、執(zhí)行管治、組織防御、控制暴力、保障人們權(quán)利、提供公共服務(wù)、滿足人民需求等。[1-2]

根據(jù)Daniel[3]的見解，人類長(zhǎng)著一顆貪婪的大腦，具有一個(gè)明確的特性： 對(duì)事實(shí)永不滿足的追求。通過(guò)發(fā)現(xiàn)大自然的隱蔽規(guī)則，通過(guò)將兩種完全不同的思想根據(jù)它們潛在的、共同的信息結(jié)構(gòu)聯(lián)系起來(lái)，我們的大腦創(chuàng)造了一個(gè)廣闊的意義世界。這種不懈努力的結(jié)果之一就是： 當(dāng)我們看到一張椅子時(shí)，看到的不只是椅子基本的外部特征。當(dāng)然，我們會(huì)認(rèn)出這是一張椅子，然后馬上會(huì)想到與這個(gè)物體相關(guān)的一系列意義： 椅子是有什么形狀，具有何種功用，跟其他家具的關(guān)系如何，放在哪幢大樓哪個(gè)房間內(nèi)，等等。事實(shí)上，當(dāng)我們觀看周圍世界時(shí)，無(wú)意識(shí)可能忙著處理一些基本的感覺特性，但是在意識(shí)的大本營(yíng)內(nèi)，每一項(xiàng)內(nèi)容都要經(jīng)過(guò)我們掌握的知識(shí)結(jié)構(gòu)的嚴(yán)密篩選。我們看到的任何物體，都會(huì)觸發(fā)理解的意識(shí)波，即該物體不同層次的意義[1]。

可見，常識(shí)和意義如影隨形般地跟我們?nèi)祟惿罴m纏在一起。如果人工智能要更好地服務(wù)于人類、更多地介入人類的日常生活，那么人工智能機(jī)器人就必須理解人類自然語(yǔ)言的意義、掌握常識(shí)并且據(jù)此進(jìn)行推理。然而，不管是關(guān)于世界的常識(shí)還是關(guān)于事物的意義，它們都是十分模糊、難以定義的。于是，怎樣教人工智能機(jī)器人理解語(yǔ)義和掌握常識(shí)，就提到人工智能進(jìn)一步發(fā)展的議事日程上來(lái)了。據(jù)《紐約時(shí)報(bào)》報(bào)道，微軟聯(lián)合創(chuàng)始人保羅·艾倫(Paul Allen)正在為他的非營(yíng)利性計(jì)算機(jī)實(shí)驗(yàn)室——艾倫人工智能研究所(AI2)投資1.25億美元，并計(jì)劃未來(lái)3年投資預(yù)算翻倍。這筆資金將用于現(xiàn)有項(xiàng)目，以及“亞歷山大項(xiàng)目”——一項(xiàng)聚焦于教授機(jī)器人“常識(shí)概念”的新計(jì)劃。艾倫在新聞發(fā)布會(huì)上指出： 在人工智能研究早期階段，人們對(duì)常識(shí)概念有很多關(guān)注，但是這項(xiàng)工作仍停滯不前。人工智能機(jī)器人仍缺少多數(shù)10歲兒童所具有的普通常識(shí)概念，我們希望啟動(dòng)這項(xiàng)研究，并在該領(lǐng)域獲取重大突破。如果機(jī)器人非常先進(jìn)，那么它們可以模擬人類完成任務(wù)，例如，定位和識(shí)別物體、攀爬、出售房屋、提供災(zāi)難援助等。然而，即使是這些先進(jìn)的機(jī)器人，現(xiàn)在也無(wú)法處理簡(jiǎn)單的問題和指令，無(wú)法應(yīng)對(duì)一個(gè)不尋常的處境，無(wú)法使用“普通常識(shí)”去校正行為和反應(yīng)。AI2研究所執(zhí)行總裁奧倫·埃齊奧尼(Oren Etzioni)說(shuō)： “目前沒有一個(gè)人工智能系統(tǒng)準(zhǔn)確地回答一系列簡(jiǎn)單問題。例如： 如果我將襪子放在抽屜里，明天它還會(huì)在那里嗎？或者： 你怎么知道一個(gè)奶瓶是否滿了？”他還強(qiáng)調(diào)稱，2016年當(dāng)AlphaGo人工智能程序打敗世界排名第一的圍棋棋手時(shí)，AlphaGo卻并不知道圍棋是一種棋盤游戲[注]詳見http://tech.sina.com.cn/d/i/2018-03-13/doc-ifyscsmu9166662.shtml。。

聞到了備戰(zhàn)的氣息，加上自己的研究和從業(yè)經(jīng)驗(yàn)，上海阡尋信息科技公司董事長(zhǎng)白碩博士直言： 自然語(yǔ)言處理從淺層到深層面臨范式轉(zhuǎn)換，還處在對(duì)接情感計(jì)算與常識(shí)計(jì)算的戰(zhàn)略性要地的關(guān)鍵位置。誰(shuí)能拔得頭籌，誰(shuí)就能在當(dāng)下的人工智能“軍備競(jìng)賽”中處于有利地位。如果說(shuō)自然語(yǔ)言處理是人工智能的王冠，那么語(yǔ)義表示和理解技術(shù)就是王冠上的明珠。目前人工智能領(lǐng)域的發(fā)展態(tài)勢(shì)，在語(yǔ)義這一塊已經(jīng)到了重兵集結(jié)的程度[4]。

顯然，大家已經(jīng)充分地認(rèn)識(shí)到： 人工智能的下一步發(fā)展和實(shí)用化，必須突破語(yǔ)義理解和常識(shí)推理這一瓶頸。我們認(rèn)為語(yǔ)義理解和常識(shí)推理研究的進(jìn)展，依賴于全新的自然語(yǔ)言處理技術(shù)和理念。為了找到這種技術(shù)和理念，下面我們先梳理和探討一下既有的各種自然語(yǔ)言處理技術(shù)，在此基礎(chǔ)上嘗試提出我們的技術(shù)路線和方法論觀念。

2 自然語(yǔ)言處理的兩種路線： 基于知識(shí)vs.基于統(tǒng)計(jì)

自然語(yǔ)言處理(natural language processing, NLP)的智能技術(shù)是當(dāng)前人工智能熱潮的一個(gè)支脈，應(yīng)該放在當(dāng)前整個(gè)人工智能技術(shù)路線和方法論取向的大背景上來(lái)看待和理解。

2.1 基于知識(shí)的方法

經(jīng)典的人工智能基本的技術(shù)路線是基于知識(shí)： 首先調(diào)查人類解決問題的途徑和技巧，然后嘗試用可執(zhí)行的方式對(duì)這些途徑和技巧進(jìn)行編碼。由于人類理解和生成語(yǔ)言依賴詞匯、句法、語(yǔ)義等語(yǔ)言知識(shí)和相關(guān)的關(guān)于外部世界的百科知識(shí)，因而學(xué)者們就為計(jì)算機(jī)理解自然語(yǔ)言建造了各種知識(shí)庫(kù)： 比如，詞匯知識(shí)庫(kù)(如WordNet)、句法標(biāo)注庫(kù)(如TreeBank)、語(yǔ)義關(guān)系知識(shí)庫(kù)與標(biāo)注庫(kù)(如VerbNet, PropBank, FrameNet)、常識(shí)知識(shí)庫(kù)(如Cyc, ConceptNet, DBpedia: Wikipedia的數(shù)據(jù)庫(kù)化)、常識(shí)與詞匯結(jié)合的知識(shí)庫(kù)(如YAGO: WordNet和DBpedia的結(jié)合，IBM公司的Watson系統(tǒng)以此作為知識(shí)庫(kù)，參加知識(shí)競(jìng)賽節(jié)目Jeopardy，戰(zhàn)勝了人類冠軍)、關(guān)于概念分類體系的本體知識(shí)庫(kù)(如SUMO: Suggested Upper Merged Ontology)、詞匯-常識(shí)-本體相結(jié)合的知識(shí)庫(kù)(如YAGO-SUMO)，不一而足。

這種技術(shù)路線的困難是： 且不提人工構(gòu)造各種知識(shí)庫(kù)代價(jià)之昂貴，人們也不可能把各種相關(guān)知識(shí)都弄清楚，并且明確完整地表示出來(lái)和巧妙靈活地組織起來(lái)。雖然人類是用其全部的經(jīng)驗(yàn)與知識(shí)來(lái)理解和生成語(yǔ)言的[5]，但是我們無(wú)法把全部的世界知識(shí)編碼進(jìn)入計(jì)算機(jī)；更何況常識(shí)往往還是模糊不清、難以定義的呢。因此，我們暫時(shí)還不能指望一個(gè)聊天機(jī)器人(chatbot)能夠在不針對(duì)特定問題提供預(yù)設(shè)腳本的情況下，回答這種問題： “為什么小雞仔不會(huì)下蛋？”

2.2 基于統(tǒng)計(jì)的方法

跟基于知識(shí)的方法相對(duì)的是基于統(tǒng)計(jì)的方法： 從大量數(shù)據(jù)中學(xué)習(xí)概率分布。在自然語(yǔ)言處理上，最常用的統(tǒng)計(jì)方法是建立各種“詞袋”(bag-of-words)模型： 把每一個(gè)文檔看作一個(gè)詞頻向量，把文本信息轉(zhuǎn)化為易于建模的數(shù)字信息。比如，通過(guò)統(tǒng)計(jì)文本中所用的不同感情色彩的詞語(yǔ)(褒義詞、貶義詞等)的數(shù)量，來(lái)判定用戶對(duì)產(chǎn)品的情感評(píng)價(jià)(sentiment)。再?gòu)?fù)雜一點(diǎn)，通過(guò)給每一個(gè)詞指派一個(gè)反映其在給定文檔中的出現(xiàn)次數(shù)的指數(shù)(index number)，從而把一個(gè)給定文檔表示為一個(gè)向量(vector)。這樣，如果一種語(yǔ)言的詞匯規(guī)模是5萬(wàn)個(gè)詞，那么表示文檔的矢量就有5萬(wàn)個(gè)維度(dimensions)；其中，許多維度的指數(shù)是0，因?yàn)橄鄳?yīng)的詞沒有在這個(gè)給定文檔中出現(xiàn)。于是，可以利用一個(gè)詞在全部文檔中的稀疏性(sparsity)來(lái)為每一個(gè)詞設(shè)定權(quán)重。比如，信息檢索上常用的詞項(xiàng)頻率—逆文檔頻率(term frequency-inverse document frequency, TF-IDF)方法就是一種為每一個(gè)單詞分配權(quán)重的算法，該算法在分配權(quán)值時(shí)不僅考慮文檔中的詞頻，而且考慮了逆文檔頻率。用這種方法可以快速地計(jì)算出不同文檔的相似度。

稍微復(fù)雜一點(diǎn)的是潛在語(yǔ)義索引(latent semantic indexing, LSI)模型，它通過(guò)海量文本找出詞匯之間的關(guān)系： 當(dāng)兩個(gè)詞或一組詞大量出現(xiàn)在同一個(gè)文檔中時(shí)，就認(rèn)為這些詞是語(yǔ)義相關(guān)的。又如，潛在狄利克雷分布(latent dirichlet allocation, LDA)文檔主題生成模型。這是一種由詞、主題和文檔三層結(jié)構(gòu)組成的三層貝葉斯概率模型。其樸素的假設(shè)是： 一篇文章的每個(gè)詞都是以一定的概率選擇了某個(gè)主題，并從這個(gè)主題中以一定概率選擇某個(gè)詞語(yǔ)。據(jù)此，可以把每一個(gè)文檔表示為一些主題所構(gòu)成的一個(gè)概率分布，而每一個(gè)主題又可以表示為很多單詞所構(gòu)成的一個(gè)概率分布。它可以識(shí)別大規(guī)模文檔集或語(yǔ)料庫(kù)中潛藏的主題信息，從而發(fā)現(xiàn)特定文檔的文本內(nèi)容所屬的主題類型?？梢?，“詞袋”方法不考慮詞與詞之間的順序等結(jié)構(gòu)信息，簡(jiǎn)化了問題的復(fù)雜性；但是，“詞袋”方法卻不能發(fā)現(xiàn)“狗咬人”與“人咬狗”這兩個(gè)文本之間的意義差別。

跟基于統(tǒng)計(jì)的向量化方法不同的是詞嵌入(word embedding)方法。這種模型以向量形式給每一個(gè)詞指派一長(zhǎng)串?dāng)?shù)字，從而把每一個(gè)詞表示為一個(gè)低維實(shí)數(shù)向量。通過(guò)詞向量的距離來(lái)計(jì)算不同的詞之間的語(yǔ)義距離。比如，“run”和“jog”的詞向量的距離比較接近，它們跟“Chicago” 的詞向量的距離比較遙遠(yuǎn)。每一個(gè)詞的詞向量有相同的維度，通常是300維左右。為了學(xué)習(xí)詞向量，Skip-gram算法首先給每一個(gè)詞向量賦予一個(gè)隨機(jī)值，然后在所有的文檔中，不斷地循環(huán)，推動(dòng)詞-1和跟它分布(搭配環(huán)境)相近的詞-2在詞向量上接近，同時(shí)推動(dòng)詞-1和跟它分布不同的其他詞在詞向量上相差較大。還可以用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)把句子編碼成向量，并且用另外的RNN來(lái)反向地把它解碼為不同的句子。這種串對(duì)串的編碼器-解碼器(encoder-decoder)模型，可以在雙語(yǔ)(源語(yǔ)言-目標(biāo)語(yǔ)言)對(duì)齊語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，從而形成基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯模型，就像谷歌翻譯(Google translate)那樣。這種基于多層次神經(jīng)網(wǎng)絡(luò)的研究路線，近年來(lái)被稱為深度學(xué)習(xí)(deep learning)。但是，人類語(yǔ)言可以對(duì)無(wú)限的概念組合進(jìn)行編碼，形成無(wú)限多的話語(yǔ)。而雙語(yǔ)對(duì)齊語(yǔ)料庫(kù)之類的訓(xùn)練集總是有限的。更何況，人類的語(yǔ)言理解是植根于對(duì)外部世界的感覺和跟外部世界的互動(dòng)行為的。比如，“雞仔”對(duì)于人來(lái)說(shuō)，不僅意味著它是一種鳥類，有各種鳥類的行為；而且還意味著我們可以對(duì)它做的一切事情，還有它在我們的文化中所代表的一切東西[4，6]。顯然，這些屬于人類的常識(shí)范疇的知識(shí)，都是不容易通過(guò)訓(xùn)練來(lái)讓機(jī)器掌握的。

3 深度學(xué)習(xí)能否帶領(lǐng)自然語(yǔ)言處理突出重圍？

當(dāng)前的人工智能研究和開發(fā)，主要采用基于大數(shù)據(jù)的統(tǒng)計(jì)方法和基于多層神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)，在語(yǔ)音識(shí)別和合成、機(jī)器翻譯、圖像(人臉)識(shí)別等領(lǐng)域取得了一定的成功，但是在抽象概念及其關(guān)系、語(yǔ)義理解和常識(shí)推理等內(nèi)容領(lǐng)域尚未取得太大成果。有人斷言深度學(xué)習(xí)方法對(duì)于概念、語(yǔ)義等內(nèi)容領(lǐng)域的處理難以有成就。甚至有人對(duì)人工智能目前的研究方向表示懷疑和否定。例如，1956年在著名的“達(dá)特茅斯會(huì)議”(Dartmouth Conference)上提出“人工智能”(artificial intelligence)概念的美國(guó)麻省理工學(xué)院教授馬文·明斯基(Marvin Minsky, 1927—2016)。他雖然一直認(rèn)為人類的思維可以用機(jī)器模擬，并且有一句廣為流轉(zhuǎn)的話： “大腦無(wú)非就是肉做的機(jī)器而已”(the brain happens to be a meat machine)。但是，明斯基曾參加過(guò)智囊機(jī)構(gòu)TTI/Vanguard贊助的一些會(huì)議，TTI/Vanguard的主管史蒂文?徹麗(Steven Cherry)說(shuō)：

他發(fā)現(xiàn)最近幾年的一些發(fā)展方向出現(xiàn)了偏差，谷歌和Facebook正在利用深度學(xué)習(xí)技術(shù)開發(fā)它們的龐大數(shù)據(jù)集。明斯基認(rèn)為，這只是短期的成果，其代價(jià)是真正的機(jī)器智能問題得不到解決[7]。

就自然語(yǔ)言處理而言，情況也是這樣： 許多人暫時(shí)放棄基于規(guī)則和知識(shí)等可靠解決方案(solid solution)，而是嘗試采用統(tǒng)計(jì)學(xué)習(xí)方法等討巧的快速解決方案(smart solution)。原因是目前的理論語(yǔ)言學(xué)研究還不能為自然語(yǔ)言處理等應(yīng)用語(yǔ)言學(xué)提供足夠的支撐。正如德國(guó)愛爾蘭根—紐倫堡大學(xué)的計(jì)算語(yǔ)言學(xué)教授羅蘭德·豪塞爾(Roland Hausser)所說(shuō)的：

實(shí)用語(yǔ)言學(xué)的例子有語(yǔ)音識(shí)別、桌面出版、文字處理、機(jī)器翻譯、內(nèi)容提取、文本分類、互聯(lián)網(wǎng)查詢、自動(dòng)輔導(dǎo)、對(duì)話系統(tǒng)和其他所有的自然語(yǔ)言的應(yīng)用。這些實(shí)際應(yīng)用催生了對(duì)實(shí)用語(yǔ)言學(xué)方法的巨大需求。

但是，現(xiàn)有的實(shí)用語(yǔ)言學(xué)方法還遠(yuǎn)遠(yuǎn)不能滿足用戶的需求和期待。到今天為止，最成功的實(shí)用語(yǔ)言學(xué)方法是基于統(tǒng)計(jì)學(xué)和元數(shù)據(jù)標(biāo)注的方法。這些是快速解決的方法(smart solution)，不需要自然語(yǔ)言交流過(guò)程的一般性理論支持，其目的是最大限度地挖掘每一次應(yīng)用或者每一類應(yīng)用的特殊性及其本質(zhì)上的局限性[8]。

粗略地瀏覽相關(guān)文獻(xiàn)和媒體報(bào)道，我們就可以看到這樣一幅糾結(jié)的學(xué)術(shù)畫面： 一方面，深度學(xué)習(xí)是驅(qū)動(dòng)最新一波人工智能熱潮的關(guān)鍵技術(shù)。由于深度學(xué)習(xí)模型在圖像和語(yǔ)音任務(wù)中展現(xiàn)出的卓越性能，催生了大量實(shí)驗(yàn)性、開發(fā)性的工作，人們希望將其應(yīng)用到許多其他的問題和工程產(chǎn)品當(dāng)中。另一方面，人們發(fā)現(xiàn)雖然可以用深度網(wǎng)絡(luò)來(lái)解決一些問題，但這都是在過(guò)度的試錯(cuò)和參數(shù)調(diào)整之后才實(shí)現(xiàn)的。更何況深度學(xué)習(xí)的理論基礎(chǔ)尚不清楚，還不能解釋深度網(wǎng)絡(luò)如何有用以及為什么有用。也就是說(shuō)，深度學(xué)習(xí)無(wú)論是作為一門基礎(chǔ)科學(xué)還是作為一門工程學(xué)科，都不夠成熟。以至于紐約大學(xué)的心理學(xué)和神經(jīng)科學(xué)教授、幾何智能公司創(chuàng)始人Gary Marcus在arXiv上傳了一篇論文，列舉深度學(xué)習(xí)十大局限，說(shuō)深度學(xué)習(xí)其實(shí)并沒有解決什么問題[9]。下面，我們挑跟自然語(yǔ)言處理有關(guān)的進(jìn)行引述：

(1) 深度學(xué)習(xí)目前缺少通過(guò)明確的、言語(yǔ)定義學(xué)習(xí)抽象概念的機(jī)制，而且機(jī)器卻必須經(jīng)過(guò)成千上萬(wàn)的訓(xùn)練才能發(fā)揮最好效果。

(2) 深度學(xué)習(xí)并沒有理解抽象的概念。DeepMind用深度強(qiáng)化學(xué)習(xí)玩“打磚塊”游戲，但系統(tǒng)并不知道什么是隧道、什么是墻，它所學(xué)會(huì)的，只是特定場(chǎng)景下的一個(gè)特定動(dòng)作。深度學(xué)習(xí)目前沒有足夠的能力進(jìn)行遷移。

(3) 深度學(xué)習(xí)還不能自然地處理層級(jí)結(jié)構(gòu)。當(dāng)前大多數(shù)基于深度學(xué)習(xí)的語(yǔ)言模型，都將句子視為詞的序列。在遇到陌生的句子結(jié)構(gòu)時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)無(wú)法系統(tǒng)地展示句子的遞歸結(jié)構(gòu)。深度學(xué)習(xí)習(xí)得的特征之間的關(guān)聯(lián)是平面的，沒有層級(jí)關(guān)系。

(4) 深度學(xué)習(xí)目前還無(wú)法進(jìn)行開放式推理。系統(tǒng)無(wú)法理解“John promised Mary to leave”和“John promised to leave Mary”之間的細(xì)微差別，機(jī)器也就無(wú)法推斷出誰(shuí)要離開誰(shuí)，或者接下來(lái)會(huì)發(fā)生什么。

(5) 深度學(xué)習(xí)還沒有很好地與先驗(yàn)知識(shí)相結(jié)合，部分原因是深度學(xué)習(xí)系統(tǒng)中表示的知識(shí)主要涉及特征之間的(很大程度上是不透明的)相關(guān)性，而不是像量化的陳述那樣的抽象(例如， “每個(gè)人都有死亡的一天”)。深度學(xué)習(xí)適合的問題更多與分類有關(guān)，而與常識(shí)推理相關(guān)的問題幾乎都超出了深度學(xué)習(xí)的解決范圍。

(6) 深度學(xué)習(xí)假設(shè)世界是大體穩(wěn)定的，但實(shí)際并非如此。深度學(xué)習(xí)在高度穩(wěn)定的世界中表現(xiàn)很好，例如“圍棋”這類有固定規(guī)則的棋盤游戲，但在政治和經(jīng)濟(jì)等不斷變化的系統(tǒng)中，深度學(xué)習(xí)的表現(xiàn)并不好。

Marcus的文章引發(fā)了不小的討論，著名機(jī)器學(xué)習(xí)專家、AAAI前主席Thomas Dietterich連發(fā)10條Twitter，一一駁斥Marcus列出的“十大罪狀”，并且對(duì)深度學(xué)習(xí)中的關(guān)鍵技術(shù)反向傳播(back propagation)和權(quán)重綁定(weight-tying)進(jìn)行了拓展和延伸，從而強(qiáng)調(diào)了一種新的編程范式——可微分編程(differentiable programming)[10]。紐約大學(xué)終身教授、紐約大學(xué)數(shù)據(jù)科學(xué)中心的創(chuàng)始人、以及Facebook人工智能研究部門(FAIR)負(fù)責(zé)人Yann LeCun在Facebook個(gè)人主頁(yè)上寫了一篇短文，不僅支持可微分編程，還說(shuō)： 好，深度學(xué)習(xí)作為一個(gè)流行詞，現(xiàn)在時(shí)效已過(guò)(Deep Learning has outlived its usefulness as a buzz-phrase.)。深度學(xué)習(xí)已死，可微分編程萬(wàn)歲！(Deep Learning est mort. Vive Differentiable Programming!)[11]。沒錯(cuò)，“可微分編程”不過(guò)是把現(xiàn)代這套深度學(xué)習(xí)技術(shù)重新?lián)Q了個(gè)叫法，這就跟“深度學(xué)習(xí)”是現(xiàn)代兩層以上的神經(jīng)網(wǎng)絡(luò)變體的新名字一樣。這位被人們稱為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)之父的法國(guó)科學(xué)家認(rèn)識(shí)到： 人工智能發(fā)展的一大難題就是怎么樣才能讓機(jī)器掌握人類常識(shí)，這是讓機(jī)器和人類自然互動(dòng)的關(guān)鍵。想要做到這一點(diǎn)，它需要擁有一個(gè)內(nèi)在模型，以具備預(yù)測(cè)的能力。LeCun用一個(gè)公式簡(jiǎn)潔地概括了這種人工智能系統(tǒng)： 預(yù)測(cè)+規(guī)劃=推理。而研究人員現(xiàn)在要做的，就是不需依賴人類訓(xùn)練，讓機(jī)器學(xué)會(huì)自己構(gòu)建這個(gè)內(nèi)在模型。關(guān)于機(jī)器視覺如何與常識(shí)相聯(lián)系，LeCun說(shuō)，就連Facebook內(nèi)部也有很大分歧?！耙恍┤苏J(rèn)為可以與智能系統(tǒng)只進(jìn)行語(yǔ)言交流，但是語(yǔ)言是一個(gè)相當(dāng)?shù)蛶?low bandwidth)的渠道，信息密度很低。語(yǔ)言之所以能承載很多信息，是因?yàn)槿藗儞碛写罅康谋尘爸R(shí)，也就是常識(shí)，來(lái)幫助他們理解這些信息?！盠eCun解釋道。看來(lái)，他暫時(shí)也拿自然語(yǔ)言理解沒轍。

總的來(lái)說(shuō)，對(duì)于人工智能和自然語(yǔ)言處理來(lái)說(shuō)，相關(guān)領(lǐng)域知識(shí)和語(yǔ)言知識(shí)的挖掘、整理和表示還是不可缺少的，完全繞開知識(shí)的統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)，都難以真正理解概念和語(yǔ)言。

4 語(yǔ)義資源幫助知識(shí)圖譜賦能AI理解和解釋

知識(shí)圖譜(knowledge graph)用可視化技術(shù)呈現(xiàn)知識(shí)，把以往各種線性的、離散的、非結(jié)構(gòu)化的知識(shí)，用圖(graph)這種數(shù)據(jù)結(jié)構(gòu)形式組織起來(lái)，從而描述關(guān)于世界萬(wàn)物的實(shí)體(entities)、概念(concepts)、事件(events)及其之間的關(guān)系。知識(shí)圖譜實(shí)質(zhì)上是一種語(yǔ)義網(wǎng)絡(luò)(semantic network)，其節(jié)點(diǎn)代表實(shí)體或概念，邊代表實(shí)體/概念之間的各種語(yǔ)義關(guān)系。它通過(guò)對(duì)海量數(shù)據(jù)中各種個(gè)體/概念及其盤根錯(cuò)節(jié)的關(guān)系的梳理，使得原本模糊的信息世界(cybernetic world)、乃至現(xiàn)實(shí)世界(realistic world)變得更加脈絡(luò)清晰。這種數(shù)據(jù)的組織和呈現(xiàn)形式，可以為當(dāng)前人工智能實(shí)現(xiàn)進(jìn)一步的突破提供基礎(chǔ)。正如上文所引述的，當(dāng)前這波人工智能熱潮得益于以深度學(xué)習(xí)為代表的大數(shù)據(jù)處理方法。但是，深度學(xué)習(xí)之機(jī)理的不透明性、不可解釋性已成為制約其發(fā)展的障礙。因此，“理解”與“解釋”是人工智能需要攻克的下一個(gè)挑戰(zhàn)，而知識(shí)圖譜為“可解釋的AI”提供了全新的視角和機(jī)遇[12]。下面是兩個(gè)通過(guò)把語(yǔ)義知識(shí)加入知識(shí)圖譜，來(lái)為人工智能提供理解和解釋的構(gòu)想性案例。

清華大學(xué)李涓子教授在跟筆者進(jìn)行學(xué)術(shù)交流時(shí)說(shuō)： 開發(fā)知識(shí)圖譜，光是在連結(jié)兩個(gè)實(shí)體節(jié)點(diǎn)的邊上標(biāo)定表示其關(guān)系的動(dòng)詞是不夠的，最好還得有這兩個(gè)節(jié)點(diǎn)相對(duì)于動(dòng)詞的語(yǔ)義角色。例如，對(duì)于“特朗普—辭退了—聯(lián)邦調(diào)查局局長(zhǎng)科米”來(lái)說(shuō)，如果能夠讓機(jī)器“懂得”或“知道”： “特朗普”是辭退行為的發(fā)出者，“科米”是辭退行為的受影響者，就比較理想。[注]在“語(yǔ)言資源構(gòu)建——理論、方法與應(yīng)用國(guó)際研討會(huì)”(2017年11月5日)上的個(gè)人交流，和同年11月27日雙方團(tuán)隊(duì)在北京大學(xué)中文系就事件分析知識(shí)圖譜與語(yǔ)義角色關(guān)系的正式討論。問題是，能不能利用語(yǔ)言知識(shí)資源，來(lái)生成或給出這種語(yǔ)義角色？查詢了袁毓林教授主持研制的《北京大學(xué)現(xiàn)代漢語(yǔ)實(shí)詞句法語(yǔ)義功能信息詞典》(簡(jiǎn)稱《實(shí)詞信息詞典》)，我們發(fā)現(xiàn)這個(gè)語(yǔ)義知識(shí)資源基本上可以滿足這種需要。表1是“解雇”這個(gè)詞條的部分信息：

表 1 詞條“解雇”的句法語(yǔ)義功能信息

可見，機(jī)器系統(tǒng)通過(guò)調(diào)用上述詞典信息，如根據(jù)句法格式，可以分別把“特朗普”綁定到“施事A”、“科米”綁定到“受事P”這兩個(gè)語(yǔ)義角色上；從而推定“特朗普”是“停止雇用他人的人”，“科米”是“被施事[=特朗普]解雇的人”。更何況，這個(gè)詞典中除了進(jìn)行多重釋義之外，還給出了“解雇”的同義詞(辭退、開除)和反義詞(聘請(qǐng))。利用這些語(yǔ)義關(guān)系和句法格式(論元角色的配置方式)，再查詢我們的另一個(gè)資源(《動(dòng)詞蘊(yùn)涵型式庫(kù)》)就可以進(jìn)行語(yǔ)義(蘊(yùn)涵)推理了。例如：

特朗普 解雇 科米

→特朗普 辭退/開除 科米

→特朗普 不再雇傭/聘請(qǐng) 科米

→特朗普 把 科米 解雇/辭退/開除了

→科米 被 特朗普 解雇/辭退/開除了

無(wú)獨(dú)有偶，白碩[4]指出： 的確，知識(shí)圖譜就是當(dāng)代最通用的語(yǔ)義知識(shí)表示形式化框架。它的節(jié)點(diǎn)就是語(yǔ)義學(xué)里面說(shuō)的 “符號(hào)根基”(symbol grounding)，即語(yǔ)言符號(hào)與真實(shí)或想象空間中的對(duì)象的對(duì)接，在計(jì)算機(jī)中體現(xiàn)為語(yǔ)言符號(hào)與數(shù)字化對(duì)象的對(duì)接。它的邊則是語(yǔ)義學(xué)里面說(shuō)的 “角色指派”(role assignment)，在計(jì)算機(jī)中體現(xiàn)為每個(gè)數(shù)字化對(duì)象與其他數(shù)字化對(duì)象之間的語(yǔ)義關(guān)系標(biāo)簽。節(jié)點(diǎn)和邊，這恰恰是知識(shí)圖譜所支持的要件。

但是，事情并沒有完結(jié)。語(yǔ)義結(jié)構(gòu)表示框架中現(xiàn)有的知識(shí)圖譜可以完美描述實(shí)體、關(guān)系、屬性(狀態(tài))及其值這三類要素。但是剩下的還有事件、時(shí)間、空間、因果條件、邏輯模態(tài)等，我們必須對(duì)現(xiàn)有的知識(shí)圖譜結(jié)構(gòu)進(jìn)行改造，才能適應(yīng)這些語(yǔ)義要素的表示。

先看事件。事件可以改變關(guān)系和屬性。比如 “撤銷職務(wù)” 的事件真正的語(yǔ)義效果是改變相應(yīng)實(shí)體的 “職務(wù)” 屬性的取值，其他一切操作，如果不落到這上面，都是糊弄人。此外，一個(gè)事件可以觸發(fā)其他事件(例如 “國(guó)王去世” 觸發(fā) “王儲(chǔ)繼位”)，一串事件可以是一個(gè)大事件的細(xì)粒度展開(比如“立案?jìng)刹椤薄罢{(diào)查取證”“拘捕” 可能是某個(gè) “案件” 事件的細(xì)粒度展開)。這些具有動(dòng)態(tài)特性的操作如何與靜態(tài)知識(shí)圖譜的結(jié)構(gòu)和工具融為一體，是一個(gè)非常有挑戰(zhàn)性的問題。我們注意到哈工大有關(guān) “事理圖譜” 的相關(guān)研究成果，但要成體系地解決事件的表示問題，目前成果還是很不夠的。

檢索《實(shí)詞信息詞典》，發(fā)現(xiàn)其中已經(jīng)配備了有關(guān)詞項(xiàng)的語(yǔ)義角色關(guān)系標(biāo)簽，還有這些語(yǔ)義角色的常見的句法配置。表2～表5以“立——案件——調(diào)查——取證——拘捕”這幾個(gè)詞條為例進(jìn)行說(shuō)明。

表 2 詞條“立”的句法語(yǔ)義功能信息

續(xù)表

表 3 詞條“案件”的句法語(yǔ)義功能信息

表 4 詞條“調(diào)查”的句法語(yǔ)義功能信息

表 5 詞條“取證”的句法語(yǔ)義功能信息

表 6 詞條“拘捕”的句法語(yǔ)義功能信息

對(duì)此，白碩的回應(yīng)是： “仔細(xì)學(xué)習(xí)了一下你的詞條，的確很靠近我的想法了”。[注]2018年2月28日E-mail通信。

白碩[4]總結(jié)說(shuō)： 自然語(yǔ)言的語(yǔ)義的確是一個(gè)博大精深的體系。知識(shí)圖譜為語(yǔ)義計(jì)算準(zhǔn)備好了基本的框架，但要全面推進(jìn)到實(shí)用，還要做許多基礎(chǔ)性的工作，包括資源建設(shè)和理論模型創(chuàng)新。我們期待在這一領(lǐng)域能有重量級(jí)的成果出現(xiàn)，將語(yǔ)義表示和計(jì)算的工作推向深入。

我們希望語(yǔ)義資源建設(shè)能夠更好地為知識(shí)圖譜和語(yǔ)義計(jì)算服務(wù)，并且在這個(gè)過(guò)程中逐步完善語(yǔ)義描述體系和詞典構(gòu)架。

5 語(yǔ)義資源幫助機(jī)器人回答常識(shí)性問題

袁毓林教授的《實(shí)詞信息詞典》主要描述名詞、

動(dòng)詞和形容詞的語(yǔ)義角色及其句法配置，同時(shí)突出相關(guān)詞語(yǔ)所反映的常識(shí)概念和百科知識(shí)。特別是其中的《漢語(yǔ)名詞句法語(yǔ)義功能信息詞典暨檢索系統(tǒng)》(簡(jiǎn)稱《名詞信息詞典》)，借鑒生成詞庫(kù)論(generative lexicon theory)關(guān)于詞項(xiàng)的語(yǔ)義表達(dá)、特別是物性結(jié)構(gòu)的有關(guān)學(xué)說(shuō)，從服務(wù)于中文信息處理這種應(yīng)用需求出發(fā)，來(lái)設(shè)計(jì)漢語(yǔ)名詞的物性結(jié)構(gòu)的描述體系。通過(guò)“物性角色”來(lái)描述名詞所指的事物(簡(jiǎn)稱“事物”)的語(yǔ)義結(jié)構(gòu)和相關(guān)的百科知識(shí)。調(diào)用這種語(yǔ)義資源，可以回答事物的有關(guān)常識(shí)性問題。比如，是什么(形式角色)、有哪些部件(構(gòu)成角色)、由什么材料做的(材料角色)、怎么形成的(施成角色)、有什么用途(功用角色)，等等。這樣，本文第1節(jié)中“圍棋是什么？”，可以通過(guò)查詢名詞“圍棋”的形式角色來(lái)回答?！皣濉钡脑~條如表7所示。

表 7 詞條“圍棋”的句法語(yǔ)義功能信息

續(xù)表

更加重要的是，該語(yǔ)義資源還可以跟計(jì)算機(jī)視覺技術(shù)相結(jié)合，來(lái)幫助機(jī)器人基于詞典進(jìn)行常識(shí)推理，并且回答常識(shí)性問題。比如，圖1所列任務(wù)原本是一個(gè)機(jī)器人智能推理的實(shí)驗(yàn)[注]該任務(wù)和圖片選自文獻(xiàn)[13]。。每一組任務(wù)(縱列看)中，上圖是一些工具，下圖是要求完成的任務(wù)(鏟土)；讓機(jī)器人判斷用什么工具來(lái)完成圖1中第三行(Task 2)的工具的柄上或工具邊緣淺黑色的部分是判斷機(jī)器人抓手的地方，圖1中第三行的工具邊緣上深黑色的且?guī)в型庵赶虻募^的部分是判斷土的位置)。任務(wù)1的上圖正常的鏟土工具(機(jī)器人選擇了鏟子和刷子作為鏟土的第一、第二選擇)，任務(wù)2是拿走鏟子、刷子，僅提供其他家庭用品(機(jī)器人選了平底鍋和杯子來(lái)鏟土)，任務(wù)3是一般的石器(機(jī)器人選了兩個(gè)不同形狀的石頭)。

圖1 機(jī)器人智能推理任務(wù)

我們?cè)O(shè)想，完成這個(gè)任務(wù)，如果結(jié)合基于名詞的物性角色進(jìn)行推理和驗(yàn)證，那么效果也許更好。比如，先驗(yàn)地設(shè)定諸如下面這一類啟發(fā)式規(guī)則(heuristic rules)：

(1) 要了解事物是什么，就查相應(yīng)名詞的形式角色；

(2) 要了解事物有哪些部件，就查相應(yīng)名詞的構(gòu)成角色；

(3) 要了解事物是由什么材料做的，就查相應(yīng)名詞的材料角色；

(4) 要了解事物是怎么形成的， 就查相應(yīng)名詞

的施成角色；

(5) 要了解事物有什么用途，就查相應(yīng)名詞的功用角色。

表8是名詞“鏟子”的詞條。

表 8 詞條“鏟子”的句法語(yǔ)義功能信息

從“鏟子”的功用角色中，我們可以發(fā)現(xiàn)鏟子的用途之一是能夠鏟土。通過(guò)這種功用角色，能夠類推出其他家庭物品也作為替代品，從而完成鏟土的任務(wù)。

另外一個(gè)應(yīng)用場(chǎng)景也是基于計(jì)算機(jī)視覺的?，F(xiàn)在，計(jì)算機(jī)讀圖2所示的這一個(gè)圖[注]圖片選自百度圖片“客廳”。。

圖2 場(chǎng)景識(shí)別任務(wù)“客廳”

機(jī)器能夠識(shí)別出里面的物品，但是它不知道這些物品背后的含義。而人是知道這些物品都是干什么的，所以就能判斷出這個(gè)圖的深層含義。比如，判斷出該圖是客廳、能夠會(huì)客，等等，或者還能推理出其他功用。因?yàn)槿丝匆粋€(gè)物體，就能知道它的功用是什么、通常放在什么房間中。通過(guò)圖中“桌子、椅子、茶幾、電視”等物品跟各種房間的匹配，可以發(fā)現(xiàn)，這個(gè)房間跟“客廳”最接近。表9是我們?cè)~典中“客廳”這一詞條。

當(dāng)然，上面這兩個(gè)任務(wù)似乎都比較大，需要結(jié)合計(jì)算機(jī)視覺、基于深度學(xué)習(xí)的分類，再加上基于詞典資源的常識(shí)推理等多方面的協(xié)同，才能高質(zhì)量地完成。

表 9 詞條“客廳”的句法語(yǔ)義功能信息