基于深度學(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服設(shè)計(jì)

秦沛聰,潘威華(通信作者),石寶源,鐘 健,劉 鑫

(1 廣州理工學(xué)院 計(jì)算機(jī)科學(xué)與工程學(xué)院 廣東 廣州 510540) (2 廣州方硅信息技術(shù)有限公司 廣東 廣州 510032) (3 深圳雷霆信息技術(shù)有限公司 廣東 深圳 518054)

0 引言

隨著現(xiàn)代生活節(jié)奏的加快,人們面臨著越來(lái)越多的功能復(fù)雜的產(chǎn)品。為了更好地理解這些產(chǎn)品,產(chǎn)品說(shuō)明書和對(duì)說(shuō)明書的解答變得越來(lái)越必要?；谏疃葘W(xué)習(xí)的智能產(chǎn)品說(shuō)明人工智能(artificial intelligence,AI)客服是一套關(guān)于產(chǎn)品說(shuō)明書的自動(dòng)化AI客服系統(tǒng),可以幫助大眾解決產(chǎn)品說(shuō)明書中的問(wèn)題。該系統(tǒng)采用友好的圖形系統(tǒng)、深度學(xué)習(xí)和語(yǔ)言規(guī)則生成系統(tǒng),實(shí)現(xiàn)了面向大眾的智能問(wèn)答客服。與市面上大多數(shù)AI客服系統(tǒng)不同的是,基于深度學(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服不僅面向開(kāi)發(fā)者,也適用于非互聯(lián)網(wǎng)企業(yè),使用成本相對(duì)較低。因此,基于深度學(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服應(yīng)時(shí)而生,成為幫助消費(fèi)者更好地理解產(chǎn)品的有效工具。

1 研究現(xiàn)狀

AI客服是一種基于人工智能技術(shù)的客服系統(tǒng),它可以智能化地處理用戶的問(wèn)題并提供滿意的解決方案。目前,AI客服系統(tǒng)已經(jīng)成為越來(lái)越多企業(yè)的必備工具。自然語(yǔ)言處理技術(shù)是AI客服的關(guān)鍵技術(shù)。近年來(lái),自然語(yǔ)言處理技術(shù)取得了長(zhǎng)足的進(jìn)步,如能夠識(shí)別多種語(yǔ)言的機(jī)器翻譯技術(shù)、語(yǔ)音識(shí)別技術(shù)等,這使得AI客服系統(tǒng)的語(yǔ)音和文字處理能力得到了大幅提升。

1.1 國(guó)外研究現(xiàn)狀

近些年來(lái),國(guó)外的研究者們憑借深度學(xué)習(xí)、自然語(yǔ)言處理等技術(shù),在對(duì)話設(shè)計(jì)及自然語(yǔ)言處理領(lǐng)域取得了一系列的研究成果[1]。其中首推谷歌的智能助手Google Assistant、蘋果的Siri和亞馬遜的Alexa。這些系統(tǒng)基于自然語(yǔ)言處理技術(shù)、深度學(xué)習(xí)模型和智能推薦技術(shù)等,能夠有效地處理用戶問(wèn)題并提供個(gè)性化的建議和服務(wù)。同時(shí),國(guó)外的研究機(jī)構(gòu)和企業(yè)也在探索如何實(shí)現(xiàn)更加自然、流暢的語(yǔ)音交互和多模態(tài)交互,在AI客服領(lǐng)域展現(xiàn)出了極高的創(chuàng)新能力。AI客服系統(tǒng)必須能夠像人類一樣基于語(yǔ)音和文字進(jìn)行交互,并且在交互過(guò)程中能夠準(zhǔn)確把握用戶的需要,進(jìn)行高質(zhì)量、智能化的響應(yīng)。國(guó)外學(xué)者們?cè)谡Z(yǔ)種識(shí)別、機(jī)器翻譯、人工智能跨語(yǔ)言交流等方面做了大量的探索,為AI客服系統(tǒng)在跨語(yǔ)言和跨文化領(lǐng)域的應(yīng)用提供了廣闊的空間。

1.2 國(guó)內(nèi)研究現(xiàn)狀

國(guó)內(nèi)對(duì)AI客服的研究也緊跟發(fā)展,多家大型企業(yè)和研究機(jī)構(gòu)都開(kāi)展了相關(guān)研究,如百度宣布推出AI客服“度小美”,使用深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù),提供自然語(yǔ)言交互,能夠識(shí)別語(yǔ)音和文字輸入,快速響應(yīng)客戶問(wèn)題;阿里巴巴旗下的AI客服機(jī)器人“阿里小蜜”也獲得了廣泛的應(yīng)用和好評(píng),它可以根據(jù)用戶的語(yǔ)音和輸入分析問(wèn)題,提供精準(zhǔn)的解答和服務(wù)。這些AI客服系統(tǒng)的問(wèn)答能力、智能化程度和用戶體驗(yàn)等方面均得到了廣泛的認(rèn)可和好評(píng),大幅提升了服務(wù)效率和用戶滿意度。此外,國(guó)內(nèi)的一些科研機(jī)構(gòu)和企業(yè)也在AI客服領(lǐng)域取得了一些重要的研究成果。例如,中國(guó)科學(xué)院計(jì)算技術(shù)研究所推出的“中科聲韻AI客服”利用語(yǔ)音識(shí)別、自然語(yǔ)言處理等技術(shù)自動(dòng)回答顧客問(wèn)題,并不斷學(xué)習(xí)用戶喜好、實(shí)現(xiàn)更智能的服務(wù);深圳市聯(lián)合創(chuàng)新研究院還推出了“聯(lián)想智客”AI客服系統(tǒng),該系統(tǒng)可以對(duì)話聊天、語(yǔ)音識(shí)別、文字處理等方面達(dá)到較高水平,為客戶提供個(gè)性化、智能化的服務(wù)。

2 產(chǎn)品說(shuō)明AI客服應(yīng)用優(yōu)勢(shì)

產(chǎn)品說(shuō)明AI客服是人工智能技術(shù)在客戶服務(wù)領(lǐng)域的應(yīng)用,它是一種基于人工智能技術(shù)的新型客服服務(wù)形態(tài),可以通過(guò)自然語(yǔ)言處理、語(yǔ)音識(shí)別、機(jī)器學(xué)習(xí)等技術(shù),模擬人類進(jìn)行溝通和交流,為客戶提供高效、便捷、個(gè)性化的服務(wù)。相較于傳統(tǒng)的人工客服,產(chǎn)品說(shuō)明AI客服具有以下優(yōu)勢(shì)。

(1)提高服務(wù)效率:AI客服應(yīng)用可以實(shí)現(xiàn)24 h不間斷的服務(wù),不受地域和時(shí)間限制,從而大大提高了服務(wù)效率和響應(yīng)速度?？梢钥焖偬幚泶罅肯嗨频膯?wèn)題,讓客戶更快速地得到滿意的回答。

(2)降低運(yùn)營(yíng)成本:采用AI客服可以極大地降低企業(yè)的客服成本。AI客服只需要一定的初期投入和后期維護(hù)費(fèi)用,為企業(yè)節(jié)省了大量人力資源。

(3)實(shí)現(xiàn)個(gè)性化服務(wù):AI客服可以根據(jù)用戶上傳的文檔生成專屬客服,通過(guò)學(xué)習(xí)和分析用戶的交互記錄,不斷優(yōu)化自身,提高服務(wù)質(zhì)量。

(4)便捷性:AI客服通過(guò)語(yǔ)音識(shí)別和自然語(yǔ)言處理技術(shù)實(shí)現(xiàn)了與用戶的自然交互,無(wú)需用戶下載APP或登錄網(wǎng)站即可獲取所需的服務(wù)。

綜上所述,產(chǎn)品說(shuō)明AI客服具有較多的優(yōu)勢(shì)。因此,越來(lái)越多的企業(yè)正開(kāi)始花大量資金和人力將AI客服技術(shù)應(yīng)用于客戶服務(wù)領(lǐng)域。未來(lái),隨著人工智能技術(shù)不斷進(jìn)步,AI客服技術(shù)將會(huì)取得更加廣泛的應(yīng)用和發(fā)展[2]。

3 技術(shù)簡(jiǎn)介與架構(gòu)設(shè)計(jì)

3.1 技術(shù)簡(jiǎn)介概要

本系統(tǒng)通過(guò)采用Spring Boot框架和Mybatis框架進(jìn)行開(kāi)發(fā),為WEB管理端、微信小程序和APP提供后臺(tái)服務(wù)?；陧?xiàng)目的需求,使用nginx作為高效的中轉(zhuǎn)服務(wù)器,采用AlibabaDruid作為為數(shù)據(jù)庫(kù)的連接池管理鏈接,使用Redis作為系統(tǒng)日志系統(tǒng)以及高效緩存的中間件。除此之外,在MVC分層思想下,使用wepy通過(guò)數(shù)據(jù)調(diào)用,設(shè)計(jì)視圖,實(shí)現(xiàn)微信小程序前端和使用Vue實(shí)現(xiàn)后臺(tái)管理系統(tǒng)。

問(wèn)題的問(wèn)答主要分以下兩個(gè)功能。

第一是通過(guò)規(guī)則生成問(wèn)答:(1)通過(guò)jieba分詞庫(kù)將后臺(tái)管理輸入的產(chǎn)品說(shuō)明書進(jìn)行分詞,根據(jù)詞語(yǔ)權(quán)重分出問(wèn)答;(2)再將每個(gè)詞語(yǔ)摘出,通過(guò)說(shuō)明書中問(wèn)答的權(quán)重對(duì)詞語(yǔ)進(jìn)行重新排列組合形成問(wèn)答句子;(3)最后使用已有的句子到互聯(lián)網(wǎng)中進(jìn)行知識(shí)爬取,再次獲取到問(wèn)答。

第二是通過(guò)深度學(xué)習(xí)生成問(wèn)答:使用深度學(xué)習(xí)庫(kù)Keras構(gòu)造Char-RNN模型和深度學(xué)習(xí)庫(kù)Pytorch構(gòu)造seq2seq模型同時(shí)進(jìn)行對(duì)抗訓(xùn)練,不斷重構(gòu)loss,訓(xùn)練數(shù)據(jù)來(lái)源后臺(tái)管理輸入的產(chǎn)品說(shuō)明書和用戶在使用過(guò)程中產(chǎn)生的一系列非結(jié)構(gòu)化數(shù)據(jù),例如查找記錄、頁(yè)面停留時(shí)長(zhǎng)等信息。最后通過(guò)兩個(gè)模型的對(duì)抗預(yù)測(cè)生成問(wèn)答。

通過(guò)使用規(guī)則和深度學(xué)習(xí)生成的問(wèn)答做遞歸預(yù)測(cè),以確保數(shù)據(jù)的準(zhǔn)確。同時(shí)使用Elasticsearch 作為QA的搜索引擎,生成的問(wèn)答將會(huì)存入到Elasticsearch數(shù)據(jù)庫(kù)中 ,系統(tǒng)也會(huì)提問(wèn)的問(wèn)題在Elasticsearch在進(jìn)行全文的檢索,以便快速準(zhǔn)備的返回搜索結(jié)果。

3.2 深度學(xué)習(xí)端技術(shù)架構(gòu)

深度學(xué)習(xí)端使用“TensorFlow+Keras+Pytorch+Pandas”架構(gòu)關(guān)系,通過(guò)利用現(xiàn)有深度學(xué)習(xí)框架的特點(diǎn),創(chuàng)新性地實(shí)現(xiàn)了在seq2seq模型下的靜態(tài)圖模型和動(dòng)態(tài)圖模型做對(duì)抗訓(xùn)練,重構(gòu)loss,極大提高準(zhǔn)確性。同時(shí)初始化時(shí)每一個(gè)文檔都同時(shí)生成一個(gè)基于TensorFlow的靜態(tài)圖seq2seq模型和基于Pytorch的seq2seq動(dòng)態(tài)圖模型,當(dāng)兩個(gè)模型生成完成后,使用Pandas進(jìn)行數(shù)據(jù)處理,得出模型對(duì)抗訓(xùn)練的數(shù)據(jù)。調(diào)起兩端模型預(yù)測(cè),將預(yù)測(cè)結(jié)果再導(dǎo)入Keras進(jìn)行訓(xùn)練,從而重構(gòu)loss生成第三個(gè)seq2seq模型,深度學(xué)習(xí)技術(shù)架構(gòu)如圖1所示。

圖1 深度學(xué)習(xí)技術(shù)架構(gòu)圖

3.3 用戶端技術(shù)架構(gòu)

客戶端使用“React Native + wepy + Vue.js”,APP開(kāi)發(fā)使用React Native作為跨平臺(tái)開(kāi)發(fā),微信小程序使用wepy作為組件化開(kāi)發(fā),后臺(tái)管理客戶端使用Vue.js開(kāi)發(fā),用戶端技術(shù)架構(gòu)如圖2所示。

圖2 用戶端技術(shù)架構(gòu)圖

3.4 服務(wù)端技術(shù)架構(gòu)

服務(wù)端使用“Spring boot + MyBatis”架構(gòu),關(guān)系數(shù)據(jù)庫(kù)采用MySql數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)ORM映射中間件使用MyBatis,Redis 提供高效日志、緩存以及搜索服務(wù),RabbitMQ作為消息隊(duì)列持久性服務(wù),MongoDB負(fù)責(zé)記錄用戶產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),同步產(chǎn)品文檔信息。客戶端調(diào)用接口均遵循REST API接口規(guī)范,通信協(xié)議使用HTTP,服務(wù)端技術(shù)架構(gòu)如圖3所示。

圖3 服務(wù)端技術(shù)架構(gòu)圖

整個(gè)系統(tǒng)應(yīng)用劃分為四個(gè)相對(duì)分離的邏輯層,每一層都是相互獨(dú)立的。

3.4.1 API接口層

服務(wù)端第一層為API接口層,該層提供了提供API網(wǎng)關(guān)和負(fù)載均衡兩個(gè)功能。API網(wǎng)關(guān)通過(guò)對(duì)外暴露API接口,提供前端需求的請(qǐng)求接口,對(duì)后端服務(wù)的統(tǒng)一管理和保護(hù);負(fù)載均衡通過(guò)對(duì)請(qǐng)求進(jìn)行分發(fā),超時(shí)服務(wù)中斷,將請(qǐng)求壓力分散到多個(gè)服務(wù)容器上,提高系統(tǒng)的穩(wěn)定性。

在API接口層中,服務(wù)端提供前端的請(qǐng)求接口,用戶進(jìn)行操作使得前端對(duì)服務(wù)端發(fā)送請(qǐng)求,這些請(qǐng)求會(huì)首先進(jìn)入nginx流量網(wǎng)關(guān),nginx會(huì)對(duì)請(qǐng)求進(jìn)行篩選,隨后將通過(guò)篩選過(guò)濾的請(qǐng)求轉(zhuǎn)發(fā)到gateway業(yè)務(wù)網(wǎng)關(guān),對(duì)請(qǐng)求做統(tǒng)一的處理,其中包括了統(tǒng)一認(rèn)證,統(tǒng)一鑒權(quán),請(qǐng)求限流,最后經(jīng)由注冊(cè)中心,直到目標(biāo)服務(wù)完成路由轉(zhuǎn)發(fā)。該層中的負(fù)載均衡,采用CDN來(lái)做負(fù)載均衡,通過(guò)發(fā)布機(jī)制將內(nèi)容同步到大量的緩存節(jié)點(diǎn),并在DNS服務(wù)器上進(jìn)行擴(kuò)展,找到離用戶最近的緩存節(jié)點(diǎn)作為服務(wù)提供節(jié)點(diǎn)。出于性價(jià)比,可靠性,穩(wěn)定性的考慮,該系統(tǒng)選擇阿里云的CDN服務(wù)實(shí)現(xiàn)。

3.4.2 業(yè)務(wù)服務(wù)層

服務(wù)端第二層為業(yè)務(wù)服務(wù)層,該層是整個(gè)系統(tǒng)中實(shí)現(xiàn)具體業(yè)務(wù)邏輯的核心部分,包含了Web后臺(tái)管理系統(tǒng)、分類管理、文檔管理、QA對(duì)管理、關(guān)鍵字管理、文檔上傳等管理功能,以及基于框架開(kāi)發(fā)的業(yè)務(wù)模塊。

Web后臺(tái)管理系統(tǒng)通過(guò)模板渲染實(shí)現(xiàn)后臺(tái)管理功能,對(duì)系統(tǒng)進(jìn)行維護(hù)和管理;分類、文檔、關(guān)鍵字等管理功能則提供了對(duì)數(shù)據(jù)的管理和查詢;QA對(duì)管理則提供了對(duì)問(wèn)題和答案的管理和校對(duì)。其中,系統(tǒng)核心功能是基于深度學(xué)習(xí)生成QA對(duì)服務(wù),該功能在第四節(jié)進(jìn)行詳述。

3.4.3 基礎(chǔ)服務(wù)層

服務(wù)端第三層為基礎(chǔ)服務(wù)層,該層的基礎(chǔ)服務(wù)能夠輔助構(gòu)建系統(tǒng),提供開(kāi)發(fā)使用的工具類,實(shí)現(xiàn)業(yè)務(wù)邏輯和基礎(chǔ)服務(wù)的解耦,提高功能的拓展性和重用性。

在基礎(chǔ)服務(wù)層中,服務(wù)端封裝了研發(fā)人員和其他層需要用到的工具類和服務(wù),如:API接口層中API網(wǎng)關(guān)中的身份認(rèn)證、權(quán)限管理服務(wù)、基于Axios的REST API接口服務(wù);業(yè)務(wù)服務(wù)層中文檔上傳工具類,基礎(chǔ)增刪改查數(shù)據(jù)服務(wù)類;數(shù)據(jù)層中訪問(wèn)不同數(shù)據(jù)庫(kù)的工具類;以及自定義服務(wù)類和工具類:等等。

3.4.4 數(shù)據(jù)層

服務(wù)端第四層為數(shù)據(jù)層,該層通過(guò)Dao持久層間接存儲(chǔ)數(shù)據(jù)和訪問(wèn)數(shù)據(jù)庫(kù),系統(tǒng)采用了MySQL、Elasticsearch和Redis三種數(shù)據(jù)庫(kù)來(lái)支持?jǐn)?shù)據(jù)的處理和存儲(chǔ)。

Redis數(shù)據(jù)庫(kù)用于保存用戶登錄狀態(tài),用戶登錄后,提高用戶體驗(yàn)和安全性。具體實(shí)現(xiàn)流程:用戶登錄時(shí),前端攜帶用戶信息請(qǐng)求登錄接口,服務(wù)器端將Token存進(jìn)Redis并返回給用戶Token,客戶端攜帶token后端查詢Redis是否存在,實(shí)現(xiàn)單點(diǎn)登錄。

MySQL數(shù)據(jù)庫(kù)作為系統(tǒng)主要的數(shù)據(jù)存儲(chǔ)方式,通過(guò)使用ORM對(duì)象關(guān)系映射進(jìn)行面向?qū)ο蟮恼{(diào)用而不直接SQL語(yǔ)句,保障代碼的可讀性,同時(shí)避免SQL注入等風(fēng)險(xiǎn)[3],為系統(tǒng)的基礎(chǔ)數(shù)據(jù)存儲(chǔ)和管理做保障。

Elasticsearch主要用于文本數(shù)據(jù)的全文搜索、聚合分析、實(shí)時(shí)查詢等場(chǎng)景,支持對(duì)大量的非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的索引、搜索和分析。系統(tǒng)可以將基于深度學(xué)習(xí)生成的問(wèn)答QA對(duì)以json格式存儲(chǔ)在Elasticsearch數(shù)據(jù)庫(kù)中,并對(duì)用戶輸入的提問(wèn),在Elasticsearch庫(kù)中進(jìn)行全文索引。

4 核心功能問(wèn)答生成原理

設(shè)計(jì)原理概述:將已經(jīng)有的產(chǎn)品說(shuō)明書作為數(shù)據(jù)基礎(chǔ),通過(guò)規(guī)則生成和深度學(xué)習(xí)生成,實(shí)現(xiàn)AI問(wèn)答數(shù)據(jù)。

實(shí)現(xiàn)目的:實(shí)現(xiàn)盡可能準(zhǔn)確的回答和盡可能多的回答。能夠回答出導(dǎo)入說(shuō)明書所沒(méi)有的答案。

自然語(yǔ)言處理規(guī)則生成原理:

(1)文檔結(jié)構(gòu)樹,主題/段落/語(yǔ)句分割。

(2)實(shí)體提取、關(guān)鍵詞提取、語(yǔ)義特征提取。

(3)語(yǔ)句結(jié)構(gòu)分析:同位語(yǔ)結(jié)構(gòu)、動(dòng)詞修飾名詞結(jié)構(gòu)、句型分析。

(4)摘要提取、語(yǔ)句壓縮和融合。

(5)問(wèn)題模式分類。

(6)問(wèn)題生成(語(yǔ)義模板法、ML生成法、深度學(xué)習(xí))。

(7)問(wèn)句泛化:關(guān)鍵詞替換。

(8)句法轉(zhuǎn)化:WH移動(dòng)、主謂倒置等將陳述句轉(zhuǎn)換為問(wèn)句。

(9)問(wèn)題語(yǔ)義完成度分析。

深度學(xué)習(xí)生成原理:

(1)構(gòu)建基于TensorFlow的循環(huán)神經(jīng)網(wǎng)絡(luò),訓(xùn)練seq2seq模型,生成靜態(tài)圖模型。

(2)構(gòu)建基于Pytorch的循環(huán)神經(jīng)網(wǎng)絡(luò),訓(xùn)練seq2seq模型,生成動(dòng)態(tài)圖模型。

(3)在開(kāi)發(fā)過(guò)程中,創(chuàng)新地探索出:利用靜態(tài)圖和動(dòng)態(tài)圖各自的特點(diǎn),使用靜態(tài)圖模型和動(dòng)態(tài)圖模型做對(duì)抗預(yù)測(cè),過(guò)程中不斷重構(gòu)loss,效果準(zhǔn)確率極高,但對(duì)抗訓(xùn)練消耗時(shí)間稍長(zhǎng)。

該系統(tǒng)設(shè)計(jì)參考了ApplyingDeepLearningToAnswerSelection:AStudyAndAnOpenTask的論文[4],從文中論述的網(wǎng)絡(luò)結(jié)構(gòu)中,選擇了效果相對(duì)較好的其中一個(gè)來(lái)實(shí)現(xiàn),網(wǎng)絡(luò)描述如圖4所示。

圖4 網(wǎng)絡(luò)描述圖

圖4的邏輯描述如下。

Q&A:共用一個(gè)網(wǎng)絡(luò),網(wǎng)絡(luò)中包括HL,CNN,P+T和Cosine_Similarity,HL是一個(gè)g(W*X+b)的非線性變換,CNN是卷積神經(jīng)網(wǎng)絡(luò),P是max_pooling,T是激活函數(shù)Tanh,最后的Cosine_Similarity表示將Q&A輸出的語(yǔ)義表示向量進(jìn)行相似度計(jì)算。

詳細(xì)描述下從輸入到輸出的矩陣變換過(guò)程:

Qp:[batch_size, sequence_len],Qp是Q之前的一個(gè)表示(在上圖中沒(méi)有畫出)。所有句子需要截?cái)嗷騪adding到一個(gè)固定長(zhǎng)度(因?yàn)楹竺娴腃NN一般是處理固定長(zhǎng)度的矩陣),例如句子包含3個(gè)字ABC,選擇固定長(zhǎng)度sequence_len為100,則需要將這個(gè)句子padding成ABC...(100個(gè)字),其中的就是添加的專門用于padding的無(wú)意義的符號(hào)。訓(xùn)練時(shí)都是做mini-batch的,所以這里是一個(gè)batch_size行的矩陣,每行是一個(gè)句子。

Q:[batch_size, sequence_len, embedding_size]。句子中的每個(gè)字都需要轉(zhuǎn)換成對(duì)應(yīng)的字向量,字向量的維度大小是embedding_size,這樣Qp就從一個(gè)2維的矩陣變成了3維的Q

HL層輸出:[batch_size, embedding_size, hl_size]。HL層:[embedding_size, hl_size],Q中的每個(gè)句子會(huì)通過(guò)和HL層的點(diǎn)積進(jìn)行變換,相當(dāng)于將每個(gè)字的字向量從embedding_size大小變換到hl_size大小。

CNN+P+T輸出:[batch_size, num_filters_total]。CNN的filter大小是[filter_size, hl_size],列大小是hl_size,這個(gè)和字向量的大小是一樣的,所以對(duì)每個(gè)句子而言,每個(gè)filter出來(lái)的結(jié)果是一個(gè)列向量(而不是矩陣),列向量再取max-pooling就變成了一個(gè)數(shù)字,每個(gè)filter輸出一個(gè)數(shù)字,num_filters_total個(gè)filter出來(lái)的結(jié)果當(dāng)然就是[num_filters_total]大小的向量,這樣就得到了一個(gè)句子的語(yǔ)義表示向量。T就是在輸出結(jié)果上加上Tanh激活函數(shù)[5]。

Cosine_Similarity:[batch_size]。最后的一層并不是通常的分類或者回歸的方法,而是采用了計(jì)算兩個(gè)向量(Q&A)夾角的方法[6]。如網(wǎng)絡(luò)損失函數(shù)所示,m是需要設(shè)定的參數(shù)margin,VQ、VA+、VA-分別是問(wèn)題、正向答案、負(fù)向答案對(duì)應(yīng)的語(yǔ)義表示向量。損失函數(shù)的意義就是:讓正向答案和問(wèn)題之間的向量cosine值要大于負(fù)向答案和問(wèn)題的向量cosine值[7],大多少,就是margin這個(gè)參數(shù)來(lái)定義的。cosine值越大,兩個(gè)向量越相近,所以通俗地說(shuō)這個(gè)Loss就是要讓正向的答案和問(wèn)題愈來(lái)愈相似,讓負(fù)向的答案和問(wèn)題越來(lái)越不相似。

網(wǎng)絡(luò)損失函數(shù):

L=max{0,m-cos(VQ,VA+)+cos(VQ,VA-)}

(1)

5 結(jié)語(yǔ)

總體而言,隨著人工智能技術(shù)的不斷發(fā)展,AI客服系統(tǒng)將會(huì)越來(lái)越廣泛地應(yīng)用于各行各業(yè)?；谏疃葘W(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服系統(tǒng)作為其中的一種創(chuàng)新型AI客服系統(tǒng),其用途和價(jià)值也引起了廣泛的關(guān)注。通過(guò)提供自動(dòng)化的AI模型和深度學(xué)習(xí)技術(shù),基于深度學(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服系統(tǒng)在滿足用戶問(wèn)答需求的同時(shí),也減少了企業(yè)的人力和成本,實(shí)現(xiàn)了雙贏的局面。此外,該系統(tǒng)的友好圖形界面和面向大眾的智能問(wèn)答模式,也為許多用戶帶來(lái)了便利和快捷的體驗(yàn)。隨著AI技術(shù)的不斷進(jìn)步,相信未來(lái)基于深度學(xué)習(xí)的智能產(chǎn)品說(shuō)明AI客服系統(tǒng)將為更多企業(yè)提供更加高效、智能、易用的AI客服服務(wù),推動(dòng)企業(yè)發(fā)展和提升用戶滿意度。