面向區(qū)塊鏈漏洞知識(shí)庫的大模型增強(qiáng)知識(shí)圖譜問答模型

摘" 要： 大語言模型（LLM）在專業(yè)領(lǐng)域特別是區(qū)塊鏈漏洞領(lǐng)域應(yīng)用時(shí)存在局限性，如專業(yè)術(shù)語噪聲干擾和細(xì)粒度信息過重導(dǎo)致理解不足。為此，構(gòu)建一種面向區(qū)塊鏈漏洞知識(shí)庫的增強(qiáng)型知識(shí)圖譜問答模型（LMBK_KG）。通過整合大模型和知識(shí)圖譜來增強(qiáng)知識(shí)表示和理解能力，同時(shí)利用多粒度語義信息進(jìn)行專業(yè)問題的過濾和精準(zhǔn)匹配。研究方法包括使用集成的多粒度語義信息和知識(shí)圖譜來過濾專業(yè)術(shù)語噪聲，以及采用大模型生成的回答與專業(yè)知識(shí)圖譜進(jìn)行結(jié)構(gòu)化匹配和驗(yàn)證，以提高模型的魯棒性和安全性。實(shí)驗(yàn)結(jié)果表明，所提出的模型在區(qū)塊鏈漏洞領(lǐng)域問答的準(zhǔn)確率比單獨(dú)使用大模型提高26%。

關(guān)鍵詞： 大語言模型； 知識(shí)圖譜； 問答模型； 多粒度語義信息； 區(qū)塊鏈； 漏洞信息； 文本表征

中圖分類號(hào)： TN929.5?34； TP391.1" " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2025）02?0137?06

Large model enhanced knowledge graph question answering model for blockchain vulnerability knowledge base

XIE Fei1， SONG Jianhua2， 5， JIANG Li1， ZHANG Yan1， 4， HE Shuai3

（1. School of Computer Science and Information Engineering， Hubei University， Wuhan 430062， China;

2. School of Cyber Science and Technology， Hubei University， Wuhan 430062， China;

3. School of Cyber Science and Engineering， Huazhong University of Science and Technology， Wuhan 430074， China;

4. Key Laboratory of Intelligent Sensing System and Security （Hubei University）， Ministry of Education， Wuhan 430062， China;

5. Hubei Provincial Engineering Research Center of Intelligent Connected Vehicle Network Security， Wuhan 430062， China）

Abstract： There are limitations in the application of large language models （LLMs） in professional fields， especially in the field of blockchain vulnerabilities， such as noise interference of technical terms and insufficient understanding caused by excessive fine?grained information. On this basis， an enhanced knowledge graph question answering model for blockchain vulnerability knowledge base （LMBK_KG） is constructed， which can enhance the knowledge representation and comprehension ability by integrating large models and knowledge graphs， and filter and accurately match professional problems by means of multi?granularity semantic information. The research methods include using integrated multi?granularity semantic information and knowledge graph to filter the professional term noise， and using large model?generated answers for structured matching and validation with the professional knowledge graph to improve the robustness and security of the model. The experimental results show that， in comparison with the large model used alone， the proposed model can improve the accuracy of question answering in the field of blockchain vulnerabilities by 26%.

Keywords： large language model; knowledge graph; question?answering model; multi?granularity semantic information; blockchain; vulnerability information; text representation

0" 引" 言

隨著大語言模型（LLM）[1]時(shí)代的到來，自然語言處理（NLP）領(lǐng)域經(jīng)歷了革命性的變革，其中LLM如InstructGPT[2]、ChatGPT和GPT?4[3]等在廣泛的問答任務(wù)中展現(xiàn)出了卓越的性能。這些模型能夠理解并執(zhí)行復(fù)雜的人類指令，準(zhǔn)確解答各類問題。盡管如此，它們?cè)谔幚硖囟I(lǐng)域，尤其是充滿專業(yè)術(shù)語的區(qū)塊鏈漏洞領(lǐng)域時(shí)，效果并不總是理想。針對(duì)上述問題，本文提出一種創(chuàng)新的解決方案，即面向區(qū)塊鏈漏洞知識(shí)庫的大模型增強(qiáng)知識(shí)圖譜問答模型（LMBK_KG）。該模型結(jié)合了大型語言模型和多層次語義信息，利用區(qū)塊鏈專業(yè)知識(shí)庫來提升對(duì)區(qū)塊鏈漏洞問題的回答精度[4]。

1" 模型概述

本文提出了一種創(chuàng)新的模型，通過將先進(jìn)的大語言模型與特定領(lǐng)域的知識(shí)圖譜深度整合，提供更準(zhǔn)確和高質(zhì)量的專業(yè)領(lǐng)域問答服務(wù)[5]。這種整合加強(qiáng)了語言模型與知識(shí)圖譜之間的互動(dòng)，通過優(yōu)化信息處理過程，顯著減少誤導(dǎo)性和不正確信息的產(chǎn)生，提高了問題回答的完整性和精確度。模型的主要功能涵蓋信息處理、專業(yè)知識(shí)問答及知識(shí)的提取和轉(zhuǎn)化，其利用LangChain技術(shù)實(shí)現(xiàn)了專業(yè)問答服務(wù)的顯著提升[6]。模型有效整合特定領(lǐng)域知識(shí)庫與大語言模型，提升專業(yè)問答能力，同時(shí)減少重復(fù)訓(xùn)練成本和避免潛在的災(zāi)難性記憶丟失[7]。此外，通過比較提取的三元組與知識(shí)圖譜，進(jìn)一步提升了回答的專業(yè)水平。模型框架圖如圖1所示。

2" 模型構(gòu)建

本節(jié)從構(gòu)建區(qū)塊鏈漏洞知識(shí)圖譜、融合多粒度語義信息和融入大模型的專業(yè)問答模型，開發(fā)了一個(gè)專注于區(qū)塊鏈漏洞的問答模型，并且通過整合大語言模型和知識(shí)圖譜來實(shí)現(xiàn)專業(yè)領(lǐng)域問答。模型首先篩選和分類區(qū)塊鏈漏洞的相關(guān)問題，利用LangChain[3]技術(shù)在知識(shí)圖譜中匹配知識(shí)，并將其與問題一起輸入到大型語言模型從而產(chǎn)生專業(yè)答案。進(jìn)一步通過知識(shí)抽取技術(shù)從答案中提取關(guān)鍵信息，并與知識(shí)圖譜對(duì)比來驗(yàn)證答案準(zhǔn)確性。

2.1" 構(gòu)建區(qū)塊鏈漏洞知識(shí)圖譜

知識(shí)圖譜的構(gòu)建方法主要有自底向上和自頂向下兩種策略[8]。自底向上策略適合于開發(fā)廣泛覆蓋的知識(shí)圖譜；相反，自頂向下策略適合構(gòu)建針對(duì)特定行業(yè)或領(lǐng)域的知識(shí)圖譜。本文采用自頂向下的方式來構(gòu)建針對(duì)漏洞信息的知識(shí)圖譜，從設(shè)計(jì)一個(gè)合適的數(shù)據(jù)模型入手，為知識(shí)圖譜提供結(jié)構(gòu)化的基礎(chǔ)。接下來，利用這個(gè)數(shù)據(jù)模型抓取并整理特定的漏洞信息樣本，并對(duì)來自不同源和格式的數(shù)據(jù)進(jìn)行預(yù)處理，旨在消除數(shù)據(jù)冗余和不一致性[9]。接著，模型進(jìn)行知識(shí)融合過程，將收集到的各類信息融合為一個(gè)有結(jié)構(gòu)的完整數(shù)據(jù)集。隨后，借助Neo4j圖數(shù)據(jù)庫中的導(dǎo)入工具（Neo4j?import）將這些精細(xì)整理的數(shù)據(jù)集導(dǎo)入到數(shù)據(jù)庫中，實(shí)現(xiàn)知識(shí)圖譜構(gòu)建的最終步驟[10]。漏洞信息知識(shí)圖譜的構(gòu)建框架圖如圖2所示。

2.2" 融合多粒度語義信息和知識(shí)圖譜的區(qū)塊鏈漏洞問答匹配模型構(gòu)建——LMBK_KG

在輸入層，問答匹配模型利用多種技術(shù)，包括Lattice[11]網(wǎng)絡(luò)、Word2Vec[12]和BERT[13]來構(gòu)建具有多粒度語義信息的特征向量；同時(shí)，引入外部的區(qū)塊鏈漏洞知識(shí)圖譜，以增強(qiáng)特征向量中的細(xì)節(jié)語義信息。

2.2.1" 輸入層

輸入層作為模型的輸入部分，負(fù)責(zé)處理問答對(duì)并抽取它們的多級(jí)語義特征向量。通過Lattice網(wǎng)絡(luò)，結(jié)合Word2Vec提供的靜態(tài)詞向量和BERT提供的動(dòng)態(tài)詞向量策略，以及融合外部知識(shí)圖譜的相關(guān)信息，可以綜合處理文本中的單個(gè)字符、潛在的詞組以及外部知識(shí)，生成包括深層語義信息的特征向量，進(jìn)而為模型的下一處理階段提供輸入。

1） 基于BERT的多粒度嵌入

因?yàn)锽ERT設(shè)計(jì)為處理序列化數(shù)據(jù)，而無法直接處理以有向無環(huán)圖（DAG）形式存在的Lattice網(wǎng)絡(luò)輸入。通過參考Lattice?BERT的概念，本研究引入起始位置的編碼及掩碼段的預(yù)測(cè)機(jī)制，使得BERT可以更有效地應(yīng)用于Lattice網(wǎng)絡(luò)結(jié)構(gòu)。通過將BERT與Lattice網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，本研究實(shí)現(xiàn)了將有向無環(huán)圖（DAG）轉(zhuǎn)換為帶位置編碼的序列化格式，從而成功實(shí)現(xiàn)了圖結(jié)構(gòu)的序列化、扁平化處理。例如：當(dāng)使用Lattice?BERT處理中文句子“非同質(zhì)化代幣是一種數(shù)字資產(chǎn)”時(shí)，可以觀察到以下幾個(gè)步驟。

① 構(gòu)建Lattice網(wǎng)絡(luò)

這個(gè)句子可以有多種分詞方法，例如：

非/同質(zhì)化/代幣/是/一種/數(shù)字/資產(chǎn)

非同質(zhì)化/代幣/是/一種/數(shù)字資產(chǎn)

非同質(zhì)化/代幣/是/一種/數(shù)字/資產(chǎn)

在Lattice網(wǎng)絡(luò)中，這些不同的分詞方法將被構(gòu)建為多個(gè)節(jié)點(diǎn)和連接這些節(jié)點(diǎn)的邊。

② 轉(zhuǎn)換為BERT處理的格式

在這個(gè)步驟中，Lattice網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)（詞）和邊（詞與詞之間的關(guān)系）被轉(zhuǎn)換成適合BERT處理的序列。這種轉(zhuǎn)換使BERT能夠同時(shí)考慮多種分詞可能性，捕捉到更豐富的語義信息。

③ 模型處理和分析

Lattice?BERT會(huì)分析這個(gè)轉(zhuǎn)換后的序列，利用BERT的強(qiáng)大語義理解能力來捕獲句子中的細(xì)微差別。在處理“非同質(zhì)化代幣”這一短語時(shí)，模型不僅能識(shí)別它是一個(gè)專有名詞（代指一類特殊的數(shù)字資產(chǎn)），還能通過上下文理解其與“數(shù)字資產(chǎn)”的關(guān)系。

最終，Lattice?BERT會(huì)根據(jù)這些分析提供相關(guān)的輸出，通過這樣的處理，Lattice?BERT能夠更全面地理解中文等復(fù)雜語言的語義，尤其是在處理含有專業(yè)術(shù)語或多義詞的句子時(shí)。這種方法提高了模型對(duì)語言多樣性的適應(yīng)能力和處理精度。

2） 基于Word2Vec的多粒度嵌入

基于Word2Vec的多粒度嵌入主要利用Word2Vec模型生成詞嵌入，并結(jié)合多粒度的信息來表示文本，以捕捉句子或文檔中的豐富語義信息。這種方法不僅考慮了單個(gè)詞的語義，還考慮了詞組、短語或更長文本序列的語義信息。假設(shè)給定一個(gè)包含n個(gè)字符的句子信息[S=s1，s2，…，sn]模型，將其中的字符序列（[c1，c2，…，cn）]直接輸入，不過為了充分捕捉句子的多粒度特征，需要句子中潛在的單詞信息，Lattice網(wǎng)絡(luò)可以挖掘出與詞典D相匹配的所有字符子序列。設(shè)[wdb，e]是一個(gè)子序列，b和e表示子序列開始位置和結(jié)束位置?；赪ord2Vec的多粒度嵌入如圖3所示。[wd1，4]代表“數(shù)字資產(chǎn)”，“1”和“4”代表這個(gè)子序列從開始字符（第1個(gè)）到最后字符（第4個(gè)）。計(jì)算方法如式（1）所示。

[xwb，e=ewwdb，e]" " " " " " （1）

式中：[ew]表示的是詞嵌入查找表；[wdb，e]表示的是Lattice網(wǎng)絡(luò)挖掘出的潛在字符序列。

單詞元[cwb，e]代表詞向量[xwb，e]的遞歸狀態(tài)，計(jì)算方法如下所示：

[iwb，efwb，ecwb，e=" σ" σtanhwwTxwb，ehcb+bw] （2）

[cwb，e=fwb，e⊙ccb+iwb，e⊙cwb，e]" " " （3）

式中：[iwb，e]代表輸入門；[fwb，e]代表遺忘門；[wwT]和[bw]表示可以用來訓(xùn)練的模型參數(shù)；[σ]代表sigmoid函數(shù)。因?yàn)閱卧~元沒有輸出門，所有標(biāo)記只在字符級(jí)別進(jìn)行。有了單詞元[cwb，e]，信息流就有更多的循環(huán)路徑進(jìn)入每一個(gè)[ccj]。本文把所有[cwb，e（b∈{b'wdb'，e∈D}）]子序列指向[cce]，例如，在公式中，輸入源[cc4]包含了[xc4]和[cw1，4]。后續(xù)的單詞元[cwb，e]使用附加門[icb，e]來控制其到[ccb，e]的信息流，計(jì)算方法如式（4）所示。

[icb，e=σwlTxclcwb，e+bl]" " " " " （4）

式中：[wlT]和[bl]為模型參數(shù)。

[ccj]的計(jì)算方法如下：

[ccj=b∈{b'wdb'，j∈D}αcb，j⊙cwb，j+αcj⊙ccj]" "（5）

式中：[αcb，j]和[αcj]分別是對(duì)[icb，j]和[icj]歸一化的值。[αcb，j]和[αcj]的計(jì)算方法如式（6）、式（7）所示。

[αcb，j=expicb，jexpicb，j+b∈b\"wdb\"，j∈Dexpicb'，j] （6）

[αcj=expicjexpicj+b∈b\"wdb\"，j∈Dexpicb'，j] （7）

最終的隱藏向量[hcj]計(jì)算方法如下：

[icjocjfcjccj=" σ" σ" σtanhwcT" xwjhcj-1+bc]" "（8）

[cwj=fwj⊙ccj-1+icj⊙cwj]" " " （9）

[hcj=ocj⊙tanhccj]" " " " " （10）

式中：[ocj]代表LSTM中的輸出門；[ccj]是在原本的字符序列上融合了子序列[wdb，e]的信息。

2.2.2" 知識(shí)圖譜嵌入

本文方法旨在將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)化為向量嵌入，并通過外部知識(shí)獲取附加的知識(shí)表征信息，以增強(qiáng)文本表征的背景知識(shí)。首先，通過Lattice網(wǎng)絡(luò)對(duì)每個(gè)問答句進(jìn)行細(xì)粒度分析，識(shí)別并提取實(shí)體信息。這些實(shí)體隨后被與預(yù)定義的專業(yè)領(lǐng)域詞典D進(jìn)行比對(duì)，從而精確定位出相關(guān)實(shí)體集E。問句實(shí)體[Eq=eq1，eq2，…，eqn]，答句實(shí)體[Ea=ea1，ea2，…，ean]；其次，每個(gè)問答句通常涉及實(shí)體關(guān)系的查詢，例如漏洞名稱、解決方法、緣由等。因此，利用知識(shí)圖譜中三元組的實(shí)體對(duì)應(yīng)的關(guān)系向量[R=r1，r2，…，rn]進(jìn)行處理。

在獲得知識(shí)圖譜的實(shí)體集合、關(guān)系類型集合以及所有實(shí)體?關(guān)系?實(shí)體三元組集合后，利用TransE進(jìn)行知識(shí)圖譜嵌入的訓(xùn)練。其訓(xùn)練包括確定實(shí)體和關(guān)系類型的輸出維度，將三元組劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集，對(duì)三元組進(jìn)行訓(xùn)練。

訓(xùn)練完成后，TransE會(huì)根據(jù)輸入的知識(shí)圖譜的實(shí)體和關(guān)系類型列表為每個(gè)實(shí)體和關(guān)系類型生成向量。實(shí)驗(yàn)中每個(gè)知識(shí)實(shí)體和每種關(guān)系輸出維度為300，得到所有實(shí)體和關(guān)系類型的嵌入。最終得到問答句對(duì)應(yīng)的知識(shí)級(jí)嵌入表示[kq=eq1，r1，eq2，r2，…，eqn，rn]和[ka=ea1，r1，ea2，r2，…，ean，rn]的信息。

2.3" 融入大模型的專業(yè)問答模型構(gòu)建

本研究將知識(shí)庫中的專業(yè)信息融入到大型語言模型中，旨在提高問答系統(tǒng)的答案質(zhì)量。這種方法擴(kuò)展了模型處理專業(yè)問題的能力，避免了領(lǐng)域特定數(shù)據(jù)微調(diào)的需求，實(shí)現(xiàn)了快速部署而無需重新訓(xùn)練。特別是在區(qū)塊鏈漏洞分析領(lǐng)域，本研究結(jié)合了LangChain和ChatGPT技術(shù)，以產(chǎn)生含有更豐富專業(yè)知識(shí)的回答。本文模型首先通過LangChain在知識(shí)庫中尋找與提問相關(guān)的專業(yè)知識(shí)，隨后將這些知識(shí)與提問文本一起作為輸入，通過大模型處理后輸出具有專業(yè)深度的答案文本。假設(shè)知識(shí)庫由多個(gè)文檔組成，每個(gè)文檔可以被分解成多個(gè)文本塊。利用LangChain進(jìn)行檢索時(shí)，系統(tǒng)會(huì)對(duì)每個(gè)文檔的文本塊建立向量索引，便于在搜索過程中，通過測(cè)算問題文本向量與已存向量間的相似性，找到與提問最相關(guān)的文本塊。然后，將這些相關(guān)的文本塊與問題文本合并，輸入到ChatGLM?6B模型中，從而生成針對(duì)性的專業(yè)回答。專業(yè)問答過程詳細(xì)的解釋和偽代碼示例如下。

輸入：問題文本q，知識(shí)庫文件集合F；

輸出：大模型的回答文本result。

步驟1～3：遍歷知識(shí)庫文件，對(duì)每個(gè)文件進(jìn)行文本劃分文本塊集合=[ ]。

對(duì)于每個(gè)文件in F：

文本塊=劃分文本（文件）

文本塊集合，添加（文本塊）

步驟4～6：為每個(gè)文本塊生成向量索引。

向量索引={ }

對(duì)于索引，每個(gè)文本塊in enumerate（文本塊集合）：

向量=文本轉(zhuǎn)向量（每個(gè)文本塊）

向量索引[索引]=向量

步驟7：將問題文本轉(zhuǎn)化為向量。

問題向量=文本轉(zhuǎn)向量（q）

步驟 8：計(jì)算問題向量與各文本塊向量的相似度，選出k個(gè)最相似的文本塊。

最相似的k個(gè)索引=計(jì)算相似度并返回最相似的k個(gè)索引（問題向量，向量索引）

步驟9：根據(jù)最相似的k個(gè)索引找到對(duì)應(yīng)的文本塊。

最相似的k個(gè)文本塊=[文本塊集合[索引]for索引in最相似的k個(gè)索引]

步驟10：將問題文本與最相似的文本塊合并。

輸入大模型獲取回答合并后的文本=合并文本（q，最相似的k個(gè)文本塊）

result=大模型生成回答（合并后的文本）

返回result

3" 實(shí)" 驗(yàn)

本次實(shí)驗(yàn)旨在驗(yàn)證所提模型的有效性，并展示其在專業(yè)領(lǐng)域應(yīng)用中的結(jié)果。實(shí)驗(yàn)內(nèi)容細(xì)分為模型效果對(duì)比和性能評(píng)價(jià)兩個(gè)主要部分，以提供全面的效果證明。

3.1" 不同模型的回答效果對(duì)比展示

圖4所示為不同模型針對(duì)同一區(qū)塊鏈漏洞問題的回答效果。作為參照，目前采用的是ChatGPT 3.5版本。

3.2" 性能評(píng)估

在本研究中，為了全面評(píng)估所提模型在區(qū)塊鏈技術(shù)領(lǐng)域中的應(yīng)用效果，采取了一種綜合評(píng)估方法，結(jié)合了主觀和客觀的評(píng)估手段，此外還進(jìn)行了消融實(shí)驗(yàn)。通過在模型中移除特定的模塊或功能，評(píng)估這些部分的重要性和對(duì)最終性能的影響。

3.2.1" 主觀評(píng)估

在本次實(shí)驗(yàn)中，請(qǐng)來了三位網(wǎng)絡(luò)安全領(lǐng)域的專家來對(duì)三種不同的問答模型進(jìn)行評(píng)估，旨在評(píng)定各模型的性能。對(duì)于分配給這些模型的100個(gè)問題，每個(gè)模型對(duì)每個(gè)問題給出的答案都被提交給專家進(jìn)行評(píng)價(jià)，以便比較哪種模型提供的答案更符合專家的偏好。專家評(píng)估結(jié)果如圖5所示。

圖5結(jié)果顯示，所有專家對(duì)本文模型（模型1）的滿意度均超過了[13]的閾值，這一結(jié)果指出本研究構(gòu)建的模型更加契合專家的期望。

3.2.2" 客觀評(píng)估

為了客觀評(píng)價(jià)不同模型在處理區(qū)塊鏈專業(yè)問題上的能力，本研究設(shè)計(jì)了一項(xiàng)實(shí)驗(yàn)，通過讓模型回答一系列涵蓋區(qū)塊鏈領(lǐng)域的專業(yè)多項(xiàng)選擇題來考察其表現(xiàn)。實(shí)驗(yàn)包含了100道具有不同難度等級(jí)的選擇題，分別交由各模型作答，客觀性能評(píng)估準(zhǔn)確率如表1所示。從表1中可看出本文模型性能更好。

3.2.3" 消融實(shí)驗(yàn)

本文進(jìn)行消融實(shí)驗(yàn)，在去除信息過濾模塊（RIF）、去除知識(shí)庫（RKB）和去除大模型（RLLM）的情況下，分別觀察了模型性能的變化，實(shí)驗(yàn)結(jié)果如表2所示。結(jié)果表明，去除大模型增強(qiáng)（RLLM）后的專業(yè)問答模型準(zhǔn)確率為0.46，下降0.26，這驗(yàn)證了大模型增強(qiáng)在提高問答準(zhǔn)確性方面的重要作用。此外，通過比較各組件被移除后的模型性能，可以深入理解每個(gè)組件對(duì)整體模型性能的貢獻(xiàn)。

4" 結(jié)" 語

在自然語言處理中，大語言模型扮演著重要的角色，由于特定術(shù)語的噪聲對(duì)問答效果影響較大，使得它們?cè)趯I(yè)領(lǐng)域的應(yīng)用效果并不總是理想的。本文通過大語言模型增強(qiáng)專業(yè)知識(shí)庫的方式構(gòu)造了一個(gè)問答模型。該模型有效地整合了專業(yè)知識(shí)圖譜與大型語言模型，實(shí)現(xiàn)了二者之間的深度融合。對(duì)比和消融實(shí)驗(yàn)結(jié)果顯示，所提模型在區(qū)塊鏈漏洞問答領(lǐng)域中的準(zhǔn)確率比單獨(dú)使用大語言模型提高了26%。

注：本文通訊作者為姜麗。

參考文獻(xiàn)

[1] XUE X，YU X，WANG F. ChatGPT chats on computational experiments： from interactive intelligence to imaginative intelligence for design of artificial societies and optimization of foundational models [J]. IEEE/CAA journal of automatica sinica，2023， 10（6）： 1357?1360.

[2] WU T， HE S， LIU J，" et al. A brief overview of ChatGPT： the history， status quo and potential future development [J]. IEEE/CAA journal of automatica sinica， 2023， 10（5）： 1122?1136.

[3] WANG Y， KORDI Y， MISHRA S， et al. Self?Instruct： aligning language model with self generated instructions [EB/OL]. [2023?04?12]. https：//zhuanlan.zhihu.com/p/689082580.

[4] 薩日娜，李艷玲，林民.知識(shí)圖譜推理問答研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2022，16（8）：1727?1741.

[5] GUU K， LEE K， TUNG Z， et al. Retrieval augmented language model pre?training [C]// International Conference on Machine Learning， MESSE WIEN Exhibition amp; Congress Center. New York： PMLR， 2020： 3929?3938.

[6] OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback [J]. Advances in neural information processing systems， 2022， 35： 27730?27744.

[7] OPENAI. GPT?4 technical report [EB/OL]. [2023?11?21]. https：//blog.csdn.net/qq_36803941/article/details/137828090.

[8] MAYNEZ J， NARAYAN S， BOHNET B， et al. On faithfulness and factuality in abstractive summarization [EB/OL]. [2023?01?28]. https：//www.xueshufan.com/publication/3034383590.

[9] TONEVA M， SORDONI A， COMBES R T， et al. An empirical study of example forgetting during deep neural network learning [EB/OL]. [2023?04?15]. https：//www.xueshufan.com/publication/2951013084.

[10] ZHANG Y， WANG Y， YANG J. Lattice LSTM for chinese sentence representation [J]. IEEE transactions on audio speech and language processing， 2020（28）： 1506?1519.

[11] YIN H， ZHANG W， ZHU L， et al. Review on lattice structures for energy absorption properties [J]. Composite structures， 2023， 304： 116397.

[12] ZHU J J， REN Z J. The evolution of research in resources， conservation amp; recycling revealed by Word2vec?enhanced data mining [J]. Resources， conservation and recycling， 2023， 190： 106876.

[13] MüLLER M， SALATHé M， KUMMERVOLD P E. COVID?Twitter?BERT： a natural language processing model to analyze covid?19 content on twitter [J]. Frontiers in artificial intelligence， 2023， 6： 1023281.

[14] ATHRNIKOS S J， HAN H， BROOKS A D. A framework of a logic?based question?answering system for the medical domain （LOQAS?Med） [C]// Proceedings of the 2009 ACM Symposium on Applied Computing （SAC）. Honolulu， Hawaii， USA： ACM， 2009： 1022?1027.