基于多模態(tài)知識(shí)圖譜的河姆渡文化資源庫(kù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

摘" 要： 以河姆渡遺址群考古報(bào)告為數(shù)據(jù)源，通過(guò)信息提取、實(shí)體鏈接等方法構(gòu)建多模態(tài)知識(shí)圖譜，并設(shè)計(jì)信息系統(tǒng)，實(shí)現(xiàn)了河姆渡文化遺產(chǎn)資源的數(shù)據(jù)管理和檢索。參考學(xué)術(shù)論文及考古研究，設(shè)計(jì)一種河姆渡文化知識(shí)圖譜的本體知識(shí)體系，并提出一種從考古報(bào)告中提取圖像與知識(shí)圖譜實(shí)體進(jìn)行對(duì)齊的算法，實(shí)現(xiàn)了多模態(tài)文化資源與實(shí)體節(jié)點(diǎn)的精準(zhǔn)匹配。在此基礎(chǔ)上，開(kāi)發(fā)了一個(gè)河姆渡文化資源庫(kù)管理系統(tǒng)。該系統(tǒng)具有多模態(tài)檢索、圖譜化展示等功能，并為用戶提供了交互式、可視化的數(shù)據(jù)瀏覽和分析工具，有助于用戶更深入地理解和利用河姆渡文化遺產(chǎn)資源；也可為研究人員、文化機(jī)構(gòu)和公眾提供便捷的工具，以更好地探索和理解河姆渡文化，為文化遺產(chǎn)的管理、研究和教育提供了一種新的手段。

關(guān)鍵詞： 多模態(tài)知識(shí)圖譜； 河姆渡文化； 資源管理； 本體知識(shí)； 實(shí)體鏈接； 數(shù)據(jù)融合

中圖分類號(hào)： TN911?34" " " " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " nbsp; " 文章編號(hào)： 1004?373X（2025）02?0143?05

Design of Hemudu cultural resource library system based on multimodal knowledge graph and its implementation

SONG Zhenying1， LU Huanda2， LI Tianjie3， WANG Huajian2， YANG Huanyong2， YU Xin2

（1. School of Information Engineering， Dalian Ocean University， Dalian 116023， China;

2. School of Computer and Data Engineering， Ningbo Tech University， Ningbo 315100， China;

3. School of Computer Science and Technology， Zhejiang Sci?Tech University， Hangzhou 310018， China）

Abstract： By taking the archaeological report of the Hemudu site group as the data source， a multimodal knowledge graph is constructed by means of methods such as information extraction and entity linking， and an information system is designed to realize data management and retrieval of Hemudu cultural heritage resources. Based on academic papers and archaeological research， an ontology knowledge system for the Hemudu culture knowledge graph is designed， and an algorithm for aligning images and knowledge graph entities extracted from archaeological reports is proposed， achieving accurate matching of multimodal cultural resources and entity nodes. On this basis， Hemudu cultural resource library management system is developed， which has functions such as multimodal retrieval and graphical display. This system can provide users with interactive and visual data browsing and analysis tools to help users to better understand and utilize Hemudu cultural heritage resources， can provide convenient tools for researchers， cultural institutions and the public to better explore and understand the Hemudu culture， and can provide a new means for the management， research， and education of cultural heritage.

Keywords： multimodal knowledge graph; Hemudu culture; resource management; ontological knowledge; physical link; data fusion

文化遺產(chǎn)作為人類文明的珍貴財(cái)富，承載著豐富的歷史、藝術(shù)和文化信息。河姆渡文化[1]作為文化遺產(chǎn)之一，是中國(guó)考古學(xué)中的一顆明珠，其主要分布在中國(guó)浙江省寧波市余姚市。該遺址起源于約7 000年前，被認(rèn)為是世界上最早的聚落社會(huì)之一。河姆渡文化包括大量的遺址群，其中包括井頭山遺址、田螺山遺址等。該遺址群發(fā)現(xiàn)了大量的遺跡遺物，這些文化遺產(chǎn)如何組織管理是一個(gè)亟待解決的問(wèn)題[2]。

現(xiàn)有的文化遺產(chǎn)大多數(shù)是以考古報(bào)告作為主要記載手段，但是，考古報(bào)告內(nèi)容嚴(yán)謹(jǐn)而詳盡，對(duì)專業(yè)的讀者很友好，但對(duì)于想要了解文化相關(guān)知識(shí)的普通大眾就存在很多的弊端，如：

1） 多源數(shù)據(jù)無(wú)法建立關(guān)聯(lián)，無(wú)法為讀者建立全局性的視圖；

2） 文本、圖像等多模態(tài)無(wú)法語(yǔ)義鏈接，知識(shí)與圖像等資源實(shí)體沒(méi)有建立聯(lián)系。

知識(shí)圖譜[3]是解決這些問(wèn)題的一個(gè)有效工具，通過(guò)將物質(zhì)文化遺產(chǎn)數(shù)據(jù)的關(guān)系和屬性進(jìn)行鏈接，形成一個(gè)文本、圖像等多源數(shù)據(jù)融合的全景知識(shí)視圖。知識(shí)圖譜作為知識(shí)組織與表示工具，已被廣泛應(yīng)用于文化遺產(chǎn)的相關(guān)研究，例如：文獻(xiàn)[4]為意大利文化遺產(chǎn)構(gòu)建了ArCo知識(shí)圖譜，其是一個(gè)由本體和Linked Open Data數(shù)據(jù)集組成的意大利知識(shí)圖譜，由數(shù)百萬(wàn)個(gè)三元組組成，為文化遺產(chǎn)數(shù)據(jù)管理領(lǐng)域的轉(zhuǎn)變做出了貢獻(xiàn)。文獻(xiàn)[5]通過(guò)構(gòu)建文物知識(shí)圖譜，參照CIDOC CRM概念并參考模型標(biāo)準(zhǔn)規(guī)范化管理文物數(shù)據(jù)，應(yīng)用BERT?BiLSTM?CRF模型實(shí)現(xiàn)文物實(shí)體抽取和知識(shí)圖譜構(gòu)建，最終在文物數(shù)字化系統(tǒng)中成功應(yīng)用知識(shí)圖譜，解決了企業(yè)在文物資源管理中的多源異構(gòu)和復(fù)雜性問(wèn)題，為實(shí)現(xiàn)語(yǔ)義搜索和智能推薦提供了有效手段。

然而當(dāng)前在文化領(lǐng)域中，知識(shí)圖譜的應(yīng)用并沒(méi)有很好地解決多模態(tài)數(shù)據(jù)關(guān)聯(lián)的問(wèn)題。因此本文以河姆渡文化資源為研究對(duì)象，通過(guò)實(shí)體鏈接算法將考古報(bào)告中的文本與圖像進(jìn)行語(yǔ)義對(duì)齊，進(jìn)而構(gòu)建一個(gè)基于多模態(tài)知識(shí)圖譜的河姆渡文化資源庫(kù)管理系統(tǒng)。這一工作為更全面理解和保護(hù)河姆渡文化遺產(chǎn)提供了有力的工具。

1" 相關(guān)工作

知識(shí)圖譜構(gòu)建技術(shù)備受人工智能領(lǐng)域關(guān)注，旨在從龐大數(shù)據(jù)中提取并組織知識(shí)，構(gòu)建結(jié)構(gòu)化知識(shí)網(wǎng)絡(luò)，助力機(jī)器理解和推理復(fù)雜信息。當(dāng)前研究涵蓋信息抽取、實(shí)體鏈接、關(guān)系抽取和知識(shí)表示等關(guān)鍵步驟。其中：信息抽取利用自然語(yǔ)言處理技術(shù)從非結(jié)構(gòu)化文本（如考古報(bào)告、文獻(xiàn)等）中提取實(shí)體和關(guān)系信息；實(shí)體鏈接目的是將這些實(shí)體鏈接到已知實(shí)體庫(kù)，確保知識(shí)一致性；關(guān)系抽取目的是在文本中識(shí)別和分類實(shí)體關(guān)系，構(gòu)建知識(shí)圖譜連接，通常依賴深度學(xué)習(xí)等技術(shù)。

在知識(shí)表示方面，研究者提出多種模型，如圖神經(jīng)網(wǎng)絡(luò)（GNN），更好地捕捉實(shí)體和關(guān)系復(fù)雜語(yǔ)義信息，提升圖譜質(zhì)量，支持智能問(wèn)答和推薦系統(tǒng)等應(yīng)用。知識(shí)圖譜在文物領(lǐng)域引起極大興趣，尤其關(guān)注文化遺產(chǎn)的記錄、保護(hù)和傳承。然而，由于文化遺產(chǎn)數(shù)據(jù)分散在不同數(shù)據(jù)庫(kù)和網(wǎng)站，資源碎片化，限制了數(shù)據(jù)鏈接和深入理解。

為解決這個(gè)問(wèn)題，許多學(xué)者致力于文物知識(shí)圖譜的研究?；诖?，研究者整合文物領(lǐng)域多源信息（文本、圖像、視頻等），構(gòu)建更豐富的知識(shí)圖譜，為文物數(shù)字資源的組織和利用提供支持。例如，文獻(xiàn)[6]采用基于本體的文物知識(shí)圖譜構(gòu)建方法，成功搭建文物本體和知識(shí)圖譜，同時(shí)開(kāi)發(fā)面向創(chuàng)意設(shè)計(jì)的語(yǔ)義檢索框架和文物知識(shí)圖譜集成平臺(tái)，助力設(shè)計(jì)師文物知識(shí)輔助平臺(tái)。文獻(xiàn)[7]通過(guò)半監(jiān)督學(xué)習(xí)和Tri?training模型實(shí)現(xiàn)自動(dòng)文物關(guān)系抽取，構(gòu)建以黃賓虹為中心的文物領(lǐng)域知識(shí)圖譜，并且設(shè)計(jì)支持專題文物知識(shí)圖譜構(gòu)建與展示的系統(tǒng)，為高效組織和利用文物數(shù)字資源提供自動(dòng)化方法。

2" 構(gòu)建河姆渡文化多模態(tài)知識(shí)圖譜的方法

2.1" 多模態(tài)知識(shí)圖譜的定義

本文選用多模態(tài)知識(shí)圖譜[8]作為數(shù)據(jù)存儲(chǔ)的核心，多模態(tài)知識(shí)圖譜定義有向圖[G=ε，R，A，V，TR，TA]，其中[ε]、[R]、[A]、[V]、[TR]、[TA]分別是實(shí)體、關(guān)系、屬性、屬性值、關(guān)系三元組和屬性三元組的集合。當(dāng)一個(gè)特定的知識(shí)符號(hào)與能夠表達(dá)知識(shí)的文本之外的模態(tài)，比如圖像、聲音或視頻相關(guān)聯(lián)時(shí)，可以說(shuō)這個(gè)符號(hào)是多模態(tài)的。這種定義強(qiáng)調(diào)了知識(shí)符號(hào)的多模態(tài)性，即通過(guò)關(guān)聯(lián)不同感知模態(tài)的數(shù)據(jù)項(xiàng)，實(shí)現(xiàn)對(duì)知識(shí)的更全面和豐富的表示。

2.2" 本體構(gòu)建

本文搜集河姆渡文化相關(guān)資料30余篇，并對(duì)其進(jìn)行分析，參考文物保護(hù)領(lǐng)域的本體框架CIDOC CRM[9]，抽取現(xiàn)有河姆渡文化領(lǐng)域的本體及相關(guān)的概念，并對(duì)這些概念進(jìn)行層次劃分。概念類關(guān)聯(lián)關(guān)系圖如圖1所示。根據(jù)已經(jīng)明確的概念確定其屬性和關(guān)系，具體描述如表1、表2所示。

2.3" 面向考古報(bào)告的實(shí)體鏈接算法

考古報(bào)告是一類結(jié)構(gòu)性很強(qiáng)的文本，通過(guò)觀察考古報(bào)告發(fā)現(xiàn)，圖像與對(duì)應(yīng)文本描述一對(duì)一對(duì)齊是一個(gè)亟待解決的問(wèn)題。對(duì)于這個(gè)問(wèn)題的方法下面將詳細(xì)進(jìn)行介紹。總體框架圖如圖2所示。

2.3.1" 圖文匹配

面向考古報(bào)告的一對(duì)一圖文匹配示意圖如圖3所示。對(duì)考古報(bào)告以及知識(shí)圖譜節(jié)點(diǎn)進(jìn)行預(yù)處理，首先進(jìn)行版面分析，利用ppstructure對(duì)考古報(bào)告進(jìn)行處理，將圖和文字分別輸出，并將圖像對(duì)應(yīng)的文本描述進(jìn)行關(guān)鍵詞提取處理。知識(shí)圖譜預(yù)處理包括對(duì)知識(shí)圖譜節(jié)點(diǎn)、關(guān)系、屬性等信息經(jīng)過(guò)詞嵌入技術(shù)轉(zhuǎn)化為向量，實(shí)體鏈接是將提取出來(lái)的文本描述關(guān)鍵詞與知識(shí)庫(kù)中的實(shí)體應(yīng)用相似度匹配算法進(jìn)行匹配和鏈接，以實(shí)現(xiàn)實(shí)體之間的關(guān)聯(lián)。一對(duì)一實(shí)體鏈接流程如圖4所示。

2.3.2" 實(shí)體鏈接

1） 描述文本預(yù)處理。通過(guò)編寫(xiě)一段腳本去除特殊字符和括號(hào)，從而規(guī)范化文本，消除可能干擾相似度計(jì)算的非字母數(shù)字字符，突顯出更重要的詞匯信息。最后，將圖3中的文本描述利用預(yù)處理方法分成了三部分：圖一四、陶釜以及T508?：12。

2） 圖譜節(jié)點(diǎn)預(yù)處理。使用詞嵌入模型Word2Vec[10]將實(shí)體節(jié)點(diǎn)和關(guān)系進(jìn)行向量化處理。

3） 為節(jié)點(diǎn)映射考古報(bào)告中的圖做匹配。利用描述文本關(guān)鍵詞與遍歷知識(shí)圖譜節(jié)點(diǎn)兩個(gè)向量分別做相似度計(jì)算，得分高者為最佳匹配。

4） 相似度計(jì)算。利用余弦相似度的度量方法[11]來(lái)計(jì)算知識(shí)圖譜節(jié)點(diǎn)向量與文字描述向量之間的相似度。這反映了節(jié)點(diǎn)和文字描述在語(yǔ)義上的相似程度。

[cosθ=i=1nAi·Bii=1nA2i·i=1nB2i]

式中：A代表描述文字關(guān)鍵詞；B代表知識(shí)圖譜實(shí)體；i表示向量A和B的元素?cái)?shù)目；n表示向量的維度或長(zhǎng)度。夾角越小，說(shuō)明兩個(gè)向量的相似度越高。

通過(guò)以上步驟，能夠?qū)崿F(xiàn)知識(shí)圖譜節(jié)點(diǎn)和對(duì)應(yīng)文字描述的一對(duì)一對(duì)齊，并可以基于相似度計(jì)算建立實(shí)體鏈接關(guān)系。這種對(duì)齊方法有助于將文本數(shù)據(jù)與知識(shí)圖譜中的實(shí)體進(jìn)行關(guān)聯(lián)，提高實(shí)體鏈接的準(zhǔn)確性。

3" 圖數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)的融合設(shè)計(jì)

為了充分利用圖數(shù)據(jù)庫(kù)Neo4j[12]和關(guān)系數(shù)據(jù)庫(kù)MySQL各自的優(yōu)勢(shì)，本文采用了一種融合設(shè)計(jì)[13]，以實(shí)現(xiàn)對(duì)河姆渡文化資源的高效管理和查詢。圖數(shù)據(jù)庫(kù)主要用于存儲(chǔ)和查詢文化資源之間的關(guān)聯(lián)關(guān)系，而關(guān)系數(shù)據(jù)庫(kù)則用于存儲(chǔ)和查詢結(jié)構(gòu)化的屬性信息。

3.1" 數(shù)據(jù)融合策略

在系統(tǒng)中，將文化資源的基本信息和元數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，例如文物名稱、年代、材質(zhì)等；而文化資源之間的關(guān)聯(lián)關(guān)系存儲(chǔ)在圖數(shù)據(jù)庫(kù)中，如發(fā)現(xiàn)于同一遺址的文物、同一時(shí)期的文物等。這種分層存儲(chǔ)的策略旨在充分利用圖數(shù)據(jù)庫(kù)的圖結(jié)構(gòu)特點(diǎn)，同時(shí)確保關(guān)系數(shù)據(jù)庫(kù)用于存儲(chǔ)大量結(jié)構(gòu)化數(shù)據(jù)的優(yōu)勢(shì)得到充分發(fā)揮。

3.2" 數(shù)據(jù)融合實(shí)現(xiàn)

在實(shí)際的數(shù)據(jù)融合過(guò)程中，首先鏈接圖數(shù)據(jù)庫(kù)Neo4j，確保系統(tǒng)能夠與其進(jìn)行有效的交互；同時(shí)鏈接關(guān)系數(shù)據(jù)庫(kù)MySQL，以便獲取文化資源的基本信息。隨后執(zhí)行一個(gè)關(guān)系數(shù)據(jù)庫(kù)查詢，選擇了屬于河姆渡文化的文物，并獲得這些文物的基本信息，如名稱、描述和所屬時(shí)代。

通過(guò)遍歷關(guān)系數(shù)據(jù)庫(kù)查詢的結(jié)果集，將每個(gè)文物的基本信息插入到圖數(shù)據(jù)庫(kù)中。具體而言，使用Cypher查詢語(yǔ)言在圖數(shù)據(jù)庫(kù)中創(chuàng)建一個(gè)節(jié)點(diǎn)，該節(jié)點(diǎn)包含文物的名稱、描述和所屬時(shí)代等屬性。這樣就實(shí)現(xiàn)了從關(guān)系數(shù)據(jù)庫(kù)中提取基本信息，并將其融合到圖數(shù)據(jù)庫(kù)中的過(guò)程。

3.3" 用戶界面設(shè)計(jì)及多模態(tài)知識(shí)圖譜可視化

用戶界面模塊是系統(tǒng)的入口，提供用戶友好的交互界面，以便用戶能夠方便地瀏覽、查詢和管理河姆渡文化資源。用戶界面展示如圖5所示。知識(shí)圖譜可視化模塊是系統(tǒng)的關(guān)鍵組成部分，旨在以直觀的方式呈現(xiàn)多模態(tài)知識(shí)圖譜的結(jié)構(gòu)和關(guān)聯(lián)關(guān)系。知識(shí)圖譜展示如圖6所示。

4" 結(jié)" 語(yǔ)

多模態(tài)知識(shí)圖譜的構(gòu)建和河姆渡文化資源庫(kù)管理系統(tǒng)的實(shí)現(xiàn)不僅僅是技術(shù)上的突破，更是對(duì)文化遺產(chǎn)的珍視和傳承的表達(dá)。通過(guò)知識(shí)圖譜節(jié)點(diǎn)和考古報(bào)告的圖像鏈接技術(shù)，實(shí)現(xiàn)了多模態(tài)知識(shí)圖譜的構(gòu)建。河姆渡文化代表了中國(guó)古代的聚落社會(huì)，是極其重要的歷史文化遺產(chǎn)，構(gòu)建這一系統(tǒng)的目的就是能夠更好地保護(hù)和傳承這一寶貴的文化。同時(shí)，本文也鼓勵(lì)將這一技術(shù)推廣到其他文化遺產(chǎn)的管理和研究中，以實(shí)現(xiàn)跨文化、跨地域的知識(shí)共享，促進(jìn)人類文明的交流和進(jìn)步。

注：本文通訊作者為于欣。

參考文獻(xiàn)

[1] 李嬌儼，陳醉.河姆渡河姆渡，滄海桑田猶可見(jiàn)[N].浙江日?qǐng)?bào)，2023?01?04（001）.

[2] 陳沛佳，湯明霞，厲飛芹.鄉(xiāng)村振興背景下文化遺址的保護(hù)與開(kāi)發(fā)研究：以河姆渡遺址為例[J].農(nóng)村經(jīng)濟(jì)與科技，2022，33（4）：173?175.

[3] 黃恒琪，于娟，廖曉，等.知識(shí)圖譜研究綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2019，28（6）：1?12.

[4] CARRIERO V A， GANGEMI A， MANCINELLI M L， et al. Pattern?based design applied to cultural heritage knowledge graphs [J]. IOS press， 2021（2）： 313?357.

[5] 李琳.基于知識(shí)圖譜的文物數(shù)字化系統(tǒng)構(gòu)建研究[D].北京：北京交通大學(xué)，2022.

[6] 林煬平.文物知識(shí)圖譜構(gòu)建與檢索關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D].杭州：浙江大學(xué)，2017.

[7] 張娜.文物知識(shí)圖譜構(gòu)建關(guān)鍵技術(shù)研究與應(yīng)用[D].杭州：浙江大學(xué)，2019.

[8] 陳燁，周剛，盧記倉(cāng).多模態(tài)知識(shí)圖譜構(gòu)建與應(yīng)用研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2021，38（12）：3535?3543.

[9]" CROFTS N， DOERR M， GILL T， et al. Definition of the CIDOC conceptual reference model [EB/OL]. [2023?01?24]. https：//www.mendeley.com/catalogue/871864a9?b5f3?3c39?b734?8b38d4081bb5/.

[10] 席寧麗，朱麗佳，王錄通，等.一種Word2vec構(gòu)建詞向量模型的實(shí)現(xiàn)方法[J].電腦與信息技術(shù)，2023，31（1）：43?46.

[11] 嚴(yán)李強(qiáng)，田博，梁煒恒，等.藏文文本相似度計(jì)算方法研究[J].高原科學(xué)研究，2021，5（3）：70?77.

[12] 楊振，萬(wàn)為清.圖數(shù)據(jù)庫(kù)的研究和應(yīng)用[J].電腦編程技巧與維護(hù)，2020（12）：91?93.

[13] 鄂海紅，韓鵬昊，宋美娜.關(guān)系型數(shù)據(jù)庫(kù)向圖數(shù)據(jù)庫(kù)的轉(zhuǎn)換方法[J].計(jì)算機(jī)科學(xué)，2021，48（10）：140?144.

[14] 胡志強(qiáng)，潘鑫瑜，文思捷，等.結(jié)合多模態(tài)知識(shí)圖譜與大語(yǔ)言模型的風(fēng)機(jī)裝配工藝問(wèn)答系統(tǒng)[J].機(jī)械設(shè)計(jì)，2023，40（z2）：20?26.