基于視聽具身指稱表達(dá)任務(wù)的數(shù)據(jù)集制作研究

王凱麗 董言治

摘要：指稱表達(dá)通常在人們尋找某個特定對象時應(yīng)用廣泛，機(jī)器人通過視覺和聽覺的融合信息來理解指稱表達(dá)指令，并執(zhí)行相應(yīng)的操作。針對上述任務(wù)，通過建立一個結(jié)合視聽融合的指稱表達(dá)的數(shù)據(jù)集，根據(jù)該數(shù)據(jù)集在真實世界中進(jìn)行物體的操作，驗證數(shù)據(jù)集的有效性。并且使用程序獲得嚴(yán)格控制的指令分布，提出一種新的驗證指標(biāo)，以驗證數(shù)據(jù)集的有效性。實驗結(jié)果表明，該數(shù)據(jù)集能夠有效的應(yīng)用于視聽具身指稱表達(dá)任務(wù)，獲得滿意的實驗結(jié)果。

關(guān)鍵詞：視聽融合? 指稱表達(dá)? 目標(biāo)識別

中圖分類號：TP39? 文獻(xiàn)標(biāo)志碼：A

引言

為了成為人類的有效助手，機(jī)器人必須通過理解我們的物質(zhì)世界，并且通過自然語言與人類進(jìn)行互動。例如，“左手邊的玻璃杯”、“遞給我裝有膠囊的瓶子”等。這些看似簡單的任務(wù)需要一系列豐富的能力，包括物體識別，音頻分類，機(jī)械臂抓取，跨越視覺、聽覺和語言、操作領(lǐng)域。

近年來，已經(jīng)提出很多方法，來解決人機(jī)交互的自然語言的基礎(chǔ)問題。與傳統(tǒng)的視覺問答任務(wù)不同，指稱表達(dá)任務(wù)不僅要與語言文本進(jìn)行理解，還要結(jié)合視覺信息，利用兩種模態(tài)的特征進(jìn)行定位預(yù)測。為了解決這個問題，現(xiàn)有的兩階段方法主要通過從一組候選區(qū)域內(nèi)選擇最優(yōu)的匹配區(qū)域，首先利用傳統(tǒng)的算法或者預(yù)先訓(xùn)練好的檢測網(wǎng)絡(luò)，對給定圖像的顯著區(qū)域提取它們的特征，之后在第二階段進(jìn)行進(jìn)一步的細(xì)致推理。這類方法通常具有很高的性能，但他們耗費(fèi)的計算時間較長，計算效率低下。而單階段的方法則是主要利用目標(biāo)檢測領(lǐng)域的單階段模型，僅從經(jīng)過一次的輸入圖像中提取特征，然后直接預(yù)測輸出區(qū)域的位置。

相比之下，我們的任務(wù)不僅僅要對物體進(jìn)行簡單的識別，并且需要根據(jù)操作指令的指示表達(dá)部分定位到指定物體，并且在視覺無法判斷的情況下，能夠結(jié)合聽覺進(jìn)行探索。在現(xiàn)存的數(shù)據(jù)集中，并沒有適合我們?nèi)蝿?wù)的數(shù)據(jù)集，因此，在我們的工作中，結(jié)合指稱表達(dá)以實現(xiàn)多模態(tài)融合的任務(wù)顯得十分重要。

1相關(guān)數(shù)據(jù)集介紹

近年來，很多研究進(jìn)行了多次嘗試來減輕VQA數(shù)據(jù)集的系統(tǒng)性偏差，但它們未能提供一個充分的解決方案。

與此同時，Goyal等人將VQA1.0中的大多數(shù)問題與一對相似的圖片聯(lián)系起來，結(jié)果是不同的答案。雖然提供了部分的緩解，但這種方法不能解決開放的問題，使他們的答案分布很大程度上不平衡。

在創(chuàng)建適應(yīng)視聽融合的指稱表達(dá)任務(wù)時，我們從CLEVR任務(wù)中獲得了靈感，該任務(wù)由合成圖像上的合成問題組成。然而，它只有少量的對象類別和屬性，使得它特別容易記憶所有組合，從而降低了其有效的組合程度。

我們的視聽融合的指稱表達(dá)數(shù)據(jù)集操作的是真實圖像和大型語義空間，這使得它更具挑戰(zhàn)性。盡管我們的問題不像其他VQA數(shù)據(jù)集那樣自然，但它們顯示了豐富的詞匯和多樣化的語言和語法結(jié)構(gòu)[8]。

2數(shù)據(jù)集制作方法

2.1聽覺數(shù)據(jù)集

在整個實驗設(shè)置當(dāng)中，我們設(shè)置了12類常見的對象，圖1為容器內(nèi)容物的展示。所有的容器形狀大小顏色都是相同的，僅僅依靠視覺信息難以分別出類別，在我們的實驗環(huán)境下，我們收集聽覺信息來辨別物體種類。

實驗物體的種類設(shè)置多元化，如圖2所示，在不同的動作下，我們繪制了典型物體的波形圖展示了分類的可能性。

2.2指令數(shù)據(jù)集

我們設(shè)計了兩種類型的操作指令，其中對整個場景的位置關(guān)系的表述，以及相應(yīng)的操作任務(wù)。分別為存在性指令、分類性指令，如表1所示。舉例來說“找到中間的瓶子，并把它放在紅色的碗中”根據(jù)這樣的指令，可以找出特定的目標(biāo)物體。

這些模板涵蓋了各種各樣的情況，需要機(jī)器人與環(huán)境之間不同程度的交互。例如，存在性指令可能需要來自機(jī)器人的一次操作就能夠獲得答案，因為機(jī)械臂在探索瓶子內(nèi)的物體時，可能第一個探索的對象就是我們要尋找的目標(biāo)物體。然而，分類性指令需要探索所有的瓶子，直到將我們分類的目標(biāo)物體全部放在對應(yīng)的指稱表達(dá)的位置關(guān)系當(dāng)中。

2.3數(shù)據(jù)集制作

對于視聽融合任務(wù)指稱表達(dá)的數(shù)據(jù)集的制作，我們采用數(shù)據(jù)集標(biāo)注的方法進(jìn)行研究。

對于聽覺數(shù)據(jù)集，每個類別的物體，分別利用機(jī)械臂按照坐標(biāo)軸的三個軸進(jìn)行晃動以及增加一個貼合人類的晃動作用來收集聲音數(shù)據(jù)。聲音數(shù)據(jù)集的大小為每個類別通過不同的動作采集了400組數(shù)據(jù)，整個數(shù)據(jù)大小為4800，這樣充分囊括了在實際情況下可能出現(xiàn)的音頻。

對于指稱表達(dá)模塊的標(biāo)注，我們采用人工標(biāo)注的方法進(jìn)行研究。

通過以上方法可以按照我們設(shè)計的模板來自動生成，模板包含了幾個基本的函數(shù)生成器，其子函數(shù)包含了物體的位置關(guān)系、尺寸、顏色等基本屬性。對應(yīng)于不同的指令類別，我們根據(jù)其屬性關(guān)系以及整個場景的復(fù)雜度設(shè)計了符合實際情況的指令集。存在性指令和分類性指令的大小為每個144，這部分也充分包含了實際情況下可能出現(xiàn)的場景和操作需求。

3驗證結(jié)果

我們分別單獨(dú)測試了兩種數(shù)據(jù)集的實用性，對于指示表達(dá)部分，通常的指示表達(dá)模型用預(yù)先訓(xùn)練過的CNN來提取圖像特征，利用單詞編碼和循環(huán)神經(jīng)網(wǎng)絡(luò)來獲取操作指令的特征部分，并把它們投影到一個公共的向量空間，之后在計算它們的相似度，選擇最近的候選特征框作為最終的預(yù)測結(jié)果。

我們構(gòu)建了一個類似的CNN+LSTM 的模型測試其性能，并且同樣使用了最先進(jìn)的模型測試我們的數(shù)據(jù)集，分別是利用了MAttNet、MUTATT、MCNet測試其整個性能。實驗結(jié)果如表2所示：

實驗結(jié)果表明，在最先進(jìn)的模型下，我們的操作指令數(shù)據(jù)集依然能夠在測試集和驗證集下保持可觀的準(zhǔn)確率，這為整體視聽任務(wù)提供了有效的保障。

對于音頻信號，需要提取其梅爾倒譜系數(shù)（MFCC）并把它作為送入深度學(xué)習(xí)網(wǎng)絡(luò)中的特征向量。這種預(yù)處理過程中可為整個模型提供良好的魯棒性和識別率。

利用處理好的聲音數(shù)據(jù)，我們按照4：1的比例用作訓(xùn)練集和測試集，我們實驗對比了2D卷積網(wǎng)絡(luò)（Conv2d），雙向長短期記憶網(wǎng)絡(luò)（Bi-LSTM），雙向門控循環(huán)單元（Bi-GRU）。隨著迭代次數(shù)的不斷增加，我們的準(zhǔn)確率在訓(xùn)練集和測試集上不斷提高，訓(xùn)練曲線如圖3所示。實驗結(jié)果表面在不同的模型下，聽覺數(shù)據(jù)的準(zhǔn)確率依舊能夠保持正常的水準(zhǔn)。

4總結(jié)

在本文中，我們設(shè)計了一個新的多模態(tài)數(shù)據(jù)集來展示日常生活中的任務(wù)需求。并且我們對此數(shù)據(jù)集進(jìn)行有效的分析。利用了較為先進(jìn)的指示表達(dá)模型，并進(jìn)行了實驗評價，在聽覺數(shù)據(jù)部分，我們同樣利用多個模型驗證其有效性。未來的工作包括為更多真實世界場景中的開發(fā)全自動視覺識別方法，并結(jié)合語言學(xué)和聽覺的端對端的模型。

參考文獻(xiàn)

[1]Michal Nazarczuk and Krystian Mikolajczyk. V2a-vision to action：Learning robotic arm actions based on vision and language. In Proceedings of the Asian Conference on Computer Vision，2020.

[2]任澤裕，王振超，柯尊旺，李哲，吾守爾·斯拉木.多模態(tài)數(shù)據(jù)融合綜述[J].計算機(jī)工程與應(yīng)用，2021，57（18）：49-64.

[3]張康. 基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征融合問題的研究[D].齊魯工業(yè)大學(xué)，2021.

[4]丁祥武，譚佳，王梅.一種分類數(shù)據(jù)聚類算法及其高效并行實現(xiàn)[J].計算機(jī)應(yīng)用與軟件，2017，34（07）：249-256.

[5]張值銘，楊德剛.基于多線程爬蟲和OpenCV的人臉數(shù)據(jù)集制作方法[J].現(xiàn)代信息科技，2020，4（18）：98-103.

[6]陳海燕，高原鼠兔圖像數(shù)據(jù)集制作軟件. 甘肅省，蘭州理工大學(xué)，2019-11-01.

[7]李子康. 基于視聽融合的導(dǎo)盲機(jī)器人的設(shè)計與研究[D].河北工業(yè)大學(xué)，2017.

[8]高晴晴. 基于深度學(xué)習(xí)的視聽信息融合方法研究[D].河北工業(yè)大學(xué)，2016.

[9]祁艷飛. 智能機(jī)器人雙傳感融合技術(shù)研究[D].南京理工大學(xué)，2016.

煙臺大學(xué)科技創(chuàng)新基金項目（YDYB2109）。

作者簡介：王凱麗，主研領(lǐng)域：人工智能?? 董言治，副教授。