圖像數(shù)據(jù)采集及智能識(shí)別技術(shù)研究

盧亞輝，張緯華，和飛飛，王 帥，郝錦虎，杜玉紅

（1.中國(guó)人民解放軍63966部隊(duì)，北京 100071；2.天津工業(yè)大學(xué)機(jī)械工程學(xué)院，天津 300380）

0 引言

隨著計(jì)算機(jī)技術(shù)在圖像領(lǐng)域應(yīng)用不斷深入，人工智能和大數(shù)據(jù)分析等技術(shù)被廣泛地運(yùn)用在部隊(duì)的各項(xiàng)工作中，開(kāi)展作戰(zhàn)試驗(yàn)初期，大多采用填寫(xiě)表格的方式獲取一些難以采集的數(shù)據(jù)，給參試指戰(zhàn)員帶來(lái)很多的額外工作，并且產(chǎn)生了大量謬誤數(shù)據(jù)，即使把表格電子化后效果依然不好。如何在作戰(zhàn)試驗(yàn)開(kāi)展過(guò)程中，以無(wú)感知方式獲取相關(guān)數(shù)據(jù)成為大家研究的重點(diǎn)。通過(guò)實(shí)踐，音視頻方式成為作戰(zhàn)試驗(yàn)數(shù)據(jù)采集獲取的重要技術(shù)方式。在近期的作戰(zhàn)試驗(yàn)中，各項(xiàng)目組均采取了以攝像器材為主的視頻采集手段，在不干擾作戰(zhàn)人員工作的前提下，獲取第一手的作戰(zhàn)試驗(yàn)視頻數(shù)據(jù)，因此如何對(duì)采集到的視頻數(shù)據(jù)進(jìn)行處理是推進(jìn)作戰(zhàn)試驗(yàn)工作開(kāi)展的首要任務(wù)。

國(guó)內(nèi)外對(duì)作戰(zhàn)試驗(yàn)的數(shù)據(jù)采集及圖像處理識(shí)別做了大量研究。文獻(xiàn)[1]中發(fā)現(xiàn)作戰(zhàn)試驗(yàn)視頻數(shù)據(jù)采集指標(biāo)體系尚未建立，使得視頻數(shù)據(jù)采集存在一定的盲目性，造成時(shí)間和器材的浪費(fèi)，同時(shí)產(chǎn)生大量無(wú)用視頻干擾后期視頻數(shù)據(jù)處理工作；文獻(xiàn)[2]中發(fā)現(xiàn)視頻數(shù)據(jù)預(yù)處理工作手段不足，造成人工處理時(shí)間極長(zhǎng)，視頻數(shù)據(jù)質(zhì)量無(wú)法保證，導(dǎo)致海量視頻數(shù)據(jù)事后處理困難，無(wú)法為評(píng)估工作提供有力支撐；文獻(xiàn)[3]中發(fā)現(xiàn)智能化視頻數(shù)據(jù)深入學(xué)習(xí)能力不足，對(duì)數(shù)據(jù)特征參數(shù)的處理能力達(dá)不到要求。同時(shí)由于應(yīng)用場(chǎng)景復(fù)雜多變、圖像視頻采集和分析挖掘技術(shù)的原因，嚴(yán)重制約了圖像視頻數(shù)據(jù)的利用。

本文首先從拍攝設(shè)備選型、數(shù)據(jù)采集時(shí)的注意事項(xiàng)及建議兩個(gè)方面對(duì)圖像采集進(jìn)行分析，然后對(duì)采集后圖片進(jìn)行預(yù)處理后通過(guò)YOLO 等算法對(duì)其進(jìn)行識(shí)別后歸納出識(shí)別準(zhǔn)確性與有效性，旨在解決上述相關(guān)問(wèn)題。

1 圖像采集建議

圖象數(shù)據(jù)采集時(shí)，經(jīng)常會(huì)受場(chǎng)地等自然環(huán)境的影響，由此造成圖象在收集與傳送過(guò)程中會(huì)受照射燈光不平衡、光響應(yīng)不一致和拍攝角度等各種因素的影響，使視覺(jué)圖象含有噪聲影響而造成圖象品質(zhì)變壞，從而影響圖象的的識(shí)別準(zhǔn)確度。所以可以針對(duì)上述圖片的采集流程，從清晰度、抖動(dòng)、反射、失焦和拍攝角度5 個(gè)角度，對(duì)圖片采集人員的操作過(guò)程給出相應(yīng)的采集建議[4]。

（1）清晰度

在選擇拍攝設(shè)備時(shí)，盡量選用高清的攝像機(jī)或者錄像機(jī)，拍攝比例盡量選擇16∶9 或者4∶3，所輸出的圖像像素在1 440×900 以上，這樣可以保證即使輸出圖像存在一定的失真，也不會(huì)對(duì)后續(xù)的圖像處理及相關(guān)信息識(shí)別產(chǎn)生太大影響。

（2）抖動(dòng)

拍攝時(shí)如果出現(xiàn)些許抖動(dòng)，就可能會(huì)改變待識(shí)別文字或特征點(diǎn)在視頻中的位置，從而偏離識(shí)別區(qū)，并且可能造成短暫的失焦模糊。如果有可能的話建議在拍攝過(guò)程中通過(guò)簡(jiǎn)單的輔助設(shè)備提高相機(jī)的穩(wěn)定性，如八爪魚(yú)等設(shè)備，如圖1 所示，在提高采集效率的同時(shí)也避免了采集人員長(zhǎng)時(shí)間勞累。

圖1 防抖動(dòng)設(shè)備

（3）反光

采集內(nèi)部設(shè)備時(shí)，當(dāng)座艙蓋打開(kāi)時(shí)，上方的光線會(huì)照進(jìn)座艙內(nèi)，使屏幕產(chǎn)生反光。建議關(guān)閉艙門(mén)或者利用紙板等簡(jiǎn)易工具進(jìn)行雜光遮擋，盡量減少屏幕反光。調(diào)節(jié)好攝像機(jī)的明暗反差和光照性質(zhì)，可以合理運(yùn)用硬光、柔光，硬光有強(qiáng)的光，在高光端很明亮，暗部層次很少，邊條比較清晰明朗，顏色也有很大的濃度。而柔光則能夠讓主體背后的陰影更加柔和，當(dāng)物體上的照度相對(duì)較低時(shí)，其顏色的強(qiáng)度就會(huì)比較微弱。所以合理運(yùn)用燈光，也可以獲得良好的效果。

（4）失焦

在已掌握的某些視頻資料中發(fā)現(xiàn)，有些視頻會(huì)在某時(shí)刻突然失焦，相機(jī)具備自動(dòng)對(duì)焦功能，會(huì)自動(dòng)重新使畫(huà)面清晰，但失焦期間采集的圖像會(huì)識(shí)別失敗，有可能影響某些指標(biāo)的統(tǒng)計(jì)。建議在進(jìn)行拍攝過(guò)程時(shí)要做好調(diào)焦工作。

（5）拍攝角度

建議盡量可以包含某些設(shè)備的屏幕邊緣，這樣不僅可以確保畫(huà)面不缺失，有多余的部分還可通過(guò)剪輯去除掉[5]。軟件可以根據(jù)邊框建立相關(guān)坐標(biāo)系，如圖2 所示，對(duì)圖像進(jìn)行預(yù)處理，矯正相關(guān)畫(huà)面，從而提高圖像識(shí)別穩(wěn)定性。

圖2 拍攝屏幕邊緣

2 圖像采集硬件

當(dāng)前部隊(duì)上用于圖像采集的攝像器材以攝像機(jī)為主，輔助以照相機(jī)，相機(jī)是指獲取圖像的前端采集設(shè)備，也是圖像采集的關(guān)鍵硬件之一，采集圖像的質(zhì)量?jī)?yōu)劣會(huì)對(duì)圖像處理的速度有很大影響。

相機(jī)根據(jù)應(yīng)用途徑可分為民用相機(jī)和工業(yè)相機(jī)兩種，工業(yè)相機(jī)的主要參數(shù)包括傳感器類(lèi)型、最大幀率、觸發(fā)方式、分辨率、像素深度和數(shù)據(jù)接口等，圖像質(zhì)量好、噪聲較小、感光較好[6]。民用相機(jī)的圖像傳感器采用隔行掃描，攜帶方便，操作簡(jiǎn)單。相機(jī)根據(jù)掃描方式可分為面陣相機(jī)和線陣相機(jī)。前者以平面為單位獲取圖像，可以一次采集完整的圖像信息，易于調(diào)節(jié)、成本低；而后者每次曝光一行圖像，然后拼接形成整個(gè)圖像，調(diào)節(jié)相對(duì)復(fù)雜，成本較高。另一方面，分析對(duì)比黑白相機(jī)與彩色相機(jī)，在同樣的條件下，黑白相機(jī)具有更高的精度，圖像邊緣的采集效果更好，可以直接處理黑白相機(jī)獲取的灰度信息。分辨率是相機(jī)的最基本參數(shù)，是指相機(jī)每次獲取圖像的像素?cái)?shù)，根據(jù)目標(biāo)所需精度與視野范圍可求出相機(jī)單方向分辨率。分辨率和像素深度共同決定了圖像的大小，其中像素深度越高，采集到的圖像質(zhì)量就越高，但是也降低了采集的速度，增加圖像處理的數(shù)據(jù)量，同時(shí)成本也會(huì)提高。

（1）民用相機(jī)

索尼Alpha 7R IV 相機(jī)，如圖3 所示。采用新的背照式影像傳感器，背照式結(jié)構(gòu)與出色降噪技術(shù)相結(jié)合，可提供高感光低噪點(diǎn)的優(yōu)異影像畫(huà)質(zhì)[7]，鏡頭更加牢固的同時(shí)提升了舒適性和穩(wěn)定性。

圖3 Alpha 7R IV相機(jī)

佳能EOS R6 相機(jī)，如圖4所示。自動(dòng)對(duì)焦的范圍最大可以達(dá)到100%×100%全屏對(duì)焦，約0.05 s的自動(dòng)對(duì)焦速度。EOS R6還搭載了機(jī)身防抖，實(shí)現(xiàn)了機(jī)身防抖和鏡頭防抖的協(xié)同工作。

圖4 EOS R6 相機(jī)

（2）工業(yè)相機(jī)

?？礛V-CE200-10GM/GC 工業(yè)相機(jī)，如圖5 所示。這款是2000 萬(wàn)像素的工業(yè)面陣相機(jī)，具有噪點(diǎn)低、分辨率高、圖像優(yōu)異及性?xún)r(jià)比高等特點(diǎn)，可無(wú)縫鏈接第三方軟件。

圖5 MV-CE200-10GM/GC工業(yè)相機(jī)

大恒圖像LA-CC-04K05B 工業(yè)相機(jī)，如圖6 所示。采用基于先進(jìn)的雙線彩色CMOS 技術(shù)，有出色的靈敏度和速度，可以滿(mǎn)足各種領(lǐng)域不同的需求。

圖6 LA-CC-04K05B工業(yè)相機(jī)

3 圖像預(yù)處理技術(shù)

圖像預(yù)處理是為了提高圖像識(shí)別的準(zhǔn)確度而對(duì)圖片上模糊信息進(jìn)行處理的一個(gè)步驟。本文根據(jù)部隊(duì)對(duì)拍攝圖像的處理需求，對(duì)常見(jiàn)的圖像預(yù)處理操作按照功能和需求分為了5種，如圖7所示。

圖7 圖像預(yù)處理操作

（1）圖像轉(zhuǎn)化

由于拍攝角度等技術(shù)的問(wèn)題，可能會(huì)使得上傳的圖片傾斜，導(dǎo)致掃描的圖像位置不正，因此需對(duì)其進(jìn)行放縮、旋轉(zhuǎn)、平移等校正工作，為便于后續(xù)預(yù)處理操作，還需將其進(jìn)行歸一化，常見(jiàn)的有Hough 變換等方法。

（2）圖像二值化

二值化又被稱(chēng)作灰度分割，將圖像的灰度分為0和1 兩種值。設(shè)定一個(gè)函數(shù)g（m，n），表示某一個(gè)像素點(diǎn)（m，n）的灰度值，則有g(shù)（m，n）∈{0 ,1,…,255}，gx（m，n）∈{ 0,1}，二值化過(guò)程如下：

圖像二值化的流程如圖8所示。

圖8 二值化流程

（3）圖像平滑去噪

圖像平滑的目的之一是消除噪聲，二是模糊圖像，降噪和平滑濾波操作可以將二值化處理后所存在的噪音和線條邊緣毛刺進(jìn)行消除。圖像平滑去噪的流程如圖9所示。

圖9 平滑去噪流程

（4）圖像分割

圖像分割指將圖像的某些感興趣的特征區(qū)域分割提取的技術(shù)，分割的目的是把圖像分成一塊一塊的區(qū)域，是基于像素特性的分布，通過(guò)閾值處理完成的[9]。

傳統(tǒng)的圖像分割技術(shù)分為全局分割和區(qū)域分割。其中全局分割又稱(chēng)為閾值分割，分為全局閾值法、迭代式閾值分割和直方圖闕值分割等；區(qū)域分割技術(shù)主要包括區(qū)域生長(zhǎng)法和分水嶺分割法[8]。如今，基于深度學(xué)習(xí)的圖像分割技術(shù)正在逐漸廣泛使用中，基于YOLO 算法的圖像分割技術(shù)，不僅提升了圖像分割速度，而且精度也能夠滿(mǎn)足要求，因此得到了廣泛的使用。

為了將目標(biāo)從背景當(dāng)中分離出來(lái)，減少背景對(duì)目標(biāo)的干擾，提升檢測(cè)速度，實(shí)現(xiàn)更好的目標(biāo)識(shí)別效果，首先將卷積核在圖像上滑動(dòng)，把圖像每個(gè)像素點(diǎn)的灰度值與卷上的數(shù)值相乘，再將所有的數(shù)值相加得到最終的圖像像素灰度值。然后確定池化區(qū)域的大小，將得到的卷積特征分割成多個(gè)區(qū)域，然后用這些區(qū)域的池化特征來(lái)確定池化之后的卷積特征。

最后對(duì)每個(gè)cell分別進(jìn)行預(yù)測(cè)，其中，每個(gè)cell對(duì)應(yīng)兩個(gè)boundingbox，兩個(gè)boundingbox負(fù)責(zé)坐標(biāo)的預(yù)測(cè)。根據(jù)預(yù)測(cè)到的坐標(biāo)便可將目標(biāo)從背景中分離出來(lái)。

（5）圖像邊緣檢測(cè)

在目標(biāo)檢測(cè)過(guò)程中，要對(duì)目標(biāo)邊緣進(jìn)行檢測(cè)，確定目標(biāo)在圖像中的位置，為下一步目標(biāo)的識(shí)別做好準(zhǔn)備，傳統(tǒng)的圖像邊緣檢測(cè)需要對(duì)圖像的每個(gè)像素點(diǎn)均進(jìn)行檢測(cè)，增加了邊緣檢測(cè)的時(shí)間。而如果將圖像進(jìn)行分塊處理，對(duì)每塊區(qū)域分別進(jìn)行檢測(cè)，可大大減少邊緣檢測(cè)的時(shí)間[9-10]。

圖10 所示為480×640 像素的圖像，將其分為32×32的若干個(gè)子塊，然后對(duì)每個(gè)子塊分別進(jìn)行檢測(cè)。

圖10 分塊后的圖像示意圖

公式為：

首先對(duì)子塊的左側(cè)、右側(cè)、左下和右下4 個(gè)頂點(diǎn)灰度值代入式（2）進(jìn)行判斷，如果判斷結(jié)果為真，說(shuō)明4個(gè)頂點(diǎn)至少存在一個(gè)像素點(diǎn)包含目標(biāo)區(qū)域。然后對(duì)每個(gè)子塊分別進(jìn)行上述操作，并將包含目標(biāo)區(qū)域的子塊進(jìn)行標(biāo)記，并得到每個(gè)子塊坐標(biāo)。隨后根據(jù)包含目標(biāo)區(qū)域子塊坐標(biāo)，便能得到包含目標(biāo)區(qū)域的最小矩形范圍。最后將最小矩形范圍內(nèi)的每個(gè)邊緣塊進(jìn)行邊緣檢測(cè)，就能得到目標(biāo)的邊緣。

4 圖像識(shí)別算法

4.1 YOLO算法

YOLO 算法識(shí)別模型在訓(xùn)練時(shí)需要將圖片進(jìn)行劃框分塊后得到每個(gè)模塊的內(nèi)容及中心坐標(biāo)，并求出長(zhǎng)和寬。

圖11 YOLO算法模型流程

依此將輸入的預(yù)處理后的坦克圖像縮放為標(biāo)準(zhǔn)尺寸的正方形圖片，分割成M×M的網(wǎng)格后在網(wǎng)格中隨機(jī)生成邊界框，其置信度函數(shù)公式為：

式中：P(Ci｜O)為網(wǎng)格中的目標(biāo)所屬目標(biāo)類(lèi)別i的概率；P（O）是判斷網(wǎng)格中有無(wú)目標(biāo)出現(xiàn)；RIOU為邊界框和標(biāo)記框的預(yù)測(cè)交叉比值。

模型的損失函數(shù)為：

該算法將目標(biāo)分類(lèi)和目標(biāo)定位兩個(gè)問(wèn)題合成一種方法，利用分類(lèi)框和檢測(cè)框來(lái)實(shí)現(xiàn)模型的識(shí)別，提高算法效率的同時(shí)也能識(shí)別圖像的所有內(nèi)容。

4.2 SSD算法

這是一種通過(guò)回歸網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)端到端的識(shí)別算法模型[11-12]，結(jié)構(gòu)模型如圖12所示。

圖12 SSD算法模型流程

首先根據(jù)圖像特征生成不同大小，不同尺度的特征圖，對(duì)特征圖上的點(diǎn)進(jìn)行抓取，抓取的參數(shù)設(shè)置為最小尺度值0.2，最大尺度值0.9，特征抓取盒為5 種，設(shè)有n個(gè)特征圖：

根據(jù)坐標(biāo)點(diǎn)來(lái)抓取特征，模型的損失函數(shù)為：

訓(xùn)練完畢后通過(guò)不同尺度特征對(duì)提取的深層圖像特征進(jìn)行識(shí)別和預(yù)測(cè)，并去除冗余檢測(cè)框得到結(jié)果，這一模型加入了區(qū)域建議的步驟，保證識(shí)別準(zhǔn)確性的同時(shí)提高了預(yù)測(cè)準(zhǔn)確性。

5 實(shí)驗(yàn)結(jié)果

5.1 預(yù)處理結(jié)果

本文采用佳能EOS R6 相機(jī)獲取了一張彩色的坦克車(chē)圖片，首先對(duì)其進(jìn)行二值化處理，將彩色圖片變成灰白圖片后，然后利用3 種算子（Roberts 算子、Prewitt 算子和Sobel 算子）分別對(duì)其進(jìn)行邊緣檢測(cè)和形狀提取后，將結(jié)果進(jìn)行對(duì)比進(jìn)行輸出，這一過(guò)程的部分代碼如下：

運(yùn)行結(jié)果如圖13所示。

圖13 圖像預(yù)處理結(jié)果

5.2 識(shí)別結(jié)果

本文利用佳能EOS R6 相機(jī)獲取了一張?zhí)箍藞D片，對(duì)坦克圖片進(jìn)行遮擋后進(jìn)行識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖14所示?？梢钥吹疆?dāng)坦克上半部分被遮擋時(shí)，識(shí)別準(zhǔn)確率大約在68%，下半部分被遮擋時(shí)，識(shí)別準(zhǔn)確率大約在87%，證明坦克的上半部分包含信息要比下半部分多，經(jīng)過(guò)不斷訓(xùn)練后識(shí)別準(zhǔn)確率也提升了大約15%。

圖14 圖像識(shí)別結(jié)果

對(duì)于本文所提的YOLO 算法和SSD 算法，利用數(shù)據(jù)集中隨機(jī)的100張圖片進(jìn)行實(shí)驗(yàn)后可得到如表1所示的實(shí)驗(yàn)結(jié)果。從表中可以看出兩種算法的識(shí)別準(zhǔn)確率均達(dá)到了90%以上，證明了深度學(xué)習(xí)在圖像分類(lèi)和識(shí)別上的優(yōu)越性。兩種算法的識(shí)別效果非常接近，但YOLO 算法在每一項(xiàng)上均略高于SSD 算法，因此建議采用YOLO 算法進(jìn)行后續(xù)的改進(jìn)與操作。

表1 算法識(shí)別結(jié)果

6 結(jié)束語(yǔ)

本文針對(duì)于當(dāng)前部隊(duì)上所面臨的視頻采集問(wèn)題，通過(guò)分析視頻采集硬件并選型，提出采集指導(dǎo)建議來(lái)為后續(xù)的數(shù)據(jù)采集準(zhǔn)確性提供保證。針對(duì)于采集的圖像數(shù)據(jù)處理盲目性，提出從圖像二值化、邊緣檢測(cè)、圖像分割等5 個(gè)方面來(lái)對(duì)其進(jìn)行預(yù)處理，為圖像識(shí)別打下堅(jiān)實(shí)的基礎(chǔ)，最后通過(guò)YOLO 算法模型和SSD 算法模型對(duì)其進(jìn)行驗(yàn)證，達(dá)到圖像識(shí)別的目的。當(dāng)前從數(shù)據(jù)從采集到處理均是由人工完成的，因此可以將本文的內(nèi)容和人工工作結(jié)合，將這一過(guò)程智能化，通過(guò)設(shè)計(jì)和開(kāi)發(fā)系統(tǒng)軟件的方式來(lái)實(shí)現(xiàn)電腦的智能采集處理和識(shí)別，提高工作效率。