基于螳螂眼算法無(wú)人礦車圖像處理系統(tǒng)研究

楊 會(huì)

(宿遷學(xué)院 信息工程學(xué)院，江蘇 宿遷 223800)

基于螳螂眼算法無(wú)人礦車圖像處理系統(tǒng)研究

楊 會(huì)

(宿遷學(xué)院 信息工程學(xué)院，江蘇 宿遷 223800)

為了提高礦下惡劣環(huán)境中無(wú)人車圖像處理的時(shí)效性和準(zhǔn)確性，設(shè)計(jì)了一種基于螳螂眼算法的圖像處理系統(tǒng)。采用專用數(shù)字圖像處理芯片CV220x作為無(wú)人礦車圖像處理系統(tǒng)的核心處理器，并運(yùn)用基于螳螂眼算法擴(kuò)展的邊緣檢測(cè)技術(shù)、圖像形態(tài)運(yùn)算以及神經(jīng)元學(xué)習(xí)算法對(duì)礦下拍攝的視頻流進(jìn)行實(shí)時(shí)、高效的處理。最后通過(guò)MATLAB對(duì)算法進(jìn)行仿真，并以礦下實(shí)時(shí)拍攝的視頻數(shù)據(jù)為實(shí)驗(yàn)對(duì)象，實(shí)驗(yàn)結(jié)果表明此算法適用于礦下無(wú)人車安全運(yùn)行所需的固件控制模塊，能夠?qū)嚽叭藛T進(jìn)行明確的檢測(cè)并及時(shí)做出安全警報(bào)。

無(wú)人礦車；圖像處理；螳螂眼算法

0 引言

中國(guó)工業(yè)界高危操作的存在導(dǎo)致對(duì)無(wú)人機(jī)的需求增加，其中礦下作業(yè)事故頻發(fā)引起了人們?cè)絹?lái)越多的關(guān)注，為了解決礦下作業(yè)由礦車引起的人員死傷問(wèn)題，國(guó)內(nèi)很多煤礦企業(yè)把礦車改造成無(wú)人礦車，減少了人員的使用也就減少了危險(xiǎn)性。但是亟需解決的關(guān)鍵問(wèn)題就是對(duì)于惡劣礦下環(huán)境中無(wú)人車圖像處理的時(shí)效性和準(zhǔn)確性[1-2]，具體來(lái)講是對(duì)硬件上圖像處理芯片的處理速度的需求以及軟件上圖像處理算法是否可以與之高效匹配的問(wèn)題。

當(dāng)前的無(wú)人機(jī)圖像處理大多采用嵌入式DSP處理器[3-4]、嵌入式微處理器ARM[5]等來(lái)實(shí)現(xiàn)高速數(shù)字圖像處理?；谶@些普通的圖像處理芯片處理速度和效率的限定，與之相應(yīng)的圖像處理算法也得到了相當(dāng)大的限制，因此只能以優(yōu)化算法的方法來(lái)提高圖像處理的效率和質(zhì)量[6]。已有研究中有采用整數(shù)小波變換(IWT)和改進(jìn) SPIHT 的圖像壓縮編碼、級(jí)聯(lián)格狀編碼和正交頻分復(fù)用調(diào)制(OFDM)的方案來(lái)實(shí)現(xiàn)無(wú)人機(jī)載圖像的實(shí)時(shí)傳輸[7]；也有基于 SIFT 算法對(duì)無(wú)人機(jī)影像進(jìn)行特征點(diǎn)的提取，并采用最小二乘算法對(duì)影像進(jìn)行精準(zhǔn)匹配[8-9]等。但是這種優(yōu)化對(duì)圖像處理效率來(lái)說(shuō)只是從某種程度上有所改善。

因而這雙重限制導(dǎo)致現(xiàn)有圖像處理固件很難做到對(duì)實(shí)時(shí)視頻流的準(zhǔn)確信息分析，而本文中所描述的基于螳螂眼算法的無(wú)人礦車圖像處理系統(tǒng)就解決了這一問(wèn)題。本文首先介紹了基于螳螂眼算法的無(wú)人車圖像處理系統(tǒng)的設(shè)計(jì)原理，然后分析了本系統(tǒng)中運(yùn)用的相關(guān)算法并對(duì)這些算法進(jìn)行優(yōu)化，最后通過(guò)MATLAB對(duì)以上算法進(jìn)行仿真，實(shí)現(xiàn)了對(duì)實(shí)時(shí)的礦下拍攝的視頻數(shù)據(jù)分幀解析、背景切割、彩色圖像分割、神經(jīng)元學(xué)習(xí)算法訓(xùn)練等。

1 無(wú)人礦車圖像處理系統(tǒng)設(shè)計(jì)

無(wú)人礦車圖像處理系統(tǒng)原理框圖如圖1所示。系統(tǒng)通過(guò)攝像頭檢測(cè)礦工身上穿著的反光背心的反光條，拍攝到的視頻流數(shù)據(jù)經(jīng)過(guò)傳感器接口輸入到圖像處理芯片內(nèi)部，經(jīng)過(guò)內(nèi)部的視頻/圖像處理單元進(jìn)行圖像處理，處理數(shù)據(jù)存儲(chǔ)到相應(yīng)的數(shù)據(jù)存儲(chǔ)單元；另一方面利用激光測(cè)距傳感器檢測(cè)曠工與無(wú)人車之間的距離，距離數(shù)據(jù)通過(guò)UART接口輸入到圖像處理芯片內(nèi)部，經(jīng)過(guò)ARM處理器處理后，將該數(shù)據(jù)傳給視頻/圖像處理單元。該圖像處理單元集成有ARM96內(nèi)核處理器，并且可以嵌入基于螳螂眼算法擴(kuò)展的相關(guān)算法，比如利用神經(jīng)元學(xué)習(xí)算法對(duì)反光條的大小與所對(duì)應(yīng)的礦車與人距離的比例尺進(jìn)行學(xué)習(xí)，另外當(dāng)距離小于安全距離時(shí)通知ARM處理器給出控制信號(hào)。該控制信號(hào)一方面控制報(bào)警器報(bào)警以警示前方的曠工進(jìn)行躲避，另一方面給無(wú)人機(jī)的運(yùn)動(dòng)控制器發(fā)送規(guī)避信號(hào)進(jìn)行障礙物的規(guī)避。

圖1 無(wú)人礦車圖像處理系統(tǒng)原理圖

本系統(tǒng)采用Cognivue公司的CV220x圖像處理芯片，該芯片集成了兩個(gè)ARM96 核處理器，使用單指令多數(shù)據(jù)的并行處理，使得圖像處理能夠達(dá)到非?？斓奶幚硭俣?。這款芯片的優(yōu)勢(shì)是對(duì)視頻流信息的及時(shí)高效處理，而能將它的優(yōu)勢(shì)發(fā)揮到很高水準(zhǔn)的就是本文算法中選取的螳螂眼算法。

螳螂眼算法是仿照螳螂眼的工作原理，螳螂有一對(duì)復(fù)眼和三只單眼，根據(jù)兩種眼睛的不同特性，螳螂眼算法也有兩個(gè)不同特性的部分。螳螂的復(fù)眼所進(jìn)行的是圖像分割并行處理工作，眼睛提取到的信息是傳輸?shù)酱竽X進(jìn)行信息處理的，而螳螂的單眼進(jìn)行的是圖像分幀對(duì)比工作，圖像信息直接提交到腿部神經(jīng)進(jìn)行處理，因此螳螂單眼一旦捕捉到物體的變化，腿部神經(jīng)就會(huì)直接帶動(dòng)螳螂跳離危險(xiǎn)區(qū)域，遠(yuǎn)比大腦反應(yīng)速度要快。

螳螂單眼每秒處理30幀圖像，圖像變化的計(jì)算是通過(guò)計(jì)算幀與幀之間的最小方差獲得的。運(yùn)算方程如下：

(1)

式中m是指圖像幀數(shù)，i的取值是1，2，3，…m。

當(dāng)螳螂單眼捕捉到在5幀內(nèi)有10個(gè)及以上像素點(diǎn)發(fā)生了變化，就說(shuō)明目標(biāo)物體進(jìn)行了移動(dòng)。

2 無(wú)人礦車圖像處理算法

本系統(tǒng)采用與圖像處理芯片完全匹配的基于螳螂眼算法擴(kuò)展的邊緣檢測(cè)技術(shù)、圖像形態(tài)運(yùn)算以及神經(jīng)元學(xué)習(xí)算法等。算法處理流程如圖2所示。

圖2 算法處理流程圖

首先對(duì)攝像頭錄入的視頻進(jìn)行分幀解析處理，然后利用Sobel算子對(duì)圖像進(jìn)行邊緣檢測(cè)，計(jì)算其動(dòng)心、亮心以及中心并對(duì)圖像進(jìn)行初步背景切割；在初步處理后的幀中選取模板幀和測(cè)試幀，分別對(duì)模板幀和測(cè)試幀利用基于HSV模型的彩色圖像分割、腐蝕、膨脹等處理方法進(jìn)行進(jìn)一步識(shí)別；在此基礎(chǔ)上采用基于B-P模型的神經(jīng)元學(xué)習(xí)算法對(duì)模板幀進(jìn)行學(xué)習(xí)，生成學(xué)習(xí)結(jié)果，用學(xué)習(xí)結(jié)果對(duì)測(cè)試幀進(jìn)行安全距離判定，最后生成判定結(jié)果。

2.1 Sobel邊緣檢測(cè)算法

該算子是由兩個(gè)卷積核g1(x,y)與g2(x,y)對(duì)原圖像f(x,y)進(jìn)行卷積運(yùn)算而得到的。其數(shù)學(xué)表達(dá)式為：

(2)

實(shí)際上Sobel邊緣算子所采用的算法是先進(jìn)行加權(quán)平均，然后進(jìn)行微分運(yùn)算，此處可以用差分代替一階偏導(dǎo)，算子的計(jì)算方法如下：

(3)

Sobel算子垂直方向和水平方向的模板如圖3所示，圖3(a)可以檢測(cè)出圖像中的水平方向的邊緣，圖3(b)則可以檢測(cè)圖像中垂直方向的邊緣[10]。

圖3 Sobel算子模板

實(shí)際應(yīng)用中，圖像中的每一個(gè)像素點(diǎn)都用這兩個(gè)卷積核進(jìn)行卷積運(yùn)算，取其最大值作為輸出。

2.2基于HSV模型的彩色圖像分割

HSV模型是用于描述顏色的一種色彩空間模型，如圖4所示，類似的還有 RGB、HIS、HSB 模型，而相比之下，HSV 更加接近于人類感知色彩的方式。在該模型中，顏色的參數(shù)分別是色相(H)、色彩飽和度(S)和色彩灰度(V)。

圖4 HSV色彩空間模型

H(hue)是色相，用于表示色彩的基本色調(diào)，在HSV色彩空間模型中，H表現(xiàn)為 360°的圓周，紅色為 0°；S(saturation)是色彩飽和度，用于表示色彩的濃淡，在HSV 色彩空間模型中，S 表現(xiàn)為橫向的百分比，飽和度最低(白色)為0%，飽和度最高為100%；V(value)是指色彩灰度，在 HSV 色彩空間模型中，V 表現(xiàn)為縱向的百分比，灰度最低(黑色)為0%，灰度最高為100%[11]。

2.3基于B-P模型的神經(jīng)元學(xué)習(xí)算法

B-P模型是一種利用誤差反向傳播訓(xùn)練算法的前饋神經(jīng)網(wǎng)絡(luò)模型，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，該網(wǎng)絡(luò)模型包含3個(gè)神經(jīng)元層：輸入層、隱含層和輸出層，是一種含有隱含層的多層前饋網(wǎng)絡(luò)[12]。

該神經(jīng)元學(xué)習(xí)算法需要利用輸入和輸出樣本集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，也就是對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn)行學(xué)習(xí)和修正，以使網(wǎng)絡(luò)的給定輸入和輸出實(shí)現(xiàn)預(yù)期響應(yīng)的關(guān)系。學(xué)習(xí)分為兩個(gè)階段：

第一個(gè)階段是把已知的學(xué)習(xí)樣本輸入，借助設(shè)計(jì)好的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和偏差，從網(wǎng)絡(luò)的首層開始逐層向后計(jì)算各神經(jīng)元的輸出。

第二個(gè)階段是修改權(quán)值和偏差，從尾層開始逐層向前計(jì)算每個(gè)權(quán)值和偏差對(duì)總誤差的梯度，據(jù)此修改各個(gè)權(quán)值和偏差。

以上兩個(gè)過(guò)程循環(huán)進(jìn)行，直到誤差達(dá)到要求為止。B-P算法的基本原理是梯度最速下降法，即通過(guò)調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小?；贐-P模型的神經(jīng)元學(xué)習(xí)算法的具體流程如圖5所示。

圖5 基于B-P模型的神經(jīng)元學(xué)習(xí)算法流程圖

3 仿真結(jié)果及分析

本文主要通過(guò)MATLAB編程處理圖像并模擬安全距離判定過(guò)程來(lái)驗(yàn)證礦下無(wú)人車圖像處理算法的可行性。

3.1視頻流的分幀以及初步背景切割

對(duì)采集到的視頻流進(jìn)行分幀處理，同時(shí)用Sobel 算子以及中心分析對(duì)圖像進(jìn)行切割。首先讀入一個(gè)視頻流，對(duì)視頻流計(jì)算大小，一幀一幀地進(jìn)行Sobel算子處理，然后對(duì)每幀進(jìn)行中心計(jì)算，在動(dòng)心、亮心以及中心的基礎(chǔ)上去除背景，最后輸出處理過(guò)的每一幀。

本文通過(guò)在MATLAB中編寫相關(guān)算法的代碼來(lái)進(jìn)行測(cè)試，獲得的仿真結(jié)果如圖6所示。

圖6 初步背景切割圖

圖6(a)為每一幀的原始圖像。圖6(b)為進(jìn)行 Sobel 算子處理前的已進(jìn)行灰度處理過(guò)的灰度圖像。圖6(c)為灰度圖像經(jīng)梯度邊緣算子Sobel濾波，并計(jì)算標(biāo)明動(dòng)心、亮心以及中心的梯度值圖像，動(dòng)心是攝像機(jī)的鏡頭中心，亮心是圖中高亮處的中心，中心是指檢測(cè)物體的中心。圖6(d)是根據(jù)三心進(jìn)行背景切割后的圖像，從圖中可以

圖7 基于HSV模型色彩圖片處理算法的運(yùn)行結(jié)果圖

看出成功濾除了背景雜音。

3.2基于HSV模型彩色圖像分割算法實(shí)現(xiàn)

首先定義 H、S、V數(shù)值存儲(chǔ)空間，對(duì)應(yīng)背心反光條進(jìn)行 HSV 的值范圍限定，并在這些限定值內(nèi)進(jìn)行像素點(diǎn)掃描對(duì)準(zhǔn)，最后點(diǎn)亮在取值范圍內(nèi)的像素點(diǎn)。圖像處理結(jié)果如圖7所示。

HSV模型在MATLAB 中的取值范圍與一般認(rèn)為的取值范圍有所不同，所以在限定范圍時(shí)需要特別注意。處理結(jié)果的邊上還有些細(xì)小的像素點(diǎn)，那是沒(méi)能處理掉的噪音，后面會(huì)進(jìn)行降噪處理。

3.3圖像形態(tài)運(yùn)算算法實(shí)現(xiàn)

直接調(diào)用MATLAB中常用的算法對(duì)圖像進(jìn)行降噪等處理，然后框出最終的識(shí)別目標(biāo)。對(duì)上述經(jīng)彩色圖像分割處理后的圖像進(jìn)行開操作、腐蝕、膨脹等圖像形態(tài)運(yùn)算處理，處理過(guò)程如圖8所示。

圖9 識(shí)別的圖像切塊

圖8 圖像形態(tài)運(yùn)算處理過(guò)程

首先對(duì)在 HSV 模型基礎(chǔ)上切割點(diǎn)亮的圖像進(jìn)行像素點(diǎn)補(bǔ)全操作，這是為了保證圖像的完整性和連續(xù)性，然后進(jìn)行開操作、腐蝕操作、膨脹操作，最后給出識(shí)別目標(biāo)的邊界，框選出目標(biāo)圖像。圖9是框選出的目標(biāo)圖像，從圖中可以看出算法成功地捕捉到了曠工身上穿著的反光背心的反光條。

3.4神經(jīng)元學(xué)習(xí)算法的實(shí)現(xiàn)

首先從經(jīng)過(guò)初步背景切割的視頻幀中選出模板幀和測(cè)試幀。選取20組清晰可行的幀作為神經(jīng)元學(xué)習(xí)的模板幀，并選取20組幀作為測(cè)試幀，以便對(duì)訓(xùn)練過(guò)的神經(jīng)元進(jìn)行測(cè)試。模板幀需要選取兩個(gè)相似的為一組，這樣能使神經(jīng)元學(xué)習(xí)更加精確，測(cè)試幀沒(méi)有選取標(biāo)準(zhǔn)。

接下來(lái)需要先定義訓(xùn)練數(shù)據(jù)量并對(duì)訓(xùn)練樣本圖像命名，從模板幀目錄讀入訓(xùn)練樣本圖像，然后用上述HSV 模型彩色圖像切割算法、開運(yùn)算、腐蝕算法以及膨脹算法對(duì)圖像進(jìn)行處理，再根據(jù) HSV 模型為基礎(chǔ)的直方圖進(jìn)行神經(jīng)元訓(xùn)練，最后根據(jù)訓(xùn)練結(jié)果對(duì)測(cè)試組進(jìn)行對(duì)比識(shí)別，對(duì)對(duì)比結(jié)果進(jìn)行分析，并指出安全系數(shù)(危險(xiǎn)、警示、安全)。

對(duì)神經(jīng)元學(xué)習(xí)算法編寫MATLAB代碼并進(jìn)行仿真，在訓(xùn)練成功以后對(duì)測(cè)試幀進(jìn)行測(cè)試，得到結(jié)果如表1所示。其中R表示危險(xiǎn)，Y表示警示，G表示安全，從中可以看出不同序號(hào)的測(cè)試幀其安全系數(shù)不同。

表1 神經(jīng)元學(xué)習(xí)算法訓(xùn)練結(jié)果

4 結(jié)論

本文設(shè)計(jì)的礦下無(wú)人車圖像處理系統(tǒng)，硬件上使用了

國(guó)內(nèi)外最先進(jìn)的專用數(shù)字圖像處理芯片CV220x，軟件上運(yùn)用螳螂眼算法對(duì)Sobel邊緣檢測(cè)算法、圖像形態(tài)運(yùn)算算法以及神經(jīng)元學(xué)習(xí)算法等進(jìn)行了優(yōu)化，實(shí)現(xiàn)了惡劣環(huán)境中視頻數(shù)據(jù)的實(shí)時(shí)、高效處理。運(yùn)用MATLAB進(jìn)行算法的仿真，實(shí)驗(yàn)結(jié)果表明該算法有較好的精度和較快的識(shí)別速度。從而也表明該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)無(wú)人機(jī)前方工作人員警示的作用，保障礦下無(wú)人機(jī)安全運(yùn)行。

[1] 曹清梅. 基于WSN的金屬礦井礦車定位及安全監(jiān)測(cè)系統(tǒng)研究[D]. 贛州：江西理工大學(xué), 2015.

[2] 楊臣. 金屬礦山中無(wú)人駕駛礦車控制系統(tǒng)的研究[D]. 昆明：昆明理工大學(xué), 2012.

[3] 劉天奇. 無(wú)人機(jī)視覺(jué)穩(wěn)定避障系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京：北京工業(yè)大學(xué), 2015.

[4] 魯劍鋒. 無(wú)人機(jī)光電載荷圖像處理器的設(shè)計(jì)[J]. 中國(guó)光學(xué), 2011, 4(5):448-452.

[5] 陸興華. 基于嵌入式的無(wú)人機(jī)勘察系統(tǒng)設(shè)計(jì)[J]. 電子設(shè)計(jì)工程, 2015(24):170-172.

[6] 尹珠,黃友銳,陳珍萍.煤礦井下壓縮感知圖像處理算法[J].工礦自動(dòng)化,2016,42(11):38-41.

[7] 劉榮科, 張曉林. 無(wú)人機(jī)載圖像實(shí)時(shí)傳輸方案的研究[J]. 北京航空航天大學(xué)學(xué)報(bào), 2002, 28(2):208-212.

[8] 趙啟兵, 王養(yǎng)柱, 胡永浩. 基于改進(jìn)SIFT算法的無(wú)人機(jī)遙感影像匹配[J]. 電光與控制, 2012, 19(3):36-39.

[9] 索效榮, 齊苑辰. 基于SIFT算法的無(wú)人機(jī)航空遙感影像匹配[J]. 測(cè)繪科學(xué), 2012, 37(1):92-94,106.

[10] 鄭英娟. 基于八方向Sobel算子的邊緣檢測(cè)算法研究[D]. 石家莊：河北師范大學(xué), 2014.

[11] 郭楠.彩色圖像分割技術(shù)在農(nóng)作物測(cè)量系統(tǒng)中的應(yīng)用[D]. 北京：首都師范大學(xué), 2005.

[12] 孫慧穎, 林中鵬, 黃燦,等. 基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的礦用通風(fēng)機(jī)故障診斷[J]. 工礦自動(dòng)化,2017,43(4):37-41.

Research on unmanned mine car image processing system based on algorithm of mantis eyes

Yang Hui

(Institute of Information Engineering, Suqian College, Suqian 223800, China)

In order to improve the timeliness and accuracy of the unmanned mine car image processing under the bad environment, an image processing system based on mantis eyes algorithm is designed. Using digital image processing dedicated chip CV220x as the core processor of the unmanned mine car image processing system, and applying edge detection technology, image morphology operation and neuron learning algorithm extended by mantis eyes algorithm, this image processing system can process video streaming from the mine real-timely and efficiently. At last, simulating the algorithm by MATLAB and using the real-time video streaming data from the mine as experimental object. The experimental result verifies that the algorithm is suitable for the firmware control module of the unmanned mine car and can carry on the test to the front of personnel and make security alert in a timely manner.

unmanned mine car; image processing; mantis eyes algorithm

TP75

：A

10.19358/j.issn.1674- 7720.2017.17.027

楊會(huì).基于螳螂眼算法無(wú)人礦車圖像處理系統(tǒng)研究[J].微型機(jī)與應(yīng)用，2017,36(17)：92-95.

2017-04-07)

楊會(huì)(1989-)，女，助理實(shí)驗(yàn)師，碩士，主要研究方向：動(dòng)態(tài)測(cè)試與智能儀器。