礦用電纜卷放車智能追蹤系統(tǒng)設(shè)計(jì)

唐曉騫，陳偉華

(1.神華準(zhǔn)格爾能源有限責(zé)任公司，內(nèi)蒙古 準(zhǔn)格爾 010300；2.遼寧工程技術(shù)大學(xué) 電氣與控制工程學(xué)院，遼寧 葫蘆島 125105)

目前在露天礦山中，電纜卷放車的發(fā)展還處于剛剛起步階段，部分礦山仍然采用自20世紀(jì)60 年代沿用至今的樣式和功能，屬于通用型的電纜卷放車，雖然能夠配合電鏟作業(yè)，但尾線電纜隨著電鏟的推進(jìn)而被拖拽，電纜絕緣表層磨損嚴(yán)重，縮短了電纜的使用壽命。為了解決電纜在跟進(jìn)過(guò)程中的磨損問(wèn)題，電纜爬犁車得到了廣泛應(yīng)用。但在工作面松軟情況下，電鏟下沉?xí)斐呻娎|滾筒損壞，而且電纜爬犁車在作業(yè)過(guò)程中容易碾壓、刮損電纜，變通能力差，因此需要一款單獨(dú)的電纜卷放裝置，結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)，能夠自動(dòng)追蹤目標(biāo)電鏟。隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，視覺(jué)測(cè)量技術(shù)在工業(yè)應(yīng)用中發(fā)揮了重要作用[1]?；谝曈X(jué)的系統(tǒng)通常分為2類：立體視覺(jué)[2]和單目視覺(jué)[3]。立體視覺(jué)能準(zhǔn)確計(jì)算偏移量和車距，但2個(gè)攝像頭之間需要校準(zhǔn)和匹配，執(zhí)行時(shí)間長(zhǎng)且計(jì)算程度復(fù)雜。由于電鏟移動(dòng)速度3 km/h，前進(jìn)速度緩慢，單目視覺(jué)系統(tǒng)即可實(shí)現(xiàn)智能追蹤目標(biāo)電鏟。近年來(lái)目標(biāo)識(shí)別與追蹤技術(shù)成為廣大學(xué)者研究的重要方向，2019年，劉凱強(qiáng)等[4]利用圖像處理和機(jī)器學(xué)習(xí)，通過(guò)細(xì)胞追蹤揭示細(xì)胞行為以及細(xì)胞運(yùn)動(dòng)的特定規(guī)律，為疾病醫(yī)學(xué)研究提供可靠依據(jù)；2017年，譚雪峰[5]基于全方位的自主導(dǎo)航技術(shù)，提出了一種陸標(biāo)導(dǎo)航和運(yùn)動(dòng)目標(biāo)跟蹤系統(tǒng)的視覺(jué)伺服方案，開(kāi)發(fā)了以 2GF 控制器為核心的全方位視覺(jué)圖像處理系統(tǒng)；2016年，段煉等[6]基于數(shù)字圖像處理和模糊模式識(shí)別等技術(shù)，對(duì)MCS云團(tuán)進(jìn)行有效的識(shí)別與追蹤；2015年，史紅梅等[7]基于機(jī)器視覺(jué)與嵌入式技術(shù)設(shè)計(jì)了異物侵限自年檢測(cè)系統(tǒng)，利用FPGA和ARM芯片實(shí)現(xiàn)了圖像采集處理硬件平臺(tái)。目前目標(biāo)識(shí)別與追蹤技術(shù)已經(jīng)應(yīng)用在智能車追蹤、醫(yī)學(xué)研究、衛(wèi)星云圖、人臉識(shí)別等[8-13]多個(gè)領(lǐng)域，露天礦山作為我國(guó)基礎(chǔ)產(chǎn)業(yè)，占據(jù)了國(guó)民經(jīng)濟(jì)中的重要地位[14]，但在此類技術(shù)應(yīng)用上相對(duì)較少。

基于此，本文設(shè)計(jì)一種專用于露天礦山的電纜卷放車智能追蹤系統(tǒng)。該系統(tǒng)包括圖像采集與處理模塊、智能追蹤控制策略模塊、執(zhí)行模塊。圖像采集與處理模塊采用HSV顏色空間轉(zhuǎn)換算法[15]提取目標(biāo)電鏟特征；智能追蹤控制策略模塊采用偏移量和車距估計(jì)方法獲取目標(biāo)電鏟相對(duì)于電纜卷放車的方向和距離；執(zhí)行模塊控制電纜卷放車的前進(jìn)、后退、調(diào)速、停止，實(shí)現(xiàn)對(duì)目標(biāo)電鏟的智能追蹤。

1 總體方案

系統(tǒng)總體方案如圖1所示，該方案包括圖像采集與處理模塊、智能追蹤控制策略模塊以及執(zhí)行模塊。工作流程：①FPGA配置OV5640攝像頭參數(shù)，捕獲攝像頭采集的圖像信息。經(jīng)卡爾曼濾波后，將采集的圖像轉(zhuǎn)換到HSV顏色空間，提取目標(biāo)電鏟圖像特征，并將處理好的圖像特征數(shù)據(jù)存儲(chǔ)在片外SDRAM中；②通過(guò)DSP的XINTF接口獲取處理好的圖像數(shù)據(jù)，利用DSP平臺(tái)自帶的內(nèi)部乘法器，計(jì)算目標(biāo)電鏟相對(duì)于電纜卷放車的偏移量和車距信息；③利用MAX485通信將控制信號(hào)發(fā)送給執(zhí)行模塊，再由PLC將控制命令下發(fā)給驅(qū)動(dòng)器，實(shí)現(xiàn)電纜卷放車跟隨目標(biāo)電鏟同步行進(jìn)，使純機(jī)械式的拖拽電纜引發(fā)的安全問(wèn)題得以解決，切實(shí)改善采裝環(huán)節(jié)電纜移設(shè)作業(yè)流程。

圖1 系統(tǒng)總體方案Fig.1 Overall scheme of system

2 系統(tǒng)硬件

2.1 OV5640攝像頭

圖2 攝像頭接口電路Fig.2 Circuit of camera interface

2.2 圖像處理器FPGA

為了處理攝像頭龐大的圖像數(shù)據(jù)，系統(tǒng)需要一款并行處理且速度快的圖像處理器?？紤]到芯片內(nèi)部資源以及開(kāi)發(fā)成本，采用FPGA芯片EP4CE6F17C8作為該系統(tǒng)圖像處理的核心控制單元。EP4CE6F17C8內(nèi)部包含6 272個(gè)邏輯單元，最大用戶輸入/輸出數(shù)量達(dá)179個(gè)，內(nèi)存270 Kbit，具有高處理速度、可靠性強(qiáng)等優(yōu)點(diǎn)，滿足系統(tǒng)要求。FPGA最小系統(tǒng)電路如圖3所示。

圖3 FPGA最小系統(tǒng)電路Fig.3 FPGA minimum system circuit

2.3 外部存儲(chǔ)器SDRAM

由于圖像數(shù)據(jù)量較大，而FPGA的內(nèi)部存儲(chǔ)器只有270 Kbit，因此選用SDRAM 進(jìn)行像素點(diǎn)數(shù)據(jù)存儲(chǔ)，存儲(chǔ)芯片選擇HY57V2562GTR，存儲(chǔ)容量達(dá)到16 M×16 bit。該系列存儲(chǔ)芯片運(yùn)行速度最大為200 MHz，滿足圖像數(shù)據(jù)存儲(chǔ)容量以及快速性的要求(圖4)。

圖4 外部存儲(chǔ)器SDRAMFig.4 External memory SDRAM

2.4 數(shù)據(jù)處理器DSP

考慮到數(shù)據(jù)處理器主要負(fù)責(zé)計(jì)算偏移量和相對(duì)距離，算法復(fù)雜，計(jì)算量大，因此采用DSP芯片TMS320F2812(圖5)，它作為專門計(jì)算的微處理器，擁有獨(dú)立的累加器及加法器，一個(gè)周期內(nèi)可同時(shí)完成相乘及累加運(yùn)算，同時(shí)提供了4位的PLL倍率選擇，可動(dòng)態(tài)改變CPU的頻率，采用數(shù)據(jù)和程序分離的哈佛結(jié)構(gòu)，執(zhí)行指令速度更快，能夠滿足系統(tǒng)的快速計(jì)算要求。

圖5 DSP最小系統(tǒng)電路Fig.5 DSP minimum system circuit

2.5 MAX485通信

本系統(tǒng)需要將控制信號(hào)由DSP發(fā)送給PLC，考慮到在露天礦山環(huán)境工作，信號(hào)容易受到氣候、噪聲影響，因此采用MAX485芯片，其具有通信距離遠(yuǎn)、傳輸速率高、抗噪聲干擾性好等優(yōu)點(diǎn)，適合于露天礦山惡劣的工作環(huán)境。MAX485通信電路如圖6所示。

圖6 MAX485通信電路Fig.6 MAX485 communication circuit diagram

3 目標(biāo)電鏟識(shí)別與追蹤

3.1 目標(biāo)識(shí)別

目標(biāo)識(shí)別工作主要由FPGA完成，在圖像傳輸過(guò)程中，可能混入一些無(wú)用的信息，為了最大程度還原圖像數(shù)據(jù)的真實(shí)信息，需要對(duì)圖像進(jìn)行處理，基本流程如下：攝像頭獲取目標(biāo)電鏟圖像信息，經(jīng)過(guò)卡爾曼濾波去除噪聲后，利用HSV顏色轉(zhuǎn)換算法提取目標(biāo)電鏟圖像特征，得到最接近真實(shí)值的圖像數(shù)據(jù)。目標(biāo)識(shí)別流程如圖7所示。

圖7 目標(biāo)識(shí)別流程Fig.7 Target recognition flow

3.2 目標(biāo)追蹤

以目前露天礦山中使用的WK-55 電鏟為例，此電鏟高度近22m，相當(dāng)于7層樓房的高度，電纜卷放車高度近5 m，二者車距限制為20 m。由于電纜卷放車和電鏟高度差很大，攝像頭需要以一定角度仰視電鏟，因此本文提出了基于仰視拍攝的偏移量和車距估計(jì)方法。

3.2.1 偏移量估計(jì)

2.量化評(píng)價(jià)方式的確定。量化評(píng)審的關(guān)鍵是要針對(duì)不同項(xiàng)目，采用不同的評(píng)價(jià)方式，增強(qiáng)評(píng)審的客觀性和準(zhǔn)確性。在依據(jù)層次分析模型設(shè)計(jì)的評(píng)價(jià)指標(biāo)中，有些指標(biāo)主觀性強(qiáng)，分辨率較低，不易量化，屬于定性指標(biāo)，如職業(yè)道德、理論功底、實(shí)踐創(chuàng)新能力、崗位責(zé)任、業(yè)績(jī)貢獻(xiàn)等指標(biāo)，運(yùn)用模糊數(shù)學(xué)原理進(jìn)行模糊評(píng)價(jià)，進(jìn)行等級(jí)量化賦分，實(shí)現(xiàn)二次量化。有些指標(biāo)規(guī)定的比較清晰具體，標(biāo)準(zhǔn)明確，客觀性與可比性強(qiáng)，屬于定量指標(biāo)，如學(xué)歷、資歷、計(jì)算機(jī)應(yīng)用能力、外語(yǔ)水平、榮譽(yù)稱號(hào)與技術(shù)稱號(hào)、年度考核、送審論文審核答辯、發(fā)表論文專著、獲獎(jiǎng)成果與重大項(xiàng)目等，直接定量計(jì)分。

攝像頭拍攝的目標(biāo)電鏟水平視角如圖8所示。

圖8 目標(biāo)電鏟水平視角示意Fig.8 Horizontal view of target shovel

在圖8中，O為攝像頭鏡頭的中心點(diǎn)，實(shí)線OG為攝像頭光軸，P1、P2分別為電鏟車左右邊緣上的一點(diǎn)，φ1為電鏟車左邊緣相對(duì)于攝像頭光軸的偏移角，同理φ2為電鏟車右邊緣相對(duì)于攝像頭光軸的偏移角，OC、OD為攝像頭的水平視野角。g為像平面的中心點(diǎn)，p1、p2為對(duì)應(yīng)的像平面上電鏟車左右邊緣上各一點(diǎn)，k、j為像平面水平方向端點(diǎn)。

文獻(xiàn)[16]所述的幾何推導(dǎo)法在X軸方向能推導(dǎo)出XP和xp的映射關(guān)系，但此法僅限于俯視拍攝路面，對(duì)于仰視拍攝目標(biāo)物體映射情況沒(méi)有相關(guān)推導(dǎo)。本文在文獻(xiàn)[8]基礎(chǔ)上，結(jié)合目標(biāo)電鏟實(shí)際，推導(dǎo)出在攝像頭仰視情況下XP和xp的映射關(guān)系，進(jìn)而推導(dǎo)出目標(biāo)電鏟偏移量算法。

目標(biāo)電鏟水平視角立體模型如圖9所示。

圖9 目標(biāo)電鏟水平視角立體模型Fig.9 Three dimensional model of horizontal view of target electric shovel

y軸垂直于地面方向，x軸平行于地面方向，h為攝像頭距地面高度，L為電纜卷放車到目標(biāo)電鏟的水平距離，具體計(jì)算過(guò)程如下：

SGF=L[tan(γ-π/2)-tan(γ-π/2-α)]

(1)

(2)

(3)

在ΔUFM和ΔUGJ中，由相似可得：

(4)

(5)

可得：

(6)

(7)

當(dāng)檢測(cè)到目標(biāo)電鏟像平面點(diǎn)坐標(biāo)p1=(xp1，yp1)，p2=(xp2，yp2)，可得中心點(diǎn)坐標(biāo)p=(xp，yp)。

(8)

因此目標(biāo)電鏟偏移量為：

(9)

式中，攝像頭的水平視角為2β，垂直視角為2α，俯仰角為γ。L為電纜卷放車與目標(biāo)電鏟車的實(shí)際水平距離，W為像平面寬度，φ為攝像頭鏡頭與目標(biāo)電鏟車水平夾角。像平面點(diǎn)坐標(biāo)p1=(xp1，yp1)，p2=(xp2，yp2)，對(duì)應(yīng)的目標(biāo)電鏟坐標(biāo)為P1=(XP1，YP1)，P2=(XP2，YP2)。

3.2.2 實(shí)際距離估計(jì)

攝像頭拍攝的目標(biāo)電鏟垂直視角如圖10所示，y軸代表垂直于地面方向，O為攝像頭鏡頭的中心點(diǎn)，實(shí)線OG為攝像頭光軸，P3為電鏟車垂直方向上端點(diǎn)，OA、OB為攝像頭垂直視野角，g為像平面的中心點(diǎn)，p3為對(duì)應(yīng)的像平面上電鏟車垂直方向上端點(diǎn)，a、b為像平面垂直方向端點(diǎn)，h為攝像頭距地面高度，γ為攝像頭的俯仰角，L為電纜卷放車到目標(biāo)電鏟的水平距離。

通過(guò)攝像頭拍攝的目標(biāo)電鏟的垂直視角，經(jīng)過(guò)FPGA處理得到各點(diǎn)的坐標(biāo)信息，通過(guò)DSP的外部存儲(chǔ)器接口獲取處理好的圖像數(shù)據(jù)，得到電纜卷放車距目標(biāo)電鏟的實(shí)際工作距離，具體計(jì)算過(guò)程：

圖10 目標(biāo)電鏟垂直視角示意Fig.10 Vertical view of target shovel

(10)

(11)

式中，h為攝像頭距地面高度；H電鏟為電鏟的高度；γ為攝像頭的俯仰角；H為攝像頭相平面高度；像平面點(diǎn)坐標(biāo)p3=(xp3，yp3)；對(duì)應(yīng)目標(biāo)電鏟坐標(biāo)為P3=(XP3，YP3)；攝像頭的垂直視角為2α。

3.2.3 目標(biāo)追蹤流程

首先，OV5640攝像頭采集目標(biāo)電鏟圖像信息，F(xiàn)PGA識(shí)別目標(biāo)電鏟；然后，DSP通過(guò)外部接口獲取FPGA處理好的圖像數(shù)據(jù)，利用目標(biāo)電鏟偏移量及距離算法，得到目標(biāo)電鏟相對(duì)于電纜卷放車的偏移量及車距信息；最后，根據(jù)得到的實(shí)際距離以及偏移量，預(yù)判電纜卷放車下一步的行駛狀態(tài)，并將控制信號(hào)經(jīng)過(guò)MAX485通信發(fā)送給PLC，控制電機(jī)的驅(qū)動(dòng)器，實(shí)現(xiàn)電機(jī)正轉(zhuǎn)或反轉(zhuǎn)、調(diào)速或者停止等操作，從而實(shí)現(xiàn)電纜卷放車跟隨目標(biāo)電鏟同步行進(jìn)。智能追蹤流程如圖11所示。

4 系統(tǒng)平臺(tái)驗(yàn)證

OV5640攝像頭與水平地面成一定角度仰視目標(biāo)電鏟，F(xiàn)PGA電路結(jié)合片外存儲(chǔ)器SDRAM，驗(yàn)證礦用電纜卷放車智能追蹤系統(tǒng)識(shí)別目標(biāo)電鏟。DSP電路結(jié)合PLC控制電路，驗(yàn)證該系統(tǒng)能夠追蹤目標(biāo)電鏟。

圖11 智能追蹤流程Fig.11 Intelligent tracking process

OV5640初始化關(guān)鍵程序：

OV5640_Init()

{

Show_Str(30，210，230，16，"OV5640 正常"，16，0)；//自動(dòng)對(duì)焦初始化

RGB565_Mode()；//RGB565 模式

Focus_Init()；

Light_Mode()；//自動(dòng)模式

Color_Saturation(3)；//色彩飽和度調(diào)節(jié)

Focus_Constant()；//啟動(dòng)持續(xù)對(duì)焦程序

}

在追蹤過(guò)程中，分別調(diào)節(jié)攝像頭仰角為120°、135°，對(duì)電纜卷放車在勻速直行、轉(zhuǎn)彎跟蹤情況下進(jìn)行多次測(cè)量實(shí)驗(yàn)，測(cè)試結(jié)果見(jiàn)表1。

表1 實(shí)驗(yàn)結(jié)果Tab.1 Results of tests

實(shí)驗(yàn)結(jié)果表明，當(dāng)目標(biāo)電鏟勻速直行時(shí)，電纜卷放車與目標(biāo)電鏟車距基本穩(wěn)定，在要求值20 m左右浮動(dòng)，誤差不超過(guò)2 m；當(dāng)目標(biāo)電鏟以一定角度轉(zhuǎn)彎時(shí)，電纜卷放車也能以相應(yīng)的角度偏轉(zhuǎn)，較好地追蹤目標(biāo)電鏟，實(shí)現(xiàn)了預(yù)期的功能。

5 結(jié)論

為了實(shí)現(xiàn)電纜卷放車自動(dòng)追蹤目標(biāo)電鏟的功能，設(shè)計(jì)了一種專用于露天礦山的電纜卷放車智能追蹤系統(tǒng)。充分利用FPGA的高處理速度、可靠性強(qiáng)特點(diǎn)，結(jié)合HSV顏色空間轉(zhuǎn)換算法，實(shí)現(xiàn)對(duì)目標(biāo)電鏟的識(shí)別。并提出偏移量和車距估計(jì)方法，在DSP平臺(tái)上計(jì)算目標(biāo)電鏟相對(duì)于電纜卷放車的偏移量及實(shí)際車距，實(shí)現(xiàn)對(duì)目標(biāo)電鏟的智能追蹤。本設(shè)計(jì)不僅實(shí)現(xiàn)了電纜卷放車自動(dòng)匹配目標(biāo)電鏟行進(jìn)的功能，達(dá)到了預(yù)期的設(shè)計(jì)目標(biāo)，而且有利于推動(dòng)礦山機(jī)電設(shè)備的智能化發(fā)展。