基于機(jī)器視覺的水域遠(yuǎn)程監(jiān)測應(yīng)用系統(tǒng)方案設(shè)計(jì)

嚴(yán) 成，何 寧，龐維慶，鄧德迎

(1. 桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004; 2. 廣西高校無人機(jī)遙測重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004)

近年來，為維持港口和沿海水域秩序，保證航行安全，防止水域污染，我國特制定了相應(yīng)的船舶管理規(guī)則[1- 2]?，F(xiàn)階段，國內(nèi)對于早期的航道污染監(jiān)測，主要借助人力地面瞭望臺觀測和飛機(jī)巡航監(jiān)視。目前，普遍采用兩種方法：一種是利用光學(xué)探測儀主動搜索污染區(qū)域；另一種是定時(shí)接收衛(wèi)星向地面?zhèn)魉偷膱D像信息，分辨污染區(qū)域的存在與否[3]。這些方法耗時(shí)耗力，過程煩瑣，尤其是對于一些無人問津的海域和監(jiān)測盲點(diǎn)精度更低。利用無人機(jī)進(jìn)行水域監(jiān)測，并迅速界定水污染區(qū)域，可為海事部門提供有效的處置依據(jù)，為事故處理爭取時(shí)間，其中，快速準(zhǔn)確地獲取和測量污染區(qū)域就尤為重要。

文獻(xiàn)[4]提出了一種精確的目標(biāo)實(shí)際面積測量方法，克服了雙目視覺對應(yīng)點(diǎn)匹配和面積計(jì)算所利用的像素當(dāng)量產(chǎn)生的誤差，但算法沒有包含拍攝角度參數(shù)，缺少對角度變化測量結(jié)果的正確性評估。文獻(xiàn)[5]提出了一種基于航拍圖像的森林火災(zāi)面積計(jì)算方法，可滿足對森林火場面積計(jì)算的要求，但該方法通過彩色和灰度信息提取航拍圖像中的森林火場區(qū)域，圖像中的色差直接影響圖像分割的誤差，并且該方法沒有通過軟件實(shí)現(xiàn)，無法實(shí)時(shí)、高效地提供面積測量結(jié)果。文獻(xiàn)[6]開發(fā)了一套無人機(jī)地理信息視頻系統(tǒng)，基于GPS數(shù)據(jù)實(shí)現(xiàn)無人機(jī)航跡坐標(biāo)的實(shí)時(shí)展示、視頻影像定位和距離面積量測等功能，但無法實(shí)現(xiàn)無人機(jī)定點(diǎn)測量小范圍面積的功能。

本文通過電子自動測量手段，提出一種高精度的水面污染面積測量方案，通過無人機(jī)飛控將視頻圖像與字符信息疊加傳輸[7]，為該測量方案提供評估參數(shù)。在此基礎(chǔ)上，利用適用于該面積測量的機(jī)器視覺圖像處理方法，設(shè)計(jì)了水面污染面積測量軟件，實(shí)時(shí)進(jìn)行水面污染區(qū)域檢測。根據(jù)面積測量方案，計(jì)算出視覺圖像中單個(gè)像素點(diǎn)所代表的實(shí)際面積，采用圖像處理方法，提取出圖像中污染區(qū)域的像素總值，實(shí)現(xiàn)快速獲取污染區(qū)域面積。通過無人機(jī)在幾十米到幾百米的高空飛行，可實(shí)現(xiàn)城市、海域、陸地、森林等環(huán)境態(tài)勢的遠(yuǎn)程監(jiān)測和信息獲取，為執(zhí)法和救援提供幫助。

1 系統(tǒng)整體設(shè)計(jì)方案與測量原理

1.1 系統(tǒng)整體設(shè)計(jì)方案

基于機(jī)器視覺的水域遠(yuǎn)程監(jiān)測系統(tǒng)由無人機(jī)載具端與地面監(jiān)測端組成。無人機(jī)飛控為測量系統(tǒng)提供采集的環(huán)境及物理參數(shù)，地面監(jiān)測端用于接收分析監(jiān)控圖像和數(shù)據(jù)，以便快速測量和記錄特征區(qū)域的面積。系統(tǒng)結(jié)構(gòu)如圖1所示。

1.2 圖像采集與處理

通過無人機(jī)航拍進(jìn)行圖像采集，圖像處理過程包括對攝取圖像進(jìn)行微元化，然后將提取的特征區(qū)域像素點(diǎn)總數(shù)與每個(gè)像素點(diǎn)的實(shí)際面積相乘，即可計(jì)算出特征區(qū)域的面積。

1.2.1 經(jīng)典的閾值分割方法

圖像分割(segmentation)是指將數(shù)字圖像細(xì)分為多個(gè)圖像子區(qū)域(像素的集合)[8]。其中閾值分割方法的步驟為：①確定合適的閾值Th；②將圖像中的每個(gè)像素分別與該閾值作比較，將像素分為幾個(gè)不同的區(qū)域[9- 10]。在閾值分割算法中，較經(jīng)典的有最大熵閾值分割和最大類間方差(Otsu)閾值分割等。圖2為經(jīng)典的閾值分割方法處理結(jié)果，采用閾值分割對原始拍攝圖像(如圖2(a)所示)中的污染區(qū)域進(jìn)行提取，通過最大熵閾值分割得到圖2(b)，經(jīng)Otsu閾值分割得到圖2(c)。

由圖2可知，分割效果圖中特征區(qū)域邊界模糊不分明，故傳統(tǒng)的閾值分割方法無法滿足污染區(qū)域提取的要求，需要對分割方法進(jìn)行改進(jìn)以適應(yīng)復(fù)雜的污染區(qū)域提取。

1.2.2 改進(jìn)分割方法

為了達(dá)到圖像復(fù)雜色差區(qū)域分割目的，提高特征區(qū)域分割的精度，設(shè)計(jì)系統(tǒng)在傳統(tǒng)閾值分割方法的基礎(chǔ)上增加前后面板圖像堆疊形式。具體算法實(shí)現(xiàn)過程如下：

(1) 將原始圖像(設(shè)置為變量image_mask)像素值RGB均設(shè)置為(0，0，0)并作為掩膜，放置在底板；將采集到的圖像(設(shè)置為變量image)放置在前面板。通過鼠標(biāo)響應(yīng)函數(shù)在前面板上繪制出目標(biāo)區(qū)域，底板也將記載該區(qū)域，區(qū)域邊界線RGB分量為(0，255，255)。

(2) 對原始圖像通過漫水填充算法[11]進(jìn)行處理，經(jīng)式(1)將目標(biāo)區(qū)域內(nèi)像素顏色RGB分量設(shè)置為(255，255，255)。算法以目標(biāo)區(qū)域內(nèi)的像素點(diǎn)(x0，y0)為中心(種子)，如果像素點(diǎn)(x，y)屬于繪制的目標(biāo)區(qū)域Sxy，將(x，y)與(x0，y0)合并在同一個(gè)區(qū)域內(nèi)。

(1)

(3) 統(tǒng)計(jì)目標(biāo)區(qū)域的像素點(diǎn)總數(shù)。首先將步驟(2)中經(jīng)漫水填充算法處理后的圖像轉(zhuǎn)換為256個(gè)灰度等級的灰度圖像[12]，得到像素點(diǎn)值Gray(x,y)

Gray(x,y)=0.299×R+0.587×G+0.114×B

(2)

之后通過單閾值分割方法將灰度圖像轉(zhuǎn)換為二值化圖像[13]，單閾值設(shè)置為254，由下式計(jì)算像素點(diǎn)值g(x,y)

(3)

通過迭代器訪問二值化圖像中的像素點(diǎn)，統(tǒng)計(jì)非零像素值的點(diǎn)。

(4) 將二值化圖像與采集到的圖像進(jìn)行乘運(yùn)算，前者像素點(diǎn)值為1的區(qū)域?qū)⒈Ａ艉笳邔?yīng)的區(qū)域，像素點(diǎn)值為0的區(qū)域?qū)⒁种坪笳邔?yīng)的區(qū)域，達(dá)到同時(shí)分割處理多個(gè)區(qū)域目的。

通過此方法達(dá)到圖像分割的目的，并統(tǒng)計(jì)特征區(qū)域像素點(diǎn)總數(shù)，最終結(jié)果如圖3所示。相比于傳統(tǒng)閾值分割方法,本文改進(jìn)的閾值分割方法特征區(qū)域邊界清晰分明，更適用于水域污染區(qū)域的提取，實(shí)現(xiàn)計(jì)算特征區(qū)域像素點(diǎn)總數(shù)的功能。

1.3 基于單目視覺的面積測量方案

在機(jī)器視覺的單目視覺測距系統(tǒng)中，攝像機(jī)以一定的俯仰角對地面物體進(jìn)行拍攝，將所拍攝圖像上某點(diǎn)的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)，并找出圖像與對應(yīng)坐標(biāo)的映射關(guān)系，為面積測量方案提供理論依據(jù)[14]。

基于單目視覺測距原理建立一種適應(yīng)于水面目標(biāo)的面積測量方案。該處理過程獲取計(jì)算圖像對應(yīng)的實(shí)際平面高度、求取單個(gè)像素點(diǎn)所代表的實(shí)際面積、計(jì)算區(qū)域像素點(diǎn)總數(shù)并求和得到被監(jiān)測區(qū)域面積。

圖4所示為采用三角法測量圖像對應(yīng)的實(shí)際平面原理。圖中陰影部分為攝像機(jī)拍攝區(qū)域，閉合區(qū)域?yàn)樘卣鲄^(qū)域，其面積S是整個(gè)測量方案求取的最終值。AB和DE分別為圖像對應(yīng)的實(shí)際平面高度和寬度，其中AB為測量系統(tǒng)的待測目標(biāo)值。

由圖4的幾何關(guān)系可知，垂直視場半角度θ與圖像平面高度AB可分別用下式求出

(4)

AB=AM-BM=h[tan(φ+θ)-tan(φ-θ)]

(5)

式中，t=GJ，為底片高度的一半；f=OJ，為焦距；h=OM，為相機(jī)的離地高度；φ為相機(jī)拍攝角度，相機(jī)垂直地面拍攝時(shí)φ為0°。

圖5所示為相機(jī)拍攝的單幅圖像，其中特征區(qū)域?yàn)榇?jì)算目標(biāo)值。

利用式(5)求得的AB，得到圖5中單個(gè)像素點(diǎn)的實(shí)際面積為

(6)

式中，Sx和Sy分別為圖像寬度和高度的像素總量。

2 特征區(qū)域面積測量處理與軟件設(shè)計(jì)

2.1 面積測量處理

依據(jù)圖像分割處理所獲取特征區(qū)域的像素點(diǎn)總數(shù)，求取特征區(qū)域的實(shí)際面積；將面積數(shù)據(jù)與原始拍攝圖像進(jìn)行疊加，結(jié)果如圖6所示。

為了適應(yīng)不同拍照設(shè)備，軟件將不同像素圖像統(tǒng)一處理為800×600像素圖像，根據(jù)改進(jìn)的分割方法統(tǒng)計(jì)特征區(qū)域的像素點(diǎn)總數(shù)為15 006個(gè)。

使用的攝像頭靶面高度為6.6 mm，焦距為25 mm，拍攝高度為11 m。讀取角度顯示數(shù)據(jù)為35.7°，則互余角為54.3°，再加上器件放置的補(bǔ)償角0.53°，最終得到相機(jī)對目標(biāo)的拍攝角度為54.83°。

由下式求解角度

(7)

求圖像對應(yīng)的實(shí)際平面高度

AB=11 m×[tan(54.83°+7.519 6°)-tan(54.83°-7.519 6°)]≈9.071 m

(8)

由上面給出的像素參數(shù)，得到面積(結(jié)果截取小數(shù)點(diǎn)后三位)為

(9)

2.2 水域遠(yuǎn)程監(jiān)測軟件設(shè)計(jì)

為了對水面污染區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控和測量，系統(tǒng)使用C++編程語言在VS2013中調(diào)用OpenCv庫編寫上位機(jī)交互軟件[15]。將無人機(jī)飛控、視頻圖像處理、面積測量模塊集成在一起，以實(shí)現(xiàn)實(shí)時(shí)快速的面積測量和調(diào)用拍攝圖像后期測量的功能。

測量軟件分為參數(shù)設(shè)置功能區(qū)和吊艙控制功能區(qū)。其中參數(shù)設(shè)置區(qū)可進(jìn)行拍攝高度、拍攝角度(俯仰角)、靶面高度和焦距等參數(shù)設(shè)置；吊艙控制區(qū)用于轉(zhuǎn)向控制、視頻切換和變焦等操作。通過設(shè)計(jì)的人機(jī)交互界面可對視頻及圖像進(jìn)行操控，包括打開與關(guān)閉攝像頭、存取與打開圖片、拍照，并可對實(shí)時(shí)拍下的圖像進(jìn)行區(qū)域選擇及面積測量，具體界面控件區(qū)域分布參見系統(tǒng)測試驗(yàn)證部分展示。

3 系統(tǒng)實(shí)操評估與驗(yàn)證

3.1 系統(tǒng)實(shí)操

基于機(jī)器視覺的水域遠(yuǎn)程監(jiān)測系統(tǒng)如圖7所示。其中圖7(a)為系統(tǒng)無人機(jī)巡視場景,圖7(b)為系統(tǒng)軟件測量界面。通過無人機(jī)搭載圖像采集和無線數(shù)據(jù)收發(fā)的吊艙裝置，采集圖像和數(shù)據(jù)并實(shí)時(shí)向地面監(jiān)測基站發(fā)送，以便監(jiān)察管理者對水面態(tài)勢進(jìn)行判斷識別和分析處理，并根據(jù)圖像特征場景快速獲得第一手資料。

地面端操作人員控制無人機(jī)抵達(dá)污染區(qū)域上空，并在軟件的視頻顯示區(qū)發(fā)現(xiàn)待測目標(biāo)區(qū)域之后，根據(jù)無人機(jī)相機(jī)提供的焦距、靶面高度及回傳的拍攝高度VPS數(shù)據(jù)，對圖7(b)中相應(yīng)的控件拍攝高度(3 m)、拍攝角度(0°)、靶面高度(4.17 mm)、焦距(3.6 mm)進(jìn)行設(shè)置。經(jīng)手動在拍攝的圖像上描繪污染區(qū)域、上位機(jī)處理計(jì)算得到污染區(qū)域的面積為4.491 m2。根據(jù)無人機(jī)在拍攝區(qū)域位置所處的經(jīng)緯度及高度數(shù)據(jù)，可得到試驗(yàn)中被拍區(qū)域的方位為25.313°N、110.421°E。無人機(jī)飛控一般是在被測點(diǎn)的上方，根據(jù)捕獲目標(biāo)范圍，通過變化拍攝高度，以垂直或小于一定角度進(jìn)行獲取目標(biāo)圖像，達(dá)到減小誤差目的。

3.2 系統(tǒng)軟件評估與對比試驗(yàn)

為了驗(yàn)證此系統(tǒng)軟件測量面積的正確性與誤差，按特征區(qū)域圖像分割到面積測量的算法流程進(jìn)行試驗(yàn)并分析數(shù)據(jù)。表1是矩形規(guī)則樣本的實(shí)際測量和圖像處理計(jì)算所得面積結(jié)果的對比。

表1 面積測量數(shù)據(jù)對比

對比結(jié)果表明，隨著無人機(jī)的拍攝高度和角度變化，其誤差大小有所變化，當(dāng)測量角度小于90°時(shí)相對誤差不大于5%，小角度(±5°范圍內(nèi))和垂直拍攝平均相對誤差低于1.3%,優(yōu)于文獻(xiàn)[4]中的平均相對誤差1.48%，滿足對污染面積測量工作的需求。本文測量軟件運(yùn)行順暢，很好地完成污染區(qū)域面積測量工作，彌補(bǔ)了文獻(xiàn)[6]無法實(shí)現(xiàn)無人機(jī)定點(diǎn)測量小范圍面積的不足。

4 結(jié) 語

本文根據(jù)機(jī)器視覺的單目視覺測距原理，提出了一種高精度水面污染面積測量方案，采用圖像分割技術(shù)提取視覺圖像中污染區(qū)域的像素點(diǎn)總數(shù)，在圖像處理與面積測量的基礎(chǔ)上設(shè)計(jì)水面污染面積測量軟件，建立了一套基于機(jī)器視覺的水域遠(yuǎn)程監(jiān)測應(yīng)用系統(tǒng)。依據(jù)面積測量評估試驗(yàn)統(tǒng)計(jì)和外場實(shí)操分析的數(shù)據(jù)結(jié)果：模擬水面污染面積測量精度為10-3m2，測量相對誤差低于5%，垂直拍攝平均相對誤差低于1.3%，表明系統(tǒng)滿足水域遠(yuǎn)程監(jiān)測需求。