關(guān)于計算機(jī)視覺技術(shù)在電廠盤煤系統(tǒng)中的應(yīng)用研究

劉忻

基于某發(fā)電公司已經(jīng)建立的全新封閉煤場，嘗試將過去復(fù)雜繁瑣的盤煤工作以信息化、數(shù)字化、自動化的方式解決，降低生產(chǎn)管理成本，增加效益。實現(xiàn)了盤煤實時化、精準(zhǔn)化，實時掌握不同煤質(zhì)的燃煤進(jìn)貨情況、消耗量和庫存位置，為燃煤科學(xué)摻配提供數(shù)據(jù)基礎(chǔ)，以最少的投入獲得更多的回報，竭力成為環(huán)保生產(chǎn)，高效生產(chǎn)的智慧煤場典范。

通過利用應(yīng)用高速機(jī)器視覺傳輸網(wǎng)絡(luò)理論與技術(shù)、計算機(jī)圖形圖像理論與技術(shù)等領(lǐng)域的最新研究成果，通過在煤場安裝多個高感光球型攝像機(jī)，實現(xiàn)對于室內(nèi)（封閉）煤場可見光圖像的無死角圖像采集，研究基于視覺的多目機(jī)器視覺全區(qū)域覆蓋技術(shù)，通過對于實時采集的二維圖像的特征點進(jìn)行匹配，結(jié)合既有煤場標(biāo)點信息，對室內(nèi)煤場表面結(jié)構(gòu)的物理坐標(biāo)進(jìn)行計算，融合煤棚空間結(jié)構(gòu)信息的快速實景三維重構(gòu)技術(shù)最終實現(xiàn)三維重構(gòu)，設(shè)計煤場點云信息的積算算法，根據(jù)重建后的三維模型的坐標(biāo)數(shù)據(jù)，計算出煤堆體積，并通過優(yōu)化算法時間，令時間復(fù)雜度達(dá)到預(yù)期以滿足實時性要求。

通過系統(tǒng)設(shè)計和建設(shè)投運，實現(xiàn)了該發(fā)電公司二、三期封閉煤場盤煤無人化、定期、隨機(jī)任意時間盤煤，根據(jù)工作需要靈活選擇盤煤時間，提高盤煤準(zhǔn)確率，能夠隨時掌控煤場內(nèi)的儲煤量及分煤種的三維圖像顯示。為燃料運行人員對優(yōu)選摻配煤周計劃提供可靠參考。

本項目主要技術(shù)包含以下四個部分：

1系統(tǒng)體系架構(gòu)設(shè)計2圖像采集單元及傳輸系統(tǒng)設(shè)計3視頻總線單元和視覺服務(wù)單元設(shè)計4系統(tǒng)性能指標(biāo)設(shè)計。

下面分別詳細(xì)闡述：

一、系統(tǒng)體系架構(gòu)設(shè)計

多目盤煤系統(tǒng)的系統(tǒng)架構(gòu)圖，其中云臺一體機(jī)構(gòu)成二維可見光圖像采集單元，采集的圖像經(jīng)解碼器進(jìn)入視頻總線，視頻總線是視頻管理和維護(hù)的抽象層，其采用標(biāo)準(zhǔn)接口，它為盤煤系統(tǒng)及以后的各類監(jiān)控系統(tǒng)提供標(biāo)準(zhǔn)化視頻接口，三維重建的一系列算法集成到計算機(jī)視覺服務(wù)器，作為視頻總線的一個具體應(yīng)用提供服務(wù)，所需的渲染、瀏覽、查詢、控制等人機(jī)交換操作則集成到計算機(jī)視覺監(jiān)控器，提供人機(jī)交互接口供工作人員使用。

二、圖像采集單元的分布設(shè)計及傳輸系統(tǒng)設(shè)計

本方案選擇云臺一體攝像機(jī)陣列用于二維可見光圖像的全方位采集。系統(tǒng)選用400萬以上像素高清相機(jī)，提供23倍光學(xué)變焦能力，實現(xiàn)4.8-110mm大范圍焦距變焦，圖像采集單元的分布設(shè)計示意圖如圖2和圖3所示。此外，攝像頭具有斷網(wǎng)續(xù)傳、數(shù)字降噪、曝光補(bǔ)償、SMART265編碼、多樣性存儲等多種特性。

煤場內(nèi)所有云臺一體攝像機(jī)構(gòu)成了盤煤系統(tǒng)的圖像采集單元，圖像采集單元所采集的圖像通過高速傳輸網(wǎng)絡(luò)傳至視頻總線系統(tǒng)以保證實時性與可靠性。云臺一體攝像機(jī)均安裝在馬道和步道兩次，以便于日常維護(hù)。在此約束條件下，通過多次實驗，優(yōu)化了相機(jī)數(shù)量，得到的圖像以最小的重合度覆蓋整個煤場，仍能保持較高的三維模型質(zhì)量。

通過多個攝像機(jī)的安裝與布置實現(xiàn)多目盤煤，大大提高了系統(tǒng)的魯棒性，如果采用單個攝像機(jī)，不僅存在著視野過大、圖像細(xì)節(jié)粗糙等問題，還會造成一旦攝像頭故障，會造成圖像丟失，從而影響煤場的三維重構(gòu)。通過適當(dāng)冗余攝像機(jī)的方法，利用相鄰兩個攝像頭旋轉(zhuǎn)，對故障攝像頭所負(fù)責(zé)區(qū)域進(jìn)行拍攝，因此要謹(jǐn)慎選擇球機(jī)間距。在多目攝像機(jī)中，每個攝像機(jī)有自己的相機(jī)坐標(biāo)，相機(jī)間的相對位置難以測量，為未知量，需要將這些相機(jī)坐標(biāo)統(tǒng)一到世界坐標(biāo)系中。解決方法是以拍攝照片序列中第一張照片的攝像頭為坐標(biāo)系原點，逐張?zhí)砑訄D像，兩圖像根據(jù)匹配特征點合并坐標(biāo)系，最后統(tǒng)一對坐標(biāo)進(jìn)行變換。

云臺的選擇設(shè)計，云臺是固定機(jī)器視覺系統(tǒng)的支撐設(shè)備，它分為固定和電動云臺兩種。固定云臺適用于監(jiān)視范圍不大的情況，在固定云臺上安裝好攝像機(jī)后可調(diào)整攝像機(jī)的水平和俯仰的角度，達(dá)到最好的工作姿態(tài)后鎖定調(diào)整機(jī)構(gòu)。電動云臺適用于對大范圍進(jìn)行掃描監(jiān)視，它可以擴(kuò)大攝像機(jī)的監(jiān)視范圍。電動云臺高速姿態(tài)是由兩臺執(zhí)行電動機(jī)來實現(xiàn)，電動機(jī)接受來自控制器的信號精確地運行定位。在控制信號的作用下，云臺上的攝像機(jī)既可自動掃描監(jiān)視區(qū)域，也可在監(jiān)控中心值班人員的操縱下跟蹤監(jiān)視對象。本系統(tǒng)采用高速步進(jìn)電機(jī)云臺，采用軟件方式控制云臺的上下、左右運動角度，以實現(xiàn)少量攝像機(jī)的大面積覆蓋。云臺的控制可以采用軟件自動控制，也可以通過計算機(jī)視覺監(jiān)控器的人機(jī)接口，由工作人員控制，以便在需要時查看煤棚內(nèi)的視覺信息。

傳輸系統(tǒng)用于攝像頭與處理系統(tǒng)間的信息傳輸。攝像頭將拍攝的高清圖像通過傳輸系統(tǒng)傳輸至視頻總線系統(tǒng)。視頻總線系統(tǒng)將對攝像頭的控制信號傳輸至攝像頭。本項目的數(shù)據(jù)傳輸采用千兆有線以太網(wǎng)。傳輸系統(tǒng)支持相關(guān)數(shù)據(jù)通過統(tǒng)一數(shù)據(jù)接口將上傳至燃料大數(shù)據(jù)中心，確保在辦公網(wǎng)內(nèi)能夠查詢和監(jiān)視系統(tǒng)運行及數(shù)據(jù)運行狀態(tài)，并完成智能盤煤系統(tǒng)中部分功能在MIS網(wǎng)的展示，包括當(dāng)前存煤信息、用煤信息等主要數(shù)據(jù)。

三、視頻總線及視覺服務(wù)單元設(shè)計

設(shè)計視頻總線系統(tǒng)，實現(xiàn)圖像的合成，利用既有煤場標(biāo)點位置，實現(xiàn)煤場三位重構(gòu)。

對于多個攝像機(jī)的鏡頭位置定位問題，由于每個攝像機(jī)有自己的相機(jī)坐標(biāo)，相機(jī)間的相對位置難以測量，為未知量，需要將這些相機(jī)坐標(biāo)統(tǒng)一到世界坐標(biāo)系中。解決方法是以拍攝照片序列中第一張照片的攝像頭為坐標(biāo)系原點，逐張?zhí)砑訄D像，兩圖像根據(jù)匹配特征點合并坐標(biāo)系，最后統(tǒng)一對坐標(biāo)進(jìn)行變換。

對于煤堆邊緣拍照的圖像畸變造成畸變過大的圖像特征點難以與其他正常圖像匹配，因此采用畸變校正算法解決此問題。

對于兩臺攝像機(jī)拍攝的照片如果存在重復(fù)區(qū)域或盲區(qū)，相鄰攝像頭所得圖像必須有重復(fù)區(qū)域，這也是重建原理的關(guān)鍵之處，視頻總線系統(tǒng)將利用既有標(biāo)點居中進(jìn)行圖像分割，然后合成，針對兩個攝像機(jī)的盲區(qū)會根據(jù)周圍已重建出的點云進(jìn)行插值，從而重建出盲區(qū)。

對于封閉煤場現(xiàn)存的環(huán)境污染造成的影響加以消除，以攝像頭到煤堆的距離，粉塵不會造成影響，系統(tǒng)不會把微小的粉塵當(dāng)作特征點。對于光線問題，重建時提取特征點采用SIFT算法，對亮度保持不變性，合理情況下，亮度對重建結(jié)果不造成影響。

視頻總線和視覺服務(wù)單元作為核心處理系統(tǒng)，負(fù)責(zé)請求和接收二維圖像，進(jìn)行三位重建，信號控制等工作，是整個項目的控制和處理中心。

◎系統(tǒng)組成主要包括：（1）監(jiān)控模塊負(fù)責(zé)高清圖像的采集，攝像頭的焦距等參數(shù)設(shè)置。（2）盤煤模塊負(fù)責(zé)盤煤過程，包括圖像預(yù)處理，三位重建，體積計算等。（3）記憶模塊負(fù)責(zé)對過往數(shù)據(jù)的存儲，根據(jù)用戶需求，可以查看以前的煤場視頻、盤煤結(jié)果等。

◎系統(tǒng)特點：實時監(jiān)控煤場，根據(jù)需求可觀測煤場任何位置。自動定時盤煤，通過信號控制自動獲取圖像并進(jìn)行三維重建，定時盤煤。具有記憶功能，可對煤場進(jìn)行錄制，后期可根據(jù)需要查看煤場情況。計算機(jī)視覺監(jiān)控器作為人機(jī)交互的窗口，執(zhí)行監(jiān)視和控制兩大功能。

◎監(jiān)視：煤堆的三維實時渲染，主要包括點云的各角度旋轉(zhuǎn)、瀏覽，以及體積、倉位、煤質(zhì)展示。信息查詢，主要包括煤質(zhì)的入庫、出庫情況，歷史記錄等。

◎控制：相機(jī)云臺的上下、左右步進(jìn)控制。一鍵盤煤，通過信號控制將圖像獲取，三維重建等操作一體化，操作簡單易上手?，F(xiàn)場查看，通過控制瀏覽棚內(nèi)視頻信息。

（作者單位：華電國際山東信息管理有限公司）