基于影像增強技術的深度卷積網絡模型在無人機航道巡查中的應用

■李鵬勛 陳智文

（福建省港航勘察科技有限公司，福州 350009）

福建省沿海主要港口是我國綜合運輸體系的重要樞紐和對臺“三通”主要口岸，其中福州港航道地域跨度大，地形復雜，自然條件不盡相同，為了保障航道的暢通和安全，往往需要進行大量的巡檢維護作業(yè)，然而這些作業(yè)面臨著“點多、線長、面廣”的問題，導致維護作業(yè)需要投入大量的人力、物力和財力。 而傳統(tǒng)的巡邏艇航道巡檢方式存在視程短、反應慢、無法把握整體態(tài)勢、作業(yè)效率低下等弊端。利用無人機實現(xiàn)航道日常巡檢已成為改變傳統(tǒng)人工巡查作業(yè)方式、 提升航道巡查養(yǎng)護的創(chuàng)新模式。但常規(guī)的無人機巡航容易存在大量時空信息冗余，而這些信息通常采用人工辨識和篩選，不僅耗費大量的人力資源，而且容易出錯。 特別是較大范圍或復雜環(huán)境的航道，人眼對目標物和目標位置的識別誤差較多，更易忽略重要信息，導致無法精確識別非正常障礙物。

如何實現(xiàn)無人機智能化高效巡航，實時獲取航道狀況重要信息，是當前的一個重要研究課題。 國內專家學者對無人機影像信息的獲取、目標的識別跟蹤與定位等相關方向做了大量研究。 王志強等[1]提出了一種全局圖像配準的目標快速定位方法，通過對航攝影像進行小波分解，結合SIFT 檢測子和角點進行特征描述，利用RANSAC 和最小二乘法優(yōu)化單應性矩陣，實現(xiàn)圖像匹配并獲取定位點經緯坐標；該方法定位精度高，但實時性有待提高。 吳迪軍等[2]提出了基于無人機高重疊度航攝影像的前方交會測圖技術，引入最小二乘估計，提高了交會精度，但計算量大且需要較多交會航片。 李忠美等[3]提出多像空間前方交會的抗差總體最小二乘估計方法，通過建立目標點到多條同名射線距離的加權平方和作為目標函數(shù)，提高了交會精度及穩(wěn)健性能，但對于無人機航片關聯(lián)性未深入探討。 由于福州港航道環(huán)境復雜，航道周邊異物形態(tài)各異，無人機巡查產生的影像信息量大且數(shù)據(jù)利用率低，處理這些數(shù)據(jù)需要高效率、高精度的算法支撐，傳統(tǒng)的圖像處理技術未能滿足這些需求。 為解決這些問題，本研究通過先進的無人機航拍影像處理方法結合深度卷積網絡建立航道目標物識別模型， 以期實現(xiàn)高效、精確的航道巡查目標。

1 工程應用及實施方案

現(xiàn)有的福州港由原福州港和寧德港整合而來，南起興化灣北岸，北至沙埕灣，東至平潭島，福州港已形成“一港八區(qū)一港點”的總體發(fā)展格局，福州市域港口分為閩江口內、江陰、松下、羅源灣和平潭5 個港區(qū)，寧德市域港口分為三都澳、白馬、沙埕3 個港區(qū)及三沙港點。 福州港全港（包括福州、寧德、平潭）擁有大陸海岸線1966 km，占福建省大陸海岸線（3752 km）的52.4%，沿江、沿海岸線長達2628 km，是省內岸線資源最豐富的地區(qū)。

本研究依托福州港無人機航道巡查項目，針對福州港航道特點、管理難點、巡檢痛點，采用理論研究、數(shù)據(jù)模型建立及測試驗證的方式開展研究工作，具體實施方案如下：（1）通過無人機拍攝航道正射影像，獲得航道周遭環(huán)境和航道入侵物；再通過圖像正射處理技術對圖像進行矯正，這些圖像將作為識別模型訓練的數(shù)據(jù)來源；（2）通過無人機瞬時航飛速度的關鍵幀提取方法，根據(jù)無人機飛行高度、飛行速度、像元尺寸、相機焦距等參數(shù)來動態(tài)計算抽取關鍵幀的時間間隔，提取關鍵幀影像；（3）根據(jù)關鍵幀影像的實際情況，對其進行自適應中值濾波、圖像亮度增強、去除噪聲及恢復圖像顏色等基本圖像處理；（4）基于LBP（局部二值特征法）增強圖像清晰度和紋理特征，再通過小波變換提取圖像特征，將其作為深度卷積神經網絡的輸入；（5）利用深度卷積網絡-YOLOv5 對處理后的圖像進行特征提取和分類以確定每個像素點是否屬于識別模型庫中的目標物，以實現(xiàn)航道目標物識別；（6）通過精確率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒傳輸幀數(shù)（FPS）指標對模型的識別效果進行評估分析。

2 關鍵技術

2.1 基于YOLOv5 深度卷積網絡的目標識別模型

YOLOv5 是一種深度卷積網絡， 具有輕量化和高度靈活性的特點， 采用基于特征的識別方式，通過多尺度特征融合來實現(xiàn)對不同大小目標的識別；其在速度和準確性之間取得了很好的平衡，能夠在實時情況下對目標進行精確識別，是航道巡查應用領域的理想選擇。 該網絡結構由Backbone（主干網絡），Neck（頸部網絡）和head（頭部網絡）3 部分組成，如圖1 所示。

圖1 YOLOv5 網絡結構圖

主干網絡（Backbone）：負責對輸入圖像進行特征提取，能夠在不同圖像細粒度上聚合并形成圖像特征。Backbone 中的Foucs 模塊是YOLOv5 算法的特有模塊，該模塊采用了一種稱為“focus”的新型卷積操作，通過圖像切片的方式對圖像進行下采樣操作，并在盡可能減少信息丟失的情況下，提高計算效率和檢測性能，以達到減少計算量和內存消耗的目的。 從無人機航道巡查的實用角度來看，由于巡查過程中所采集的視頻影像每秒包含多達24 幀的連續(xù)圖像，存在大量的冗余數(shù)據(jù)，極大地影響了目標的識別效率。Focus 模塊能夠有效降低計算成本，在最大限度地保留更多空間信息的同時，減少FLOPs 提升處理速度，能夠有效提高航道巡查效率和時效性。

頸部網絡（Neck）：是YOLOv5 算法的核心組件之一，其主要作用是特征融合和信息傳遞。 在無人機航道巡查中往往面臨多種復雜的場景，如光照變化、重疊遮擋、運動模糊等。 這些因素可能導致傳統(tǒng)方法的識別準確率下降。 而Neck 網絡可以通過引入多尺度信息、增強模型的泛化能力，提高模型在不同場景下的識別性能。 一方面，Neck 網絡可以融合不同尺度的特征圖，增強對小目標（航標、燈樁、岸標等）及大目標（養(yǎng)殖區(qū)、橋梁、水葫蘆等）的檢測能力。 另一方面，Neck 網絡可以在特征圖之間進行信息傳遞，這有助于模型更好地理解目標的上下文信息。 在航道巡查中，船只、橋梁等物體可能會產生大面積的陰影或遮擋，會導致目標被錯誤地檢測為背景或無法檢測。Neck 網絡可以通過多尺度信息學習物體之間的遮擋關系來預測被遮擋物體的位置和形狀， 以增強對這些遮擋和背景物體的魯棒性，從而提高目標檢測的準確性和泛用性。

頭部網絡（Head）：是目標檢測模塊的最后一層，負責將卷積層和池化層提取的特征圖轉化為具有空間坐標信息的物體邊界框以及對應的類別概率，可以實現(xiàn)高精度的目標識別和多類別目標分類。 這可以有效提高航道巡查的精度，減少誤判和漏檢的情況。 同時，由于加入了全局平均池化層，降低了計算復雜度和過擬合風險，增加了對圖像中物體位置和尺度的魯棒性，以此提高航道巡查的時效性。

2.2 圖像特征增強處理技術

由于福州港航道水域地形復雜多變、識別要素眾多，影響識別模型提取目標特征的效果，導致模型難以準確、快速地提取出所需的目標特征信息。 為了解決該難點，本研究采用以下圖像增強處理技術來提高目標特征提取的精度和速度，實現(xiàn)步驟如下。

（1）動態(tài)提取關鍵幀影像

通過對無人機采集的視頻影像信息進行預處理，提取視頻影像中無人機瞬時飛行速度、飛行航高等信息，再基于圖像像素精度、無人機飛行瞬時速度及識別精度等相關信息進行加權化處理并結合相機參數(shù)進行計算，獲得抽取關鍵幀所需的動態(tài)間隔，進而對關鍵幀時間間隔進行加權和閾值約束處理，提取出關鍵幀的動態(tài)時差，最終獲取關鍵幀影像信息。

（2）圖像正射處理

通過對提取的關鍵幀影像進行正射投影圖像校正，以消除相機傾斜攝影造成的水面區(qū)域像元空間分辨率不同的問題。 根據(jù)單目視覺原理，在已知相機內參數(shù)矩陣K 和外參數(shù)矩陣（旋轉矩陣R，平移矩陣T） 以齊次坐標的形式定義空間點為Pw（X，Y，Z，1），其在像平面成像點坐標為P（x，y，1），則可知單相機的投影方程為：

其中，k 為比例系數(shù)，K 和R 為3×3 矩陣，T 為3×1 矩陣，該方程可進一步展開為

其中，m 是由相機內外參數(shù)矩陣相乘后的系數(shù)。同時，定義正射投影網格的函數(shù)為Z= f（X， Y），由聯(lián)立式（2）知：

由此，像素坐標（x，y） 轉換為實際的世界坐標（X，Y，Z），根據(jù)所有像素點對應的（X，Y）及其RGB值，可以插值出正射投影圖像I（x， y），圖像尺寸由用戶預定義的圖像橫縱軸空間分辨率λx和λy（pixels/m）決定。 正射處理效果圖如圖2～3 所示。

圖2 航道原始圖像

圖3 正射投影校正后圖像

（3）通過LBP 和小波變換提取圖像特征

本文基于LBP 算法增強無人機航拍影像的清晰度和紋理特征，通過小波變換提取圖像特征，實現(xiàn)方法如下：①通過LBP 算子對每個像素點，根據(jù)其鄰居的像素點分類結果計算出該點的特征向量。 通過SIFT 特征點選擇法從之前提取的LBP 特征圖中選擇一些具有較高區(qū)分度的關鍵點作為目標物的特征點。 再使用FLANN 匹配算法對這些關鍵點進行匹配，以確定它們之間的相似性關系，F(xiàn)LANN 算法的核心是使用歐式距離來尋找與實例點最鄰近的點，匹配成功的關鍵點可以用于后續(xù)的目標物識別任務，歐式距離的定義如式（4）所示：

式中D 值越小就代表這些特征點間的距離越近，即相似度越高。

②通過Daubechies 小波函數(shù)將圖像從低到高逐層進行小波變換，得到每個層次的近似系數(shù)和細節(jié)系數(shù)。 這些系數(shù)包含了圖像的不同特征信息，如邊緣、角點、紋理等。 通過分析和篩選這些系數(shù)，得到最具有代表性的特征向量，再將提取的圖像特征向量轉換為適合深度學習模型的輸入格式，用于后續(xù)的深度學習模型訓練和識別。

3 試驗結果及分析

根據(jù)福州港航道分布設置無人機飛行軌跡，使用大疆M300RTK 無人機對該航道進行巡航拍攝，針對航道內的通航基礎設施如浮標、燈樁、岸標及影響航道通航、生態(tài)環(huán)境的常見河道異物（違規(guī)排污口和水葫蘆）共計5 類目標進行采樣。 累計采集超4000 張圖像，最終篩選出705 張?zhí)卣髅黠@的目標圖像作為樣本訓練識別模型，測試環(huán)境配置見表1。

表1 測試環(huán)境配置

3.1 識別模型評價指標

在目標識別領域中，算法性能的評估通常依賴于一系列用于衡量其特性、效率和精度的指標。 這些指標不僅定性描述了算法的性能，還可以通過數(shù)據(jù)、公式和圖像等手段進行定量表達。 為了驗證目標識別模型的識別精度和效率， 本研究將精確率（Precision）、召回率（Recall）、平均精度均值（mAP）及每秒傳輸幀數(shù)（FPS）作為識別模型的評估指標。

3.2 識別效果分析

本研究通過提取燈樁、水葫蘆、排污口、岸標和浮標這5 類目標樣本的識別精確率、 召回率、FPS和mAP 指標進行對比分析以驗證圖像增強處理技術對識別模型的優(yōu)化效果，分析結果如下：（1）通過對比這5 類目標樣本的識別精確度和召回率得出，經過圖像增強處理的識別模型相對于未處理的模型在識別精確度和召回率上都有所提高。 這意味著處理后的模型能更準確地檢測到目標樣本特征，能有效減少目標誤檢率和漏檢率。 （2）FPS 是衡量模型時效性的重要指標，從表2 中可以看出經過圖像增強處理后的識別模型FPS 值也得到了提高，能夠更快地檢測到目標樣本。 這表明對于實際應用中需要快速響應的目標識別任務，經過圖像增強的模型能夠更好地滿足其需求。 （3）mAP 是評估模型泛化性能的重要指標，由表2 可知經過圖像增強的模型，其mAP 值得到了進一步的提高， 對于各種尺度和形狀的識別目標樣本具有更強的泛化能力。 這代表處理后的模型在面對實際應用中的復雜環(huán)境和多種目標類型時，具有更好的泛化性和穩(wěn)定性。 綜上所述， 通過對比分析各類目標樣本的識別指標，證實了圖像增強處理技術對目標識別模型的優(yōu)化效果，經過圖像增強處理后的識別模型，其各項精度指標均有明顯提升，具體比對結果見表2。

表2 圖像增強前后5 類目標物的識別效果對比

為了驗證經圖像增強處理后模型對航道目標物的識別效果，對無人機拍攝的超過4000 張航道影像進行對比分析，旨在全面評估優(yōu)化后的模型性能，以便更好地了解圖像增強處理對目標識別的改進效果，圖4～8 為部分識別效果對比圖。

圖4 燈樁識別效果對比

圖5 水葫蘆識別效果對比

圖6 排污口識別效果對比

圖7 岸標識別效果對比

圖8 浮標識別效果對比

4 結論

本研究利用無人機獲取福州港航道影像，基于YOLOv5 搭建航道目標識別模型， 通過圖像增強技術對無人機圖像進行預處理，提升了模型的識別精度與效率，得出結論如下：（1）研究利用YOLOv5 構建了航道目標識別模型，該模型經過大量航道影像的訓練和學習， 已具備較強的目標識別和分類能力；（2）為了進一步提高模型的識別效果，采用圖像增強技術對無人機圖像進行預處理并對比分析了優(yōu)化效果，結果顯示經過圖像增強處理后的模型不僅提高了目標物的識別精度，還提升了識別速度；（3）研究結果表明通過應用圖像增強處理技術的YOLOv5 模型，可以有效識別航道內的5 類目標物。這不僅豐富了航道目標物識別的理論和方法，也為實際應用提供了重要的技術支持和參考。