基于機(jī)器學(xué)習(xí)的重慶長(zhǎng)江航道霧圖像特征識(shí)別研究

,2

(1.重慶市氣象服務(wù)中心，重慶 401147； 2.重慶市開州區(qū)氣象局，重慶 405400)

引言

霧是常見的災(zāi)害性天氣之一。重慶地處四川盆地東部，山地丘陵眾多，長(zhǎng)江與嘉陵江交匯，水汽充沛且不易擴(kuò)散，潮濕的空氣使重慶多云霧而少日照，年均霧日超過60 d，最高達(dá)148 d，素有“霧都”之稱。大霧天氣能見度較差，常導(dǎo)致船舶停航，或發(fā)生擱淺、觸礁等事故，給航運(yùn)安全帶來諸多不利影響[1]。

霧的識(shí)別主要有遙感影像提取和圖像直方圖分析等方法。由于氣象衛(wèi)星發(fā)展較早，早期大部分學(xué)者都通過衛(wèi)星的光譜波段差異提取霧特征，進(jìn)而劃分霧的發(fā)生區(qū)域，此種方法具有不受地形阻擋和分辨率統(tǒng)一的優(yōu)點(diǎn)。一些學(xué)者[2-3]利用NOAA和GMS-5衛(wèi)星資料監(jiān)測(cè)滬寧高速公路的大霧，取得了較好效果。另一方面，由于衛(wèi)星的分辨率較低，對(duì)公路、鐵路以及長(zhǎng)江航道的識(shí)別不夠精細(xì)，因此近年來也出現(xiàn)了利用拍攝的霧的照片進(jìn)行分析的方法。梁超圣等[4]基于形態(tài)學(xué)原理，提出了一種針對(duì)低能見度、前下視航拍機(jī)場(chǎng)圖像中自動(dòng)檢測(cè)機(jī)場(chǎng)跑道的方法；孫曉寧和陸文駿[5]建立了協(xié)方差描述矩陣，對(duì)霧天圖像進(jìn)行顯著性檢測(cè)。

機(jī)器學(xué)習(xí)算法屬于新型人工智能技術(shù)，在語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等方面均有廣泛應(yīng)用。近年來，隨著技術(shù)的成熟，智能圖像識(shí)別技術(shù)在氣象領(lǐng)域得到進(jìn)一步發(fā)展。李才媛等[6]利用支持向量機(jī)的方法建立了武漢市24 h大霧預(yù)報(bào)模型；項(xiàng)文書[7]根據(jù)視頻圖像提取特征，建立了能見度等級(jí)的估計(jì)模型，并用直方圖模塊進(jìn)行訂正；史達(dá)偉等[8]基于多種機(jī)器學(xué)習(xí)算法，建立了強(qiáng)濃霧氣象要素診斷模型。本文根據(jù)重慶市內(nèi)長(zhǎng)江航道霧過程視頻資料，提取圖像樣本多維特征量，利用K最近鄰、支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林等機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練，構(gòu)建模型對(duì)霧進(jìn)行識(shí)別和檢驗(yàn)，并基于模型訓(xùn)練及構(gòu)建過程，設(shè)計(jì)了用于展示的交互式圖形用戶界面。

1 資料與方法

1.1 圖像數(shù)據(jù)采集

2019年5月15日上午08—11時(shí)，長(zhǎng)江航道巴南至長(zhǎng)壽段出現(xiàn)了大霧天氣，該過程持續(xù)時(shí)間長(zhǎng)、圖片記錄完整。本文采集了在此期間黑石子、納溪溝2個(gè)航道雷達(dá)站拍攝的長(zhǎng)江江面視頻(來源于重慶海事局，下同)，逐幀無損轉(zhuǎn)換為1920×1080像素的圖片，總計(jì)22054張有霧圖像樣本。作為對(duì)比，另采集了2019年7月25—26日黑石子、納溪溝、新港3個(gè)雷達(dá)站拍攝的無霧條件下長(zhǎng)江江面視頻并進(jìn)行轉(zhuǎn)換，總計(jì)得到8814張無霧圖像樣本。

1.2 特征量提取

在有霧天氣中，雷達(dá)站攝像頭采集的圖像飽和度與無霧圖像相比明顯降低，其均值與方差可作為霧識(shí)別的特征量[9]。本文先將彩色RGB圖像轉(zhuǎn)換為HSV模式(H代表色調(diào)，S代表飽和度，V代表圖像純度)，對(duì)每一張圖像樣本提取分量矩陣S，計(jì)算S的均值M和方差V：

(1)

(2)

(3)

計(jì)算機(jī)視覺通過統(tǒng)計(jì)圖像的同質(zhì)現(xiàn)象(紋理)來表征圖像表面的紋路和圖片的光滑或粗糙程度，有霧圖片和無霧圖片的紋理特征存在顯著差異?；叶裙采仃囀且环N分析圖像紋理特征的重要方法，通過估計(jì)圖像一定距離和一定方向上像素的灰度相關(guān)性來反映方向、間隔、變化幅度及快慢等圖像紋理綜合特性[10]。設(shè)f(x,y)為一幅二維圖像，大小為M×N，灰度級(jí)別為Ng，則滿足一定空間關(guān)系的灰度共生矩陣為：

P(i,j,d,θ)={(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}

(4)

式(4)中，(x1,y1),(x2,y2)為圖像像素坐標(biāo)；i,j=1,2,…,Ng-1為灰度級(jí)；d為(x1,y1)和(x2,y2)之間的距離；θ為兩者與坐標(biāo)橫軸的夾角角度，取0、45、90、135共4個(gè)值，灰度共生矩陣P(i,j,d,θ)為Ng×Ng的矩陣。

為了更直觀地概括圖像紋理狀況，通常以從灰度共生矩陣導(dǎo)出的特征參數(shù)來描述，常用參數(shù)包括能量ASM、熵ENT、對(duì)比度Con、相關(guān)性Corr[10]。

能量：表征圖像灰度分布均勻程度和紋理粗細(xì)度，值越大則紋理規(guī)則變化越穩(wěn)定。

ASM=∑i∑jP(i,j)2

(5)

熵：表征圖像灰度分布的復(fù)雜程度，值越大則圖像越復(fù)雜。

ENT=-∑i∑jP(i,j)lnP(i,j)

(6)

對(duì)比度：表征圖像清晰度和紋理溝紋的深淺，值越大則圖像中灰度值差異大的像素對(duì)越多。

Con=∑i∑j(i,j)2P(i,j)

(7)

相關(guān)性：度量圖像的灰度級(jí)在行或列方向上的相似程度，值越大則圖片局部灰度相關(guān)性越大。

(8)

式(8)中，ui,uj為矩陣在行或列方向上的均值；σi,σj為對(duì)應(yīng)的方差。

將式(2)—式(8)的特征量組合，構(gòu)成代表圖像特征的6維數(shù)據(jù)向量[M,…,Corr]，所有圖像的特征向量構(gòu)成樣本集I，如式(9)所示，其中n為樣本集中包含的圖像總數(shù)。

(9)

1.3 研究方法

Python自帶的Scikit-Learn算法庫(kù)集成了多種機(jī)器學(xué)習(xí)算法，算法的選擇與樣本形態(tài)和問題類型密切相關(guān)。本文對(duì)霧的識(shí)別屬于監(jiān)督式分類學(xué)習(xí)問題，常用算法包括邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、決策樹、隨機(jī)森林等[11-13]。

(1)K最近鄰(K-Nearest Neighbor,KNN)，是通過判斷新加入樣本在特征空間中與各個(gè)初始中心的距離，以最鄰近樣本所屬的類別決定新樣本類別的分類方法。KNN算法通常用于解決非監(jiān)督式分類問題，但因其原理簡(jiǎn)單，易于實(shí)現(xiàn)，無需估計(jì)參數(shù)等特點(diǎn)，在監(jiān)督式分類中也得到廣泛應(yīng)用[14-15]。

(2)支持向量機(jī)(Support Vector Machines,SVM)，原理是利用核函數(shù)使低維的非線性問題映射到高維特征空間中，建立超平面作為決策曲面，使得正例和反例的隔離邊界最大化從而實(shí)現(xiàn)分類[15-18]。本文利用SVM算法訓(xùn)練時(shí)，核函數(shù)設(shè)為高斯核，分類參數(shù)設(shè)置為OvO(One vs One)，即對(duì)類別兩兩之間進(jìn)行劃分，用二分類的方法模擬多分類的結(jié)果。

(3)BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。輸入層與輸出層之間包含若干隱層，誤差信號(hào)在輸入層與隱層、隱層與隱層、隱層與輸出層之間正反向傳播，不斷調(diào)整連接權(quán)值和閾值，找出傳遞函數(shù)的最佳權(quán)值矩陣和閾值矩陣，從而建立起兩者之間的映射關(guān)系[19-21]。此類算法預(yù)測(cè)精確，但計(jì)算量巨大，需設(shè)置合理的隱層數(shù)和迭代次數(shù)。

本文采用3層BP網(wǎng)絡(luò)模型結(jié)構(gòu)和梯度下降的訓(xùn)練方法，輸入層、隱層和輸出層之間的神經(jīng)元以Sigmoid傳遞函數(shù)連接。迭代步數(shù)設(shè)置為100000，每10000步打印一次損失值，當(dāng)損失值降低至0.5以下，并經(jīng)過3—5次打印后仍保持穩(wěn)定時(shí)，表明訓(xùn)練完成。

(4)隨機(jī)森林(Random Forests)由決策樹算法演變而來?；谧灾ㄖ夭蓸蛹夹g(shù)原理，從大小為N的原始訓(xùn)練樣本集中有放回地隨機(jī)抽取樣本，重復(fù)抽取過程k次，生成k個(gè)大小同樣為N的新訓(xùn)練樣本集合，每個(gè)新樣本集生成1個(gè)分類樹(決策樹)，然后由k個(gè)決策樹組成隨機(jī)森林。分類結(jié)果由個(gè)別樹輸出類別的眾數(shù)而決定，分類誤差取決于每棵樹的分類能力和它們之間的相關(guān)性。

此外，機(jī)器學(xué)習(xí)準(zhǔn)確率與樣本的選擇密切相關(guān)。本文采集的有霧圖像中，存在來源于相同或相近時(shí)間段的樣本，會(huì)對(duì)訓(xùn)練結(jié)果造成干擾。因此，按20—30 min的時(shí)間間隔將有霧樣本集Ifog分為多個(gè)子集(I1,I2,…,Im)，從每個(gè)子集中分別隨機(jī)抽取100幅圖像，構(gòu)成新的有霧樣本集Ifog′。 對(duì)無霧樣本集Iclr進(jìn)行同樣處理，得到新的無霧樣本集Iclr′。合并兩個(gè)新樣本集，最終得到容量3690的樣本集I′。

2 結(jié)果分析

2.1 能見度與圖像特征關(guān)系

在1.2節(jié)中，提取了飽和度和紋理兩類共6個(gè)特征量用于訓(xùn)練。機(jī)器學(xué)習(xí)要求每個(gè)特征量相互獨(dú)立，且盡可能多地代表圖像的能見度特性。由于樣本集I ′不包含能見度信息，本文根據(jù)視覺經(jīng)驗(yàn)方法，對(duì)I ′當(dāng)中的所有樣本進(jìn)行能見度區(qū)分及排序。圖片首先分為“無霧”和“有霧”兩類，定義能見度1500 m為分界線，之后結(jié)合大霧過程視頻和視覺效果響應(yīng)，對(duì)所有樣本圖片按能見度從大到小排序，最后分析不同能見度下的圖像特征量變化。

由圖1可見，無霧和有霧圖像的飽和度特征差異顯著，前者的均值及方差較大。對(duì)有霧天氣而言，不同能見度的圖像飽和度均值相近，但隨著能見度下降，方差逐漸減小，表明圖像各處視覺差異更小，體現(xiàn)濃霧或強(qiáng)濃霧特性。

圖1 不同能見度條件下圖像飽和度均值(a)和方差(b)變化Fig.1 Variation of saturation mean value (a) and variance (b) of images under different visibility conditions

圖2和圖3表明，隨著能見度逐漸降低，圖像能量略微增加、熵明顯減少、對(duì)比度略微下降、相關(guān)性明顯增加。這是因?yàn)樵谟徐F天氣條件下，圖像中原有的不規(guī)則地物要素被霧覆蓋，大部分像素點(diǎn)表現(xiàn)為相似的白色或灰白色，圖像紋理結(jié)構(gòu)發(fā)生改變，從而在灰度共生矩陣的4個(gè)分量中體現(xiàn)出與無霧天氣不同的特征。

圖2 不同能見度條件下圖像能量(a)和熵(b)特征分布Fig.2 Characteristic distributions of energy (a) and entropy (b) of images under different visibility conditions

圖3 不同能見度條件下圖像對(duì)比度(a)和相關(guān)性(b)變化Fig.3 Variation of contrast (a) and correlation (b) of images under different visibility conditions

2.2 能見度等級(jí)預(yù)分類

按照氣象學(xué)定義，能見度低于10 km則為有霧天氣，進(jìn)一步分為輕霧、霧、大霧、濃霧、強(qiáng)濃霧，分別以能見度1000 m、500 m、200 m、50 m、50 m以下作為分類標(biāo)準(zhǔn)。然而對(duì)航運(yùn)管理部門而言，能見度在1000—1500 m之間的霧也對(duì)水上交通運(yùn)輸?shù)陌踩a(chǎn)生重要影響。

綜合考慮研究及應(yīng)用需求，本文擬將樣本分為6類，能見度大于1500 m的個(gè)例記為“無霧”類型，以數(shù)值0表征；能見度大于1000 m且不超過1500 m的個(gè)例記為“輕霧”類型，以數(shù)值1表征；能見度大于500 m且不超過1000 m的個(gè)例記為“霧”類型，以數(shù)值2表征；能見度大于200 m且不超過500 m的個(gè)例記為“大霧”類型，以數(shù)值3表征；能見度大于50 m且不超過200 m的個(gè)例記為“濃霧”類型，以數(shù)值4表征；能見度不超過50 m的個(gè)例記為“強(qiáng)濃霧”類型，以數(shù)值5表征。這樣就將不同種類霧的識(shí)別問題轉(zhuǎn)化為對(duì)6類數(shù)值輸出的預(yù)測(cè)問題。

本文采用監(jiān)督學(xué)習(xí)方法，需要對(duì)參與訓(xùn)練的樣本預(yù)分類，設(shè)置初始類型標(biāo)簽(label)。但一方面由于航運(yùn)部門雷達(dá)站未配備能見度檢測(cè)儀，另一方面長(zhǎng)江航道重慶段的沿江氣象觀測(cè)站也較為稀少，能見度數(shù)據(jù)難以使用。因此，本文根據(jù)2.1節(jié)中圖像特征量的分布趨勢(shì)，選擇對(duì)能見度變化最為敏感的飽和度方差和熵2個(gè)因子，定義經(jīng)驗(yàn)分類方法，如表1所示。

表1 無霧及有霧天氣類型的經(jīng)驗(yàn)分類方法Table 1 Empirical classification method of non-fog events and fog events

根據(jù)經(jīng)驗(yàn)分類方法，初步確定了圖片樣本的標(biāo)簽。無霧天氣及5類有霧天氣樣本集的特征量平均值分布見表2。

由表2可見，無霧樣本的飽和度均值和飽和度方差的特征平均值明顯高于有霧樣本，有霧樣本的飽和度特征量平均值隨能見度降低而降低；樣本集的熵平均值隨能見度降低而降低，相關(guān)性平均值隨能見度降低而升高，與2.1節(jié)的結(jié)論一致。

表2 無霧及有霧天氣類型的特征量平均值Table 2 Mean value of characteristic variables of non-fog events and fog events

2.3 樣本訓(xùn)練與檢驗(yàn)

圖4 機(jī)器學(xué)習(xí)算法識(shí)別霧的流程圖 Fig.4 Flow chart of fog identification using a machine learning algorithm

(10)

式(10)中，k為類型；Nk為該類型的測(cè)試樣本總數(shù)；nk為對(duì)Nk個(gè)樣本訓(xùn)練后，輸出類型為k的樣本個(gè)數(shù)。根據(jù)式(10)，計(jì)算2.3節(jié)所述的機(jī)器學(xué)習(xí)算法對(duì)無霧天氣和5種有霧天氣的識(shí)別率，見表3。

(1)K最近鄰。KNN算法對(duì)無霧和輕霧天氣的識(shí)別準(zhǔn)確率達(dá)到100%，強(qiáng)濃霧的識(shí)別也有較好表現(xiàn)(接近90%)，對(duì)能見度在50—1000 m區(qū)間的霧、大霧和濃霧天氣識(shí)別效果稍差，在70%—80%之間。

(2)支持向量機(jī)。SVM算法對(duì)無霧天氣可實(shí)現(xiàn)100%識(shí)別，輕霧的識(shí)別率也接近100%，但對(duì)能見度低于1000 m的4種有霧天氣識(shí)別率均低于85%，其中霧和濃霧的識(shí)別率明顯低于其他3種算法，僅在50%左右或以下。這是由于SVM算法適用于二元分類，對(duì)多元分類問題的模擬能力較差導(dǎo)致的。

表3 無霧及有霧天氣類型的機(jī)器學(xué)習(xí)算法識(shí)別率對(duì)比Table 3 Comparison of identification rate of machine learning algorithm of non-fog events and fog events %

(3)BP神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)算法對(duì)無霧天氣可達(dá)100%識(shí)別；輕霧和大霧的識(shí)別率低于其他3種算法，分別為79%，40%；霧和濃霧的識(shí)別率在75%—80%之間；強(qiáng)濃霧則基本無法識(shí)別：39個(gè)強(qiáng)濃霧樣本中，18個(gè)被判斷為大霧，21個(gè)被判斷為濃霧，這是由算法的過擬合現(xiàn)象引起的。當(dāng)BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練進(jìn)行到一定程度之后，隨著學(xué)習(xí)能力的提高，模型學(xué)習(xí)的樣本細(xì)節(jié)過多，對(duì)一類或幾類樣本(強(qiáng)濃霧)的特征概括能力下降，從而錯(cuò)誤地將其歸為相近或相鄰樣本所屬的類別(大霧或濃霧)。

(4)隨機(jī)森林。分別以1000、5000、50000棵決策樹(樹的棵數(shù)代表隨機(jī)采樣次數(shù))測(cè)試算法，結(jié)果表明。當(dāng)決策樹數(shù)量從1000增加至5000時(shí)，識(shí)別效果非但沒有提高，反而略有下降；而繼續(xù)增至50000時(shí)，識(shí)別率仍未明顯提高，且由于復(fù)雜度增加，計(jì)算速度大幅降低，比前兩次訓(xùn)練平均多耗時(shí)1—2 s左右。因此，包含1000棵決策樹的隨機(jī)森林算法即可高效精確地解決問題，除濃霧以外，其他所有天氣類型的識(shí)別率均在90%左右或以上，濃霧的識(shí)別率為81%.

2.4 圖形用戶界面

利用Python語言的Tkinter模塊編寫圖形用戶界面(簡(jiǎn)稱GUI，下同)，對(duì)霧識(shí)別模型的樣本訓(xùn)練及建模過程進(jìn)行封裝和展示。該模型包括圖像讀取、霧識(shí)別、結(jié)果打印3部分功能，結(jié)構(gòu)如圖5所示。

圖5 霧識(shí)別模型功能結(jié)構(gòu)Fig.5 Functional structure of fog identification model

通過霧識(shí)別模型GUI，用戶首先選擇需要識(shí)別的霧天氣圖像；圖像經(jīng)過預(yù)處理后進(jìn)入后臺(tái)，由各種算法構(gòu)建的模型對(duì)其進(jìn)行霧類型判斷，計(jì)算全圖或分圖霧識(shí)別結(jié)果；之后在前臺(tái)打印對(duì)應(yīng)算法模型的識(shí)別率，輸出該圖片的霧類型，GUI展示效果參考圖6。

圖6 霧識(shí)別模型圖形用戶界面Fig.6 Graphical user interface of fog identification model

3 結(jié)論與討論

(1)K最近鄰和隨機(jī)森林算法在本文的霧識(shí)別問題中表現(xiàn)較優(yōu)，前者對(duì)5種有霧天氣的識(shí)別率均超過70%，后者超過80%。

(2)4種算法均能夠以100%的準(zhǔn)確率識(shí)別能見度超過1500 m的無霧天氣。除BP神經(jīng)網(wǎng)絡(luò)以外，其他算法對(duì)能見度在1000—1500 m之間的輕霧天氣，和能見度低于50 m的強(qiáng)濃霧天氣識(shí)別能力較強(qiáng)，前者識(shí)別率>95%，后者≥85%。

(3)能見度位于50—1000 m區(qū)間內(nèi)的濃霧、大霧和霧識(shí)別難度較大。以表現(xiàn)最優(yōu)的隨機(jī)森林算法為例，上述3類有霧天氣的識(shí)別率分別為81%、89%、93%，表現(xiàn)較差的支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)則更低。造成該問題的原因，一方面是該區(qū)間內(nèi)的霧特征較為相似，訓(xùn)練過程中特征量相互疊加，造成混淆；二是由于算法本身局限性，對(duì)樣本特征學(xué)習(xí)能力下降而產(chǎn)生的過擬合現(xiàn)象。

(4)本文提出的霧識(shí)別模型以計(jì)算機(jī)圖像識(shí)別原理為基礎(chǔ)，識(shí)別準(zhǔn)確性明顯高于傳統(tǒng)方法，對(duì)長(zhǎng)江水上交通安全保障服務(wù)具有重要意義。在實(shí)際應(yīng)用中，擬將該模型接入重慶海事局系統(tǒng)平臺(tái)，可更加直接地讀取雷達(dá)站的攝像頭圖片，實(shí)時(shí)識(shí)別霧天氣類型并輸出結(jié)果，為海事部門應(yīng)對(duì)大霧天氣提供決策支撐。

(5)為使模型更具實(shí)用性，還需進(jìn)行優(yōu)化設(shè)計(jì)。本文構(gòu)建的模型主要存在以下不足：一是計(jì)算效率不高，以隨機(jī)森林為例，包含1000棵樹的模型訓(xùn)練時(shí)間約為2—3 s，后期考慮在不損失識(shí)別率的前提下進(jìn)一步減少?zèng)Q策樹數(shù)量，以提高速度；二是部分算法對(duì)霧的識(shí)別準(zhǔn)確性不高，后期擬增加卷積神經(jīng)網(wǎng)絡(luò)(CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)等深度學(xué)習(xí)算法，若其在霧識(shí)別問題中表現(xiàn)優(yōu)異，則能夠進(jìn)一步優(yōu)化當(dāng)前模型，提高準(zhǔn)確性。