改進RCF網絡在建筑物邊緣檢測中的應用

劉佳蕙 蘇杭

基金項目：江蘇省研究生科研與實踐創(chuàng)新計劃項目；項目名稱：電力設施環(huán)境AI遙感監(jiān)測研究；項目編號：KYCX21_2627。

作者簡介：劉佳蕙（1998— ），女，山東威海人，碩士研究生；研究方向：攝影測量與遙感。

摘要：建筑物邊緣檢測是提取建筑物信息最直接有效的方法，近幾年，卷積神經網絡被廣泛應用于建筑物邊緣檢測研究，其中RCF網絡被證明是應用于建筑物邊緣檢測的效果較好的卷積神經網絡。然而，RCF網絡在建筑物邊緣檢測的過程中，上采樣過程采用一步雙線性插值算法，上采樣結構過于簡單，導致產生了在深層網絡特征層小尺寸圖像特征直接上采樣至大尺寸圖像的條件下誤差過大的問題。文章提出了階梯式上采樣結構以改進RCF網絡，該方法能夠有效減少一次雙線性插值算法帶來的誤差，實驗證明該方法能夠有效提高RCF網絡在建筑物邊緣檢測上的結果精度，顯著增加輸出結果圖像的清晰度。

關鍵詞：卷積神經網絡；RCF網絡；建筑物邊緣檢測；階梯上采樣

中圖分類號：P237 文獻標志碼：A

0 引言

建筑物是人類生活、生產和工作的重要場所，人類圍繞建筑物集群以群居方式生活。建筑物不僅是人類生活的物質基礎，也是經濟發(fā)展的地理信息基礎，獲取建筑物信息對城市發(fā)展和擴張、城市災害預警和救援等都有重要作用。隨著遙感技術的發(fā)展，遙感圖像在滿足信息提取需求的同時，存儲了大量的建筑物信息，通過遙感圖像識別和提取建筑物信息越來越受到人們的關注，而解決這一難題的關鍵在于建筑物邊緣檢測。

隨著計算機視覺的發(fā)展，圖像邊緣檢測技術也在不斷進步，使得圖像邊緣檢測應用于遙感圖像成為可能。如何利用邊緣檢測方法快速準確地提取遙感影像上建筑物邊緣信息成為研究熱點之一。傳統(tǒng)的邊緣檢測方法［1］主要為計算機圖形學中利用原始圖像中像素的某小鄰域來構造邊緣檢測算子進行圖像邊緣檢測，同時應用于建筑物邊緣檢測［3］，如Canny算子［4］等。這些微分算子雖然計算簡單，對于自然圖像邊緣檢測有相當好的效果，然而遙感影像的背景復雜多變，對傳統(tǒng)邊緣檢測造成大量噪聲干擾，因此對建筑物邊緣提取具有較強的抵抗力，無法適應建筑物邊緣提?。?］。隨著深度學習技術的發(fā)展，各種神經網絡層出不窮，將卷積神經網絡（Convolutional Neural Network，CNN）與邊緣檢測算法結合提取建筑物邊緣［5］成為當下行之有效的方法之一。經典的卷積神經網絡架構包括：AlexNet，VGGNet，ResNet［6］。其中，建筑物邊緣檢測算法使用最多的卷積神經網絡結構是VGGNet，整個網絡改為使用3×3卷積核和2×2最大池化，可以很好地提取圖像特征，并且網絡參數(shù)較少，計算量更少，網絡收斂更快。2015年，整體嵌套邊緣檢測（Holistically-nested Edge Detection，HED）被提出，其以VGG16為主干網絡設計了深監(jiān)督網絡與卷積神經網絡相結合，使用嵌套方式對自然圖像邊緣進行檢測和提取，有效解決了邊緣模糊問題，其邊緣提取效果明顯優(yōu)于Canny算子等傳統(tǒng)邊緣檢測方法。然而，HED網絡僅考慮每一級的最后卷積層信息，在直接應用于建筑物邊緣檢測時遺漏關鍵邊緣信息，使得其并不適用于建筑物邊緣檢測。在HED網絡基礎上，RCF網絡在下采樣過程中，分別對五個卷積層做橫向卷積，并對五個支路分別做上采樣，將所有卷積層的信息組合，充分利用了所有卷積層的多尺度和多層次信息。2019年，BDCN網絡［7］在多尺度卷積神經網絡的基礎上實現(xiàn)了雙向級聯(lián)網絡結果，同時引入了尺度增強模塊，將多尺度與尺度增強相結合，最終提高了邊緣檢測能力。SegNet［8］是基于像素的端到端的網絡架構，是對FCN的優(yōu)化，沿用了FCN進行圖像語義分割的思想。該網絡融合了編碼-解碼結構和跳躍網絡的特點，使得模型能夠得到更加精確的輸出特征圖，在訓練樣本有限的情況下也能得到更加準確的分類結果。

在以上卷積神經網絡中，上采樣方式對求取損失、優(yōu)化網絡參數(shù)來說也尤為重要。雙線性插值是卷積神經網絡上采樣過程中最常用的方法之一，雙線性插值算法充分利用了源圖中虛擬點四周的4個真實存在的像素值來共同決定目標圖中的1個像素值，從而反映了原始圖像的信息。HED邊緣檢測網絡的上采樣方式是按照一定的比例通過補0來擴大輸入圖像的尺寸，先旋轉卷積核，再進行正向卷積，最終得到與輸入層相同尺寸大小的輸出層。RCF使用反卷積（deconv）對特征層進行上采樣，其本質與雙線性插值相同，在深層特征基礎上進行插值操作，將五層下采樣的輸出特征層直接上采樣至原尺寸大小，并對上采樣結果采用交叉熵損失融合損失進行梯度更新。但由于每層均只使用一次插值上采樣，對于深層網絡的特征層的上采樣結果把握仍不準確，在過小的尺寸上采樣到過大尺寸圖像的過程中，由于跨步過大，運算量也隨之增加，同時產生的誤差也成倍增加，并不能適用于邊緣檢測神經網絡。

針對以上問題，本文提出一種新的上采樣結構，利用雙線性插值對于尺寸跨步不大的特征層的精度較好的特點，采用階梯式上采樣結構對RCF算法進行了進一步的改進優(yōu)化，能夠實現(xiàn)精細建筑物的提取，使得到的結果精度得以優(yōu)化。實驗結果表明，改進后的算法性能有很大提高。

1 RCF網絡模型改進

1.1 RCF網絡模型

RCF網絡以VGG16為主干網絡，保留了全卷積層并將其分為5個階層，將每個階層的卷積層信息在下采樣的同時進行卷積融合提取到每個階層的圖像特征層，分別得到5個側邊特征層。此時，5個特征層大小不一，代表了由淺到深5個層級的圖像特征，通過反卷積得到與輸入尺寸相同大小的側邊特征層。最后，再將這5個側邊特征層進行卷積融合，得到最終的邊緣圖。RCF的網絡模型架構如圖1所示。

有學者將RCF網絡應用于馬薩諸塞州建筑物數(shù)據(jù)集，做建筑物邊緣提取實驗，并在F1分數(shù)上取得了較好的精度，證實了使用RCF網絡做建筑物邊緣提取研究是有意義的。本文研究基于RCF網絡做進一步改進。

1.2 RCF網絡應用于建筑物邊緣檢測的改進設計

在邊緣檢測網絡RCF中，通過主干VGG網絡得到的五個側邊特征層是尺寸大小不一的，值得注意的是，在4次池化操作的下采樣過程之后，得到的輸出圖片尺寸大小只有原始圖片的1/16，之后使用雙線性插值上采樣方式，將五層不同尺寸的側邊特征層直接插值到與輸入圖片相同的尺寸大小。這種上采樣方式存在一個明顯的問題。由于雙線性插值對圖像補充像元使用補0的方法，對深層網絡的小尺寸的特征層來說，這種方法誤差過大。當輸入圖像尺寸為256×256像素，在第五層卷積層后得到的特征層尺寸為16×16像素，那么上采樣到與輸入圖像尺寸相同的256×256的尺寸大小時，此時256×256像素圖像中的所有像素，僅由16×16像素的特征層像素相關性決定，對256×256像素圖像中的邊緣像素來說偏移過大，因此誤差過大，此時的深層特征層信息對網絡來說并沒有被準確把握。

筆者改用階梯式上采樣方式，由小尺寸一層一層上采樣到大尺寸，即整體過程類似階梯狀的逐層上采樣，通過逐層上采樣在中間過程中實現(xiàn)中間誤差減少，將大尺寸的像素值與中尺寸的像素值的相關性提高，避免出現(xiàn)上采樣得到的大尺寸像素完全由深層網絡特征的小尺寸像素值直接決定而導致的誤差值偏大的情況（見圖2）。

2 實驗結果及分析

2.1 數(shù)據(jù)集

為了驗證實驗方法的準確性，本研究使用南京市江北新區(qū)數(shù)據(jù)集。該數(shù)據(jù)集的研究區(qū)域位于江蘇省南京市江北新區(qū)。研究區(qū)域覆蓋了53.67 km2，尺寸為27 337×21 816像元（空間分辨率0.3 m，波段為RGB），區(qū)域內統(tǒng)計包含了7 602棟獨立的建筑物。

2.2 精度評定指標

通常情況下，在進行建筑物邊緣檢測時，應使用邊緣提取的評價指標對邊緣檢測網絡進行精度評價與結果分析。本文采取7個評價指標以衡量改進RCF網絡的邊緣提取結果質量，分別是精確率（Precision），召回率（Recall）、F1分數(shù)、總體準確率（OA）、IoU值、Kappa系數(shù)以及非邊緣能量（Ene）：

其中N，TP，TN，F(xiàn)P，F(xiàn)N分別代表樣本總數(shù)，真正樣本數(shù)，真負樣本數(shù)，假正樣本數(shù)，假負樣本數(shù)；p0，pe則分別代表預測一致率和期望一致率；T表示計算Ene的閾值，Pi表示小于T的第i像元的邊緣概率值，Nt表示概率值小于T的像元數(shù)量。

其中，本研究采用了邊緣厚度評價指標——非邊緣能量（Ene），其定義為邊緣概率圖中非邊緣像元的平均質量，如公式（9）所示。該指標同時反映出邊緣提取的視覺分析結果，即建筑物邊緣概率圖的整潔程度。當該指標值越低時，代表建筑物邊緣效果圖中非邊緣能量值越低，提取建筑物邊緣圖中非邊緣像素越少，建筑物邊緣越薄，視覺效果越好。

在邊緣檢測卷積神經網絡中，邊緣預測結果是一個像元值介于0～1的概率圖。因此，通常需要設置一個分類閾值（Th），將邊緣概率圖轉換為大于Th的二值圖，本研究采用最優(yōu)結果閾值為Th，且計算Ene的閾值T與之相等。與此同時，本文計算評價指標時使用兩種方案：嚴格精度評價和松弛精度評價。松弛精確率為真實建筑物邊緣像元ρ個像元范圍內的預測邊緣像元的指標得分，而松弛召回率為預測建筑物邊緣像元ρ個像元范圍內的真實邊緣像元的指標得分。在本研究關于松弛方案的實驗，筆者將松弛參數(shù)ρ設置為3。

2.3 改進模型訓練與驗證

為了對比改進的RCF網絡的正確性，本文首先復現(xiàn)了RCF網絡在南京市江北新區(qū)建筑物數(shù)據(jù)集上的建筑物邊緣提取結果。同時，提取了改進的RCF網絡在江北新區(qū)數(shù)據(jù)集上的建筑物邊緣檢測結果，并將兩種結果做了對比分析。

本文實驗是在NVIDIA Quadro P4000處理器上進行，硬件內存為8GB，實驗使用Python3.6.10，Numpy1.15.0和CUDA9.2完成程序實現(xiàn)，詳細信息如表1所示。

本文結合設備硬件設置批處理尺寸為10，初始學習率為1e-6，動量為0.9以及權重衰減為2e-4，每執(zhí)行完1/3的迭代次數(shù)將學習率降低10倍。詳細訓練參數(shù)如表2所示。

本文將改進RCF網絡應用于南京江北新區(qū)建筑物邊緣數(shù)據(jù)集，結合上述7項評價指標將改進RCF網絡與RCF原網絡進行比較分析，檢測結果如表3所示。

通過表3的對比可以發(fā)現(xiàn)以階梯上采樣方式改進的RCF網絡對于建筑物邊緣檢測相比于RCF網絡，各項精度評定指標結果都有較好的提升。在嚴格度量方案中，加入階梯上采樣的改進RCF網絡較RCF原網絡，F(xiàn)1分數(shù)提高了0.08%，召回率（Recall）提高了0.81%，Kappa系數(shù)提高了0.07%，IoU值提高了0.06%；在松弛度量方案中，改進網絡較原網絡，F(xiàn)1分數(shù)提高了0.18%，總體準確率（OA）提高了0.08%，精確率（Precision）提高了0.94%，Kappa系數(shù)提高了0.37%，IoU值提高了0.44%，這些指標說明了改進的RCF網絡具有更好的、更準確地建筑物邊緣提取能力。同時，在整體邊緣檢測效果來說，非邊緣能量（Ene）下降了0.68%，這說明改進的RCF網絡提取出的建筑物邊緣相比RCF原網絡來說更加精細，建筑物邊緣厚度更薄，噪聲信息相較于RCF原網絡更少，視覺效果得到了更好的優(yōu)化。從提取結果能夠發(fā)現(xiàn)，加入階梯上采樣模塊的RCF網絡提取出來的建筑物邊緣相較于RCF原網絡更為精細，邊緣厚度更低，與真實的建筑物邊緣標簽更加接近，邊緣提取結果整體上噪聲信息更少，建筑物邊緣更趨于直線狀，優(yōu)化了RCF網絡提取的建筑物邊緣曲線狀的問題，在視覺上有更好的表現(xiàn)。實驗結果說明了，改進RCF網絡為后續(xù)利用邊緣提取結果做自動化、數(shù)字化、矢量化處理提供了更優(yōu)質的基礎，展現(xiàn)出更好的建筑物邊緣檢測與提取能力。

3 結語

目前，RCF網絡已經作為一種基礎網絡被廣泛應用于建筑物邊緣檢測。本文在RCF網絡的基礎上做了上采樣結構的改進，改進的RCF網絡可以有效彌補RCF網絡上采樣中過多目標信息丟失的問題，使得上采樣結果得到優(yōu)化，側邊輸出層圖像上采樣誤差更小，融合后輪廓更精細，視覺效果更好。實驗結果表明，本文所提出方法，有效地提高了RCF網絡在建筑物邊緣檢測上的精度，獲得了更好的建筑物邊緣檢測結果。

參考文獻

［1］李翠錦，瞿中.基于深度學習的圖像邊緣檢測算法綜述［J］.計算機應用，2020（11）：3280-3288.

［2］倪歡，張繼賢，林祥國.三維點云邊緣檢測和直線段提取進展與展望［J］.測繪通報，2016（7）：1-4.

［3］孫根云，黃丙湖，朝旭軍.遙感圖像邊緣檢測的不確定性及其處理方法探討［J］.遙感信息，2010（6）：110-114.

［4］CANNY J. A computational approach to edge detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986（6）：679-698.

［5］葉沅鑫，孫苗苗，周亮，等.面向建筑物變化檢測的主體邊緣分解與重組神經網絡［J］.測繪學報，2023（1）：71-81.

［6］KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks［J］.Advances in neural information processing systems，2012（25）：1097-1105.

［7］HE J，ZHANG S，YANG M，et al. BDCN： Bi-Directional Cascade Network for Perceptual Edge Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020（99）：1.

［8］BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet： A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation［J］.IEEE transactions on pattern analysis and machine intelligence，2017（12）：2481-2495.

（編輯 姚 鑫）

Abstract： Building edge detection is the most direct and effective method to extract building information， in recent years， convolutional neural networks have been widely used in building edge detection research， among which RCF network has been proved to be a convolutional neural network with good effect applied to building edge detection. However， in the process of RCF network detection at the edge of the building， there is a problem that the upsampling process adopts a one-step bilinear interpolation algorithm， and the upsampling structure is too simple， resulting in too large error under the condition that the features of the small-size image of the deep network feature layer are directly upsampled to the large-size image. In this paper， a stepped upsampling structure is proposed to improve the RCF network， which can effectively reduce the error caused by the bilinear interpolation algorithm， and the experimental results show that the method can effectively improve the accuracy of the RCF network in the detection of building edges， and significantly increase the clarity of the output images.

Key words： Convolutional Neural Network （CNN）; RCF network; building edge detection; stepped upsampling