基于無人機和圖像識別技術的玻璃幕墻檢測系統(tǒng)研究

黃啟云，要東明

（廣東省有色工業(yè)建筑質量檢測站有限公司 廣州 510725）

關鍵字：無人機；外墻檢測；卷積神經網絡；玻璃幕墻

0 引言

玻璃幕墻具有重量輕、采光性好、便于更換維護等優(yōu)點，在現代建筑中被大量采用作為外觀裝飾，成為了現代建筑的美學代表［1-6］。玻璃在生產的過程中不可避免的存在一些內部缺陷，在日后的使用中可能會發(fā)生碎裂，導致樓下行人受傷，發(fā)生安全事故。既有玻璃幕墻建筑的玻璃碎裂已經成為玻璃幕墻最重要的安全問題，是否能在發(fā)生危險之前把存在危險的玻璃替換，是判定一個大廈物業(yè)管理方是否合格的重要指標。在2000～2020 年之間的我國既有玻璃幕墻建筑的安全性報道中，玻璃幕墻結構出現最多的安全問題是玻璃碎裂［7-9］。

根據《2000-2024 年中國建筑幕墻行業(yè)市場前瞻與投資戰(zhàn)略規(guī)劃分析報告》指出，在2001～2005這5年之間，我國的玻璃幕墻產量增長速度處于歷史最高位。

在這之后的幾年中，我國的玻璃幕墻產量保持穩(wěn)定狀態(tài)，到2018年初，玻璃幕墻產量已經達到15億m2。因為玻璃幕墻具有自身重量輕的特點，在我國高度超過100 m 的建筑幾乎都使用玻璃幕墻作為外部結構。根據《建筑結構設計可靠性統(tǒng)一標準：GB 50068—2018》［10］中的規(guī)定，玻璃幕墻建筑外圍防護結構的設計使用年限宜為25年。根據文獻［10］規(guī)定，我國的玻璃幕墻存量面積在1 000萬m2以上，由此可以推斷，隨著時間的增長，我國玻璃幕墻會陸續(xù)達到使用年限。當今市場上，1 m2玻璃幕墻的人工檢測費用在40元/人左右，一棟玻璃幕墻建筑中待檢的面積一般都在10 000 m2以上，按此價格推算，每棟建筑的檢測費用都在40 萬元以上［11］。依據《玻璃幕墻工程技術規(guī)范：JGJ 102—2019》［12］規(guī)定，在玻璃幕墻工程完成后，需要以5 年為一個檢查周期，對整棟建筑的玻璃幕墻進行完整的安全檢測，這導致大廈的物業(yè)管理公司需要支付高額的檢測費用［13］。此外我國沒有現行的標準去規(guī)定玻璃幕墻的維護主體，這就造成了業(yè)主、開發(fā)商和物業(yè)互相推諉的局面，這種情況增加了玻璃幕墻的風險。依據文獻［12］規(guī)定，玻璃幕墻采用抽樣的安全檢測方式，例如一些省份的省標規(guī)定取高層玻璃幕墻總量的5%進行檢測，每層樓的檢測樣本數量不能低于1。以現在的這種抽樣檢查的方式，根本無法全面客觀地判斷整個玻璃幕墻的安全情況，并且以人工目視的方法去檢查也造成檢測效率低、精準度不高的情況。如今隨著高層玻璃幕墻建筑數量逐年增多，如何快速并準確地檢查建筑外觀玻璃幕墻的安全性成為了一個亟待解決的問題。因為玻璃面板的損壞不僅會降低建筑物的防風保溫能力，更重要的是玻璃面板破碎后，碎片會威脅到建筑物下行人的生命安全。對于高層建筑，其建筑內部結構空間限制，位于一些特殊結構區(qū)域的玻璃幕墻面板無法直接地觀察到，也無法及時地進行檢測，成為非常嚴重的安全隱患。以現有的人工目測的檢測方式，幾乎無法對現階段玻璃幕墻進行全面的安全檢測。隨著人們對建筑安全的要求提高，傳統(tǒng)的人工檢測方法已經無法滿足安全需求。因此，探索一個智能化、自動化的玻璃幕墻面板損傷檢測方法是“智慧樓宇”的必然要求。

最近人工智能技術、數字成像技術以及無人機技術的蓬勃發(fā)展，已逐漸應用到玻璃幕墻檢測中。數字成像技術精度高、存儲性強，在橋隧的裂縫檢測中已經得到了廣泛的使用。無人機技術以高機動性的特點，可以快速到達高層建筑的指定檢測位置，并搭配相機以采集數字圖像信息，這種技術在施工現場檢測、建筑三維建模等領域得到了廣泛的應用。目前使用最多的是旋翼式無人機，這種類型的無人機可以穩(wěn)定地懸停在待檢目標周圍。近年來，旋翼式無人機和數字成像融合檢測技術，在建筑領域得到了廣泛的應用［14-15］。以旋翼式無人機為眼，數字成像技術為腦的集成式應用是未來建筑檢測信息化變革的主要方法。與傳統(tǒng)的方法（如升降機、望遠鏡）進行目視相比，無人機可以顯著降低時間消耗、勞動強度和安全風險，從而可以進行更頻繁的檢查。隨之而來的另一個問題出現了，有沒有一個方法可以快速地處理無人機拍攝的大量圖像呢？答案就是卷積神經網絡。卷積神經網絡可以將完整圖像作為輸入并以合理的方式約束神經網絡架構。與其他神經網絡算法相比，卷積神經網絡模型的特點是利用網絡連接的神經元節(jié)點以非線性方法處理數據。這個特點非常適合于圖像處理，可以對圖像進行像素級分割并對損傷區(qū)進行量化［16］。

卷積神經網絡是深度學習最具代表的算法，它與傳統(tǒng)神經網絡區(qū)別在于添加了卷積層和降維層模擬人腦對信號分級處理。卷積神經網絡有輸入層、卷積層、池化層、全連接層和輸出層，包含了卷積計算和深度結構。輸入層的功能和傳統(tǒng)神經網絡一樣，作為接收和傳遞信息。圖像預處理也是在輸入層完成的。卷積計算屬于隱藏層的操作，目的在于使用卷積核提取圖像特征。具體操作是使用一個卷積核按一定步長規(guī)律在圖像上滑動，每次滑動時覆蓋的區(qū)域，卷積核與該區(qū)域元素對應相乘再求和，全部區(qū)域都計算完得到的就是一個新的特征圖。不同的卷積核可以提取不同的特征。ReLu、tanh 和sigmoid 都是激活函數，目的是使輸出結果呈非線性。池化層也稱為下采樣層，有最大池化和平均池化兩種操作。與卷積操作相似，但是池化沒有卷積核，而是在原圖上按一定規(guī)律劃分成多個小區(qū)域，每個小區(qū)域使用一個值替代，可以是該區(qū)域的平均值，或者最大值。目的是提取該區(qū)域特征，減少圖片維度，減少過擬合。全連接層是連接前面隱藏層和輸出層，將隱藏層的特征值映射到樣本空間，方便后續(xù)做分類或者回歸。神經網絡是通過一系列卷積池化等操作實現像素到像素的分割。

本文通過采集玻璃幕墻圖像數據，基于訓練的幕墻破損識別模型對幕墻圖像數據進行破損識別，利用無人機和卷積神經網絡建立一種玻璃幕墻的快速檢測方法。

1 實驗方案

1.1 系統(tǒng)組成

⑴視覺系統(tǒng)主要由無人機與搭載的相機組成。相機會捕捉圖像并傳輸至計算機圖像處理系統(tǒng)。

⑵電腦負責控制視覺系統(tǒng)，并結合通訊模組，對視覺系統(tǒng)所接收及反饋到的信號進行處理。

1.2 檢測方式

⑴玻璃幕墻處于閉合狀態(tài)時：主要以自然光檢測為主，在自然光光強無法滿足對玻璃幕墻進行破損檢測的情況下，再啟用激光照射進行檢測。

⑵玻璃幕墻部分打開時：由于自然光的強度在不同方位下的不確定性，故此將采用激光照射，偏振成像探測器獲取圖像并由電腦中的圖像處理系統(tǒng)進行圖像處理。

玻璃幕墻檢測系統(tǒng)組成如圖1所示。

1.3 系統(tǒng)結構

視覺系統(tǒng)由無人機和偏振光相機構成，偏振光相機對幕墻面板進行實時成像，將所得圖像數據傳遞至電腦，通訊負責傳遞外部檢測裝置的檢測信息與電腦發(fā)送至主控制器的命令，電腦負責對數據的分析及方便反饋操作人員的命令。玻璃幕墻檢測系統(tǒng)運行方式如圖2所示。

2 實驗設備和算法

2.1 無人機

本文中使用是一種商用輕型無人機，無人機的自主導航系統(tǒng)可以實現高水平的自動化。

2.2 卷積神經網絡

近年來，公開可用的開源軟件庫不斷增加，用戶可以使用開源的軟件庫構建人工神經網絡，Keras 是最受歡迎的開源庫。本文利用Keras 建立了一個網絡，將收集到的玻璃幕墻圖像片段分類為“含裂縫”或“無裂縫”。為了更好地使用卷積神經網絡對圖像進行分類，需要對卷積神經網絡模型進行訓練，圖像數據集可以由自己或使用公開的數據集獲得。

卷積神經網絡模型對輸入圖像進行特征提取，通過全連接層進行分類，輸出每個類的分數。每一層負責不同的函數，并使用來自上一層的結果作為輸入，前饋特征使用過濾器分配初始隨機權重和偏差預測類，計算損失預測分數和地面真相，應用反向傳播不斷調整過濾器權重和偏差，最終獲得一個優(yōu)化的模型。本文中卷積神經網絡算法圖像識別流程如圖3所示。

算法操作步驟如下：①獲取參考玻璃幕墻圖像數據序列；②依據所述參考玻璃幕墻圖像數據序列進行模型訓練；③在預設破損屬性網絡未搜索到該幕墻破損定位區(qū)域對應的幕墻破損區(qū)域屬性，則依據刪除預設圖像特征向量的圖像數據以后的所述玻璃幕墻圖像數據，基于特征提取網絡生成所述玻璃幕墻圖像數據對應的圖像數據特征集。

本文實驗中選擇使用指數衰減學習率，即學習率會跟據訓練下降的速度自行調節(jié)變化，防止產生震蕩。指數衰減學習率的方程為［17］：

式中：φ為當前學習率；γ為初始學習率；η為學習率衰減系數；a為當前迭代次數；b為衰減速度。實驗初始學習率設置為2e-3，學習率衰減速度為0.5，當前迭代次數為0，衰減速度為1 500，訓練的總輪數為5 000輪。

3 實驗過程

無人機按照爬行線的飛行模式自動捕捉玻璃物的一面墻。自主飛行算法以起始坐標、墻的長度、距離墻的距離和最小/最大高度作為輸入參數。這些玻璃圖像每分鐘由無人機拍攝一次，并被轉移到計算機上進行分析。使用攝影測量軟件對獲得的圖像進行數字矩陣化處理。

在進行卷積神經網絡模型訓練之前，每個數字矩陣都會被標記，以指示該區(qū)域中是否包含一個對象。池化層進行向下采樣，以減小輸入數據的空間大小。本文的最大池輸出（X2×Y2×Z2）的尺寸計算如下［19］：

其中，X1、Y1和Z1表示圖形數據的寬度、高度和深度，而F和S分別表示池窗口大小和池步幅值。由于池化過程的不同參數導致不同的輸出，通過調整參數可以實現不同模型的性能。池化時的滑動窗口為3×3，步幅為2。將局部鄰域像素歸一化后，值越大的像素越明顯，更容易檢測到高頻特征。局部響應采用網絡歸一化，進行一種側向抑制，增強更興奮的神經元。卷積神經網絡圖像識別過程如圖4所示。

⑴制作數據：active_samples=2000，test_samples=800；train_samples=200；

⑵用val_samples初始化模型；

⑶分別對active_samples目錄下的數據進行方差測定，方差比較小比較穩(wěn)定，也就說明具有一致性，將所有的數據方差排序，選擇最大的200 張，將這200 張加入到train_samples里面；

⑷更新當前的訓練數據train_sample-s，模型進行重新訓練或者微調，得到新的模型；

⑸ 重復以上步驟，直到主動選擇樣本active_samples 的數量為0或者模型已滿足需要，不需要再更新。卷積神經網絡圖像識別過程如圖4所示。

精度和反饋率是大多數機器學習模型的典型指標，使用方程式進行計算［20］：

式中：真陽性TP 表示正確預測為缺陷的真缺陷數；FP假陽性指預測為缺陷的非缺陷數；FN 假陰性為預測為非缺陷的真缺陷數，表示檢測模型中缺少缺陷。由于目標檢測的特點，結果中不存在真陰性。對于每個檢測，都會生成一個具有置信水平和一組坐標的邊界框。對于TP，預測的邊界框βp和真值框βg之間的重疊比必須超過一定的閾值α（在本研究中為0.5）?？捎梅匠淌接嬎悖?0］：

4 結果和討論

無人機收集到了像素范圍在1 440×720 到320×256之間的圖像。缺陷檢測模型可以使用不同大小的輸入圖像進行訓練，理論上可以使用更高分辨率的圖像提取更多的信息。卷積過程如圖5所示。

高分辨率的訓練圖像同時會增加計算成本。本研究中所有的圖像都被縮小到相同大小的224×224像素。像素較低的圖像可能會影響模型的性能，需要進行數據增強。用于數據增強的方法包括垂直和水平翻轉、旋轉和縮放、顏色調整，即調整亮度、對比度和飽和度。卷積神經網絡計算樣品的準確度實例如圖6所示。

實驗結果表明，隨著訓練數據的增加，卷積神經網絡模型從輸入的圖像中獲得更準確、更全面地學習目標特征，從而獲得更高的檢測精度。更多的卷積層可以提取更重要的特征，但深層網絡結構復雜，參數更多，計算成本更高，檢測速度受到影響。本研究的結果表明，適當數量的額外卷積層可以有利于模型的性能，最大池化層中濾波器的池化步幅較小，可以防止下采樣過程中的重要信息丟失。

5 結論與展望

本研究使用無人機、免費和開源的攝影測量軟件和深度學習庫來識別玻璃幕墻上的破損，該方法可以確定幕墻表面大多數破損的估計位置（即是否存在破損）。一旦確定了估計的位置，就可以在可疑區(qū)域重復這一過程，并使無人機更靠近玻璃幕墻，以便清楚地看到以進一步調查，并提供更多的信息，以及向業(yè)主和設施經理提供估計的維修范圍和成本。