前端人工智能的發(fā)展及在油氣長輸管道的應(yīng)用*

文/陳思雅

0 引言

油氣長輸管道埋設(shè)在地下，線路分布廣泛、地理環(huán)境復雜，安全事故隨時可能發(fā)生。一旦發(fā)生油氣管線泄漏等情況，會造成嚴重后果。目前針對高后果區(qū)、第三方施工、無伴行路、人口密集管理區(qū)多采用視頻監(jiān)控的方式，即通過前端監(jiān)控攝像機實現(xiàn)遠程實時監(jiān)控，但是大多數(shù)視頻監(jiān)控只是被動監(jiān)控，主要面臨以下幾個方面的問題：一是視頻數(shù)量多、圖像數(shù)據(jù)大，非結(jié)構(gòu)化數(shù)據(jù)價值未得到充分挖掘；二是異常狀況的發(fā)現(xiàn)依賴于管道保護人員的技能水平，但相關(guān)經(jīng)驗豐富的專家往往較少；三是長時間觀看視頻容易因視覺疲勞導致漏檢、誤檢；四是工作人員面對眾多攝像機視頻圖像時，無法做到同時兼顧所有監(jiān)控區(qū)域；五是維護人員經(jīng)常在管道事故發(fā)生后才發(fā)現(xiàn)導致故障的原因，不能在事故發(fā)生的第一時間作出應(yīng)急響應(yīng)。

從2006年開始，由于互聯(lián)網(wǎng)發(fā)展，大量數(shù)據(jù)的產(chǎn)生得益于圖形處理器（GPU）計算機算力、深度學習、神經(jīng)網(wǎng)絡(luò)等人工智能算法的突破，視頻監(jiān)控與人工智能技術(shù)開始緊密結(jié)合, 所涵蓋的技術(shù)包括圖像識別、行為識別、統(tǒng)計分析、數(shù)據(jù)結(jié)構(gòu)化等，其中圖像、影像智能化識別技術(shù)成為管道風險識別、風險管理的重要手段。中國石油大學（北京）管道技術(shù)與安全研究中心董紹華教授等利用圖像識別技術(shù)開展管道焊縫缺陷的智能化判別工作，實現(xiàn)了對管道焊縫數(shù)字圖像中缺陷的分類評價，識別準確率超過 90%。四川大學的余永維等人利用圖像識別技術(shù)開展了漏磁圖像智能識別判別工作，主要利用卷積神經(jīng)網(wǎng)絡(luò)稀疏連接的特性和徑向基神經(jīng)網(wǎng)絡(luò)的非線性映射能力，將目標特征分類輸出，從而準確地實現(xiàn)目標特征的識別。

視頻監(jiān)控領(lǐng)域人工智能技術(shù)的引入，可以在前端攝像頭、網(wǎng)絡(luò)視頻錄像（NVR）數(shù)據(jù)存儲設(shè)備以及大數(shù)據(jù)綜合應(yīng)用平臺等節(jié)點發(fā)揮作用。前端人工智能技術(shù)是指基于邊緣計算的前端圖像影像智能識別技術(shù)，它將人工智能技術(shù)引入前端攝像頭，將攝像頭采集到的實時信息進行處理分析和理解，將數(shù)據(jù)結(jié)構(gòu)化，從而實現(xiàn)在沒有人為干預情況下，對設(shè)定工作區(qū)域內(nèi)人員或物體的變化進行檢測、定位和跟蹤，并在此基礎(chǔ)上分析和判斷目標的行為。2016年11月30日，華為技術(shù)有限公司、中國科學院沈陽自動化研究所、中國信息通信研究院、英特爾等62家成員單位成立了我國邊緣計算產(chǎn)業(yè)聯(lián)盟，邊緣計算行業(yè)得到迅猛發(fā)展。

1 前端人工智能技術(shù)的分類

1.1 按智能化程度分類

前端人工智能技術(shù)根據(jù)智能化程度以及應(yīng)用場景的不同，大致可以分為三個層次。

（1）智能網(wǎng)絡(luò)攝像機。

智能網(wǎng)絡(luò)攝像機有兩種形式，一種是傳統(tǒng)的，一般由一臺工控機和2～4臺攝像機構(gòu)成，智能視頻分析算法配備在工控機內(nèi)，使得攝像機具有圖像識別等功能；另一種是將視頻算法寫入攝像機內(nèi)，由一塊嵌入式智能AI芯片完成攝像機的智能分析工作，形成成本低廉、快速識別、功能強大的邊緣計算。智能網(wǎng)絡(luò)攝像機的算法相對較為固定，技術(shù)成熟度較高，通常在現(xiàn)有的內(nèi)嵌式進程間通信（IPC）Soc芯片中集成相應(yīng)的移動偵測、遮擋告警、視頻丟失、人員滯留、行為識別等算法即可實現(xiàn)，無需額外增加協(xié)處理芯片。

（2）結(jié)構(gòu)化攝像機。

結(jié)構(gòu)化攝像機能夠?qū)σ曨l流進行實時的結(jié)構(gòu)化屬性分析, 從而提取其中的視頻信息、語義信息和圖片信息，并能對人員、車輛進行分類抓拍，支持對目標人/車/物進行結(jié)構(gòu)化屬性分析。結(jié)構(gòu)化攝像機需要在原有的內(nèi)嵌式IPC SoC芯片中加裝協(xié)處理芯片——NPU淺層學習處理器，實現(xiàn)試片流的結(jié)構(gòu)化分析。

（3）深度學習攝像機。

深度學習攝像機采用的是深度學習算法，以海量圖片集以及視頻資源為基礎(chǔ), 通過機器學習提取目標特征，形成深層可供學習的圖像數(shù)據(jù)，提高特征目標的召回率和精確度。深度學習攝像機一般內(nèi)嵌高性能能深度學習的GPU芯片。

從國內(nèi)前端人工智能發(fā)展的趨勢來看，目前智能網(wǎng)絡(luò)攝像機的發(fā)展應(yīng)用主要集中在結(jié)構(gòu)化攝像機方面。主要原因有三點：一是視頻數(shù)據(jù)結(jié)構(gòu)化以后，就可以對前端采集到的實時信息進行過濾，去掉大量無用的信息；二是視頻結(jié)構(gòu)化以后，就可以傳輸?shù)胶蠖诉M行學習訓練，進而獲取更精準、更適合前端應(yīng)用的數(shù)據(jù)模型；三是基于深度學習的攝像機需要內(nèi)置大量用于訓練或驗證的數(shù)據(jù)信息，數(shù)據(jù)量大，芯片要求高、能耗高。

1.2 按實現(xiàn)方式分類

視頻監(jiān)控行業(yè)人工智能技術(shù)按照智能分析算法實現(xiàn)方式區(qū)分，有以下類型：行為分析類、視頻識別類、圖像處理類及診斷分析類。其中，視頻識別分析與行為分析是智能分析動作，診斷與圖像處理分析是提高分析結(jié)果準確性的手段。

（1）行為分析類。

行為分析類主要針對視頻中目標的運動特征和屬性進行檢測，偏重于背景模型偏離的變化和已知目標模型的變化，主要應(yīng)用于動態(tài)場景的分析和處理，判斷視頻圖像中運動目標相對位置的變化、目標變化的方向、目標的相對移動速度以及目標形貌特征的變化。主要功能有：移動方向檢測，以及交通違章檢測、防區(qū)入侵檢測、絆線穿越檢測、客流統(tǒng)計等動態(tài)場景分析處理。

有學者研究了一種基于邊緣計算的前端圖像影像智能識別技術(shù)，該技術(shù)應(yīng)用于華盛頓貝爾維尤的交通路口，主要將異構(gòu)硬件的邊緣和私有集群向下延伸至攝像節(jié)點，在視頻監(jiān)控的邊緣端完成對車輛圖像和車牌等的視頻實時解碼和視頻實時分析，主要了解該路口汽車、自行車和行人的實時流量，具有實時性強、網(wǎng)絡(luò)傳輸資源小、準確率高的特點。韓青等為變電站設(shè)計了一種識別工作人員危險行為和變電站周邊危險行為的前端人工智能系統(tǒng)，他們將智能分析功能接入前端攝像頭，在云端進行模型的訓練與開發(fā)，既提高了預警的實時性又增加了識別的準確率，同時還降低了網(wǎng)絡(luò)傳輸費用。

（2）視頻識別類

視頻識別主要是指通過對視頻中圖像識別、圖像比對和模式匹配等技術(shù)，實現(xiàn)對視頻中相關(guān)特征的提取和識別，主要應(yīng)用在靜態(tài)場景中。其功能有人臉識別、車牌識別等。

?？低暪驹?017年發(fā)布的“AI Cloud”框架，通過將人工智能接入網(wǎng)絡(luò)攝像頭、門禁系統(tǒng)等前端設(shè)備，實現(xiàn)了實時人臉識別和車輛車牌識別，響應(yīng)速度快，識別準備率高。

（3）圖像處理類。

圖像處理類是指通過視頻增強手段，如降噪、去霧、銳化和矯正等手段來修復視頻中模糊不清的圖像，并對采集到的圖像進行部分細節(jié)處理和優(yōu)化，通過上述手段改善圖像來増加前端人工智能的召回率和精確度。其功能有紅外夜視監(jiān)控系統(tǒng)等。

視網(wǎng)膜大腦皮層理論（Retinex）算法以原始圖像的入射圖像為基礎(chǔ)，推演出反射率的圖像，進而降低了光照不均對圖像的影響。Chiang等人將水下光選擇性衰減的特點與經(jīng)典圖像去霧算法相結(jié)合，提出了一種圖像復原方法。張銘鉤等為了解決水下目標檢測圖像模糊的問題，使用了特異性增強的算法對水下圖像進行動態(tài)調(diào)節(jié)，以抵消水下光照不均勻?qū)е碌膱D像模糊問題，顯著提高了識別的準確性。任彥光等基于邊緣計算的原理設(shè)計了水下多目標檢測系統(tǒng)，為了解決未經(jīng)未處理的水下圖像無法直接使用的問題，其團隊提出了一種基于多尺度視網(wǎng)膜增強算法（MSR CR）和暗通道融合的水下圖像增強算法，對水下圖像的顏色、對比度和細節(jié)進行優(yōu)化處理，優(yōu)化后的圖像更符合人眼感官，無抖動、圖像清晰、對比度好，可以從圖片中觀察提取到更多信息。

（4）診斷分析類。

診斷分析類主要指視頻質(zhì)量診斷，通常以后端管理平臺的形式出現(xiàn)。其主要功能是用于監(jiān)測前端人工智能設(shè)備的狀態(tài)，當視頻出現(xiàn)雪花、滾屏、模糊、偏色、增益失衡、云臺失控等常見的攝像頭故障，以及視頻本身的信號干擾、質(zhì)量下降等問題時，進行準確分析、判斷和報警。

楊洋等針對監(jiān)控視頻中的圖像模糊、圖像偏色、亮度異常、圖像幀卡頓等現(xiàn)象提出了視頻診斷管理系統(tǒng)，該系統(tǒng)主要運用圖像質(zhì)量分析與判斷等核心技術(shù)對視頻流進行質(zhì)量診斷，從而能夠準確分析和定位異常圖像狀況，并指導故障檢修。北京先進視訊科技有限公司研發(fā)了圖像質(zhì)量檢測系統(tǒng)，該系統(tǒng)能夠?qū)σ曨l圖像模糊、雪花畫面、畫面色偏和信號丟失等常見的圖像故障情況進行較為準確地研判，并通知后臺工作人員。重慶市計量質(zhì)量檢測研究院以提高視頻圖像的被檢測率和降低誤報率為目的，以監(jiān)控畫面清晰度、色彩還原度等方面為評價指標，完成了“視頻監(jiān)控系統(tǒng)檢測方法和檢測裝置的研究與建立”項目，取得了良好效果。常文婧等設(shè)計了一套基于人工智能的視頻圖像質(zhì)量診斷云平臺，通過視覺技術(shù)和機器學習，解決了前端人工智能出現(xiàn)的離線、無信號、畫面凍結(jié)、畫質(zhì)偏色、噪聲、圖像模糊、遮擋、增益失衡和云臺失控等常見故障。

2 前端人工智能技術(shù)在油氣長輸管道的應(yīng)用

據(jù)調(diào)查，歐洲輸氣管道在2007～2016年的管道故障中，引起故障的主要原因是外部干擾，占比為28.37%，在外部干擾的次級因素中，機械開挖（挖掘機、打樁機和定向鉆機）是主要原因，占比為31.4%；美國1994～2013年間輸氣管道的故障中，第三方破壞是占城市天然氣管道事故的主要原因之一，占比為20%；英國輸氣管道1962～2016年間的管道事故故障中，第三方破壞占比為21.8%。狄彥等人調(diào)研了2004～2014年間國內(nèi)發(fā)生的約59起油氣管道安全事故，研究發(fā)現(xiàn)在其中46起因外部因素引起的事故中，第三方破壞為28起，占比為60.8%，占全部總事故的47.5%。從上述調(diào)研數(shù)據(jù)可知，第三方破壞對油氣管道的影響巨大。

將人工智能技術(shù)嵌入前端攝像頭，對視頻中有關(guān)工程機械的行為實時進行智能分析和判斷并生成結(jié)果，可以去除視頻監(jiān)控中大量無用的靜態(tài)畫面，只對異常行為進行報警，這樣既提高了工作效率，減少了工作量，也降低了漏報和誤報率。前端人工智能技術(shù)涉及圖像處理、對象分析、行為識別、動作判斷和報警等多項技術(shù)，當異常信息出現(xiàn)時，系統(tǒng)經(jīng)過運算識別出危險，并自動發(fā)送警示信號，可在管道的第三方施工監(jiān)管、智能巡線、風險評價等多方面應(yīng)用。另外，前端人工智能通過在網(wǎng)絡(luò)邊緣進行計算和資源存儲，僅向后端發(fā)送特征數(shù)據(jù)，減少了用戶和服務(wù)交互點之間的物理距離和跳數(shù)，提高了應(yīng)用程序的響應(yīng)時間。因此，前端人工智能是未來油氣管道智能化管理的一種重要手段。

無人機在巡線過程中會拍攝大量的圖片和視頻，這些非結(jié)構(gòu)化數(shù)據(jù)一方面占用了大量的存儲資源，另一方面需要管道保護人員在后臺進行回放和查看，對人力物力造成極大浪費。為提高無人機巡線的效率，減輕作業(yè)人員的負擔，實現(xiàn)油氣長輸管道缺陷實時識別，可以將人工智能技術(shù)應(yīng)用到無人機機載前端視頻系統(tǒng)中，實現(xiàn)無人機視頻的前端智能，對危害油氣長輸管線的非法占壓、非法施工、地質(zhì)災(zāi)害、打孔導游等行為，在巡線過程中即可實現(xiàn)智能判斷、實時識別。劉文華等將傾斜影響的數(shù)字糾正等算法嵌入無人機前端攝像頭，從而實現(xiàn)對油氣管道周邊航拍過程之中圖像的智能識別和實時判斷，改進后的無人機巡線系統(tǒng)智能化程度高，對油氣管道附近行人、車輛的檢測精度可達80%以上。劉軍杰等將視覺跟蹤技術(shù)、人工智能技術(shù)與無人機高清影像相結(jié)合，建立了無人機前端智能識別系統(tǒng)，該系統(tǒng)使用輕量化YOLOv3網(wǎng)絡(luò)模型，訓練了絕緣子串、防振錘、連接點等關(guān)鍵目標的識別，在現(xiàn)場應(yīng)用中實現(xiàn)了無人機視角下微小目標的檢測，在5000張樣本訓練模型中，當測試閾值設(shè)置為0.25，平均檢測精度可達到0.78，大大提升了無人機巡檢應(yīng)用效果。

目前長輸管道對管道高后果區(qū)、無伴行路巡線不便區(qū)及人口密集區(qū)主要采用視頻監(jiān)控的形式，24小時不間斷地提供實時視頻流，但是，常規(guī)的視頻監(jiān)控無法在險情產(chǎn)生時做到及時干預。周巍等利用前端AI視覺對廣東燃氣管道高后果區(qū)進行違規(guī)挖掘、違規(guī)施工、非法開采等定向鉆機、挖掘機、地勘機等大型機械作業(yè)和人員的自動識別，改善了人工監(jiān)測存在的問題，實現(xiàn)了24小時無盲區(qū)管控；該系統(tǒng)目前部署在60多個燃氣管道高后果區(qū)前端，預警次數(shù)達1000多次，預警準確率超過90%，做到了實時監(jiān)測、及時響應(yīng)。馮黎明為解決西南油氣管道人工巡護的盲區(qū)問題，在現(xiàn)有視頻監(jiān)控系統(tǒng)的基礎(chǔ)上引入了視頻智能分析功能，形成前端人工智能技術(shù)；通過視頻智能分析識別功能對保護區(qū)域內(nèi)挖掘機、推土機等大型施工車輛及人員進行智能識別，實現(xiàn)了對于第三方施工區(qū)域、重要燃氣設(shè)施等天然氣管道監(jiān)控點的24 小時保護，識別準確率高達90%。孟俊針對管道周邊第三方施工和高后果區(qū)等風險區(qū)域，設(shè)計和開發(fā)了基于邊緣計算的油氣管道區(qū)域施工機械入侵前端智能識別系統(tǒng)，在邊緣端嵌入圖像處理算法和運動目標檢測算法，并利用深度學習功能有效過濾植物、陰影、水面等因素對現(xiàn)場場景變化的影響。同時檢測到目標以后，取用大型施工機械的二維坐標，判斷二維坐標與風險區(qū)域是否發(fā)生碰撞，若發(fā)生碰撞即將報警信息推送給調(diào)度中心；現(xiàn)場應(yīng)用表明，該前端智能識別系統(tǒng)識別精度率為92%，處理速度穩(wěn)定在25fps。錢勇等對油氣輸送管道視頻監(jiān)控加裝前端智能識別系統(tǒng)，利用目標識別算法、動作識別算法等實現(xiàn)對油氣管線人員密集場所高后果區(qū)24小時的自動化、智能化監(jiān)測，同時聯(lián)動聲光報警裝置、可燃氣體檢測裝置和音柱，有入侵行為發(fā)生時即觸發(fā)現(xiàn)場報警裝置報警，值班人員可對報警區(qū)域喊話，起到警報和警告的作用，從而減少人力、時間成本的投入，提高對危險隱患預警的能力。

長輸油氣管道站場及閥室內(nèi)一般配備周界入侵報警系統(tǒng)，消防火災(zāi)自動報警系統(tǒng)構(gòu)成常見的安全防護預警系統(tǒng)。通過周界入侵的主動防御，不間斷實時監(jiān)控和室內(nèi)外重點位置火災(zāi)預警，最終構(gòu)成應(yīng)對內(nèi)外治安和場站火災(zāi)隱患的全地形、全時段、全方位安防系統(tǒng)。但是，上述安全防護系統(tǒng)存在消防系統(tǒng)主動防范領(lǐng)域不夠完善、周界入侵系統(tǒng)誤報及漏報率較高的情況。對此，可利用搭載AI芯片的前端智能視頻監(jiān)控裝置實現(xiàn)油氣站場及閥室全方位安全監(jiān)控：對進入人員/車輛依次進行檢查、路線跟蹤；對進入作業(yè)區(qū)的工作人員進行安全帽、工作服的檢測識別；對防范區(qū)域內(nèi)入侵、翻越圍墻等行為自動判斷；對防范區(qū)域內(nèi)人員停留的時間記錄；對工作人員的安全行為操作進行識別，對危險行為發(fā)出及時警告；對工作區(qū)域內(nèi)人員跌倒行為自動檢測，預防作業(yè)人員中毒、突發(fā)疾病等危險情況；對站內(nèi)人員聚集和離崗等行為進行主動檢測；對保護區(qū)域內(nèi)可燃氣體及設(shè)備的跑冒滴漏進行自動識別。而且，將識別結(jié)果上傳至云終端觸發(fā)報警，自動彈出現(xiàn)場視頻，對現(xiàn)場視頻進行抓圖和報警預錄像，大大地減少誤報率和漏報率。但目前，前端人工智能在站場及閥室應(yīng)用仍較少。

3 前端人工智能需要解決的關(guān)鍵問題

目前前端人工智能應(yīng)用廣泛，特別是在油氣管道行業(yè)，發(fā)展前景巨大，但是長輸油氣管道周邊環(huán)境復雜、受氣候影響較大，設(shè)備多、供電難，網(wǎng)絡(luò)傳輸費用高、速度慢，想要實現(xiàn)前端人工智能在現(xiàn)場實際有效應(yīng)用，還需要解決以下關(guān)鍵問題：

（1）背景的復雜性與算法的實時性。平衡運動目標檢測算法的準確性、魯棒性與實時性，既要保證目標跟蹤的實時性, 又使得算法對復雜背景有較強的適應(yīng)性。

（2）圖像處理算法。人工智能的基礎(chǔ)為視頻，而現(xiàn)場視頻質(zhì)量受環(huán)境、氣候、光照等影響較大，前端存在圖像模糊、光照較差等情況，需要有針對性研究圖像處理算法，如去霧算法、運動模糊復原、夜間圖像復原等，增加視頻的可監(jiān)控性能及前端智能識別的精確率。

（3）輕量化模型。神經(jīng)網(wǎng)絡(luò)模型對算力和存儲要求較高，但是較難嵌入前端，如何在邊緣側(cè)搭載AI芯片的智能嵌入式系統(tǒng)中實現(xiàn)神經(jīng)網(wǎng)絡(luò)模型，在保證精度的前提下解決計算量和存儲量成為前端智能的研究重點。

（4）前端承載算法單一。一般來說，算法的召回率和精確率與所識別目標的像素、角度等密切相關(guān)，大型施工車輛和人臉識別對前端人工智能攝像機的要求都不太一樣，因此，單個前端人工智能攝像機只能實現(xiàn)單一的人工智能算法，如果要在設(shè)備間進行多個人工智能算法的應(yīng)用，會造成較大的誤差。

（5）能耗高。在邊緣端，較多AI應(yīng)用場景對功耗有嚴格限制，MAC的大量計算會增加功耗，如何兼顧智能應(yīng)用算法中的高性能和低功耗，以達到優(yōu)異的性能功耗比（或能耗比）有待進一步研究解決。

（6）數(shù)據(jù)相互獨立。不同前端人工智能之間的結(jié)構(gòu)化數(shù)據(jù)無法相互應(yīng)用和關(guān)聯(lián)，對算法開發(fā)和嵌入造成了較大困擾，極易形成信息孤島。

（7）聯(lián)動報警。前端人工智能與現(xiàn)存的消防報警、火災(zāi)報警、可燃氣體報警等報警平臺沒有實現(xiàn)聯(lián)動管理、自行激活運行功能。

（8）智能管理。缺乏統(tǒng)一的智能設(shè)備管理平臺，該平臺需具備如下功能：對所有前端人工智能具備數(shù)據(jù)采集、設(shè)備控制、狀態(tài)查詢功能，支持應(yīng)用程序（APP）故障信息自動推送功能，支持二次開發(fā)等。

4 結(jié)論

受益于當前人工智能技術(shù)、網(wǎng)絡(luò)通信技術(shù)的發(fā)展，長輸油氣管道視頻圖像的大規(guī)模應(yīng)用及芯片算力的提高，給油氣管道系統(tǒng)的安全管理工作帶來了顛覆性的影響。通過將視頻圖像處理技術(shù)應(yīng)用到前端攝像頭，既保障了油氣長輸管道行業(yè)中設(shè)備和人員及其所處環(huán)境的安全，也節(jié)省了人力物力，使得視頻監(jiān)控行業(yè)由人防變?yōu)榱宋锓溃墒潞筇幚碜兂闪耸虑邦A防，是未來油氣長輸管道行業(yè)提升設(shè)備感知，實現(xiàn)智慧管網(wǎng)的必然趨勢。本文綜述了視頻圖像前端人工智能技術(shù)的定義及分類，并詳細列舉了其在油氣長輸管道行業(yè)的應(yīng)用研究場景，并對未來所需要解決的關(guān)鍵技術(shù)問題加以探討。可見，結(jié)合油氣長輸管道行業(yè)現(xiàn)場應(yīng)用具體需求及前端人工智能識別技術(shù)特點，將是未來視頻圖像處理在油氣管道行業(yè)應(yīng)用研究的主要方向。