基于Triple-Gan模型視覺平臺的建設(shè)探析

鄒帥 鐘方偉

關(guān)鍵詞：Triple-Gan；視覺；平臺

0 引言

隨著電網(wǎng)設(shè)備規(guī)模大幅增長，新設(shè)備處于不穩(wěn)定期，老舊設(shè)備基數(shù)大、隱患多，發(fā)生設(shè)備事故的風險依然存在。人身安全事故未能杜絕，業(yè)務(wù)外包和勞務(wù)分包比例不斷擴大，作業(yè)人員素質(zhì)整體偏低，安全管控能力與建設(shè)發(fā)展的強度不適應(yīng)。生產(chǎn)任務(wù)與一線作業(yè)人員不足，生產(chǎn)承載力不足、業(yè)務(wù)空心化和員工技能退化等問題日益凸顯。亟須通過自動化、數(shù)字化、智能化技術(shù)手段，聚焦基層、緊盯現(xiàn)場，著力抓好防觸電、防感應(yīng)電和防誤操作等安全管理，提升運檢質(zhì)效。本文通過應(yīng)用Triple-Gan 網(wǎng)絡(luò)模型、YOLOv5s 加速技術(shù)、視覺技術(shù)、云計算等技術(shù)，通過場景識別的逐步下沉，實現(xiàn)對一些較為復雜的違章行為進行精確識別，不僅減輕網(wǎng)絡(luò)帶寬和后端服務(wù)器計算壓力，同時也提高了現(xiàn)場違章識別的同步性和實時性。

1 研究意義

針對當前電網(wǎng)規(guī)模的日益劇增，各類技改、大修、停電、不停電、帶電作業(yè)、異常處理現(xiàn)場較多而復雜，一線運維人員與現(xiàn)場安全管控精益化管理要求不匹配等矛盾日益凸顯的現(xiàn)狀。基于Triple-Gan 網(wǎng)絡(luò)模型、深度視覺、行為識別、便攜式終端圖像采集報警、邊緣計算終端加速處理等技術(shù)應(yīng)用，形成“便攜式終端-分析平臺-邊緣計算終端”的分布式信息采集、處理及可視化展示的研發(fā)及場景應(yīng)用。通過“三位一體”的協(xié)同模式，實現(xiàn)對生產(chǎn)現(xiàn)場作業(yè)安全風險識別并有效進行管控，支撐現(xiàn)場作業(yè)本質(zhì)安全水平的有提升，促進規(guī)范作業(yè)流程，有效形成違章預(yù)警及報警的雙重應(yīng)用，杜絕違章行為的發(fā)生，強化作業(yè)過程管控，保障人身安全可控在控能控制的目標，解決現(xiàn)場作業(yè)實際問題。同時，實現(xiàn)檢修作業(yè)、運維操作、帶電作業(yè)等現(xiàn)場可視化全覆蓋，結(jié)合計劃任務(wù)和兩條工單，實時進行“1 對N”作業(yè)現(xiàn)場質(zhì)量和進度督察，對作業(yè)關(guān)鍵點進行管控，通過云網(wǎng)融合、業(yè)務(wù)管控與視覺技術(shù)的融通共享，實現(xiàn)作業(yè)的全程“身臨現(xiàn)場”可視感知，達到“現(xiàn)場行為工作票”的目的。

2 技術(shù)路線

2.1 面向YOLOv5s 的DCNN 優(yōu)化算法應(yīng)用

基于ASIC 的可壓縮、基于小樣本學習且可移植的DCNN 模型，應(yīng)用YOLOv5s計算策略，將DCNN 算法經(jīng)過卷積層濾波計算和池化層采樣后，生成新的卷積層，繼續(xù)交替進行，經(jīng)過若干層計算后，最終通過連接層輸出特征提取結(jié)果，進行作業(yè)現(xiàn)場的圖像信息的直接監(jiān)控和分析，判斷作業(yè)現(xiàn)場人員行為風險因素；同時，通過將基礎(chǔ)數(shù)據(jù)進行二次挖掘，建立違章數(shù)據(jù)模型庫，判斷現(xiàn)場安全生產(chǎn)工作的潛在影響和風險。

2.2 基于視覺技術(shù)的作業(yè)計劃任務(wù)聯(lián)動應(yīng)用

通過實時抽取從PMS2.0 同步工作票、操作票、巡視任務(wù)等信息到智能視覺平臺，根據(jù)不同任務(wù)的類型形成相應(yīng)的工作任務(wù)單，根據(jù)工作任務(wù)受理的班組對任務(wù)進行班組下發(fā)，通過計劃任務(wù)管理服務(wù)，對日計劃和兩票工單進行統(tǒng)一管理，加強現(xiàn)場作業(yè)的安全管控。

2.3 基于云計算的圖像智能分析識別應(yīng)用

融合云資源及公司系統(tǒng)內(nèi)部專用網(wǎng)絡(luò)，形成“云- 管-邊-場-端”網(wǎng)絡(luò)架構(gòu)。系統(tǒng)通過安全接入平臺接入生產(chǎn)內(nèi)網(wǎng)，將視頻數(shù)據(jù)、物聯(lián)網(wǎng)卡數(shù)據(jù)與工作任務(wù)數(shù)據(jù)自動關(guān)聯(lián)，直接實現(xiàn)移動終端任務(wù)創(chuàng)建、任務(wù)下發(fā)、視頻上傳、視頻違章查糾等功能。

2.4 數(shù)字化全過程分析管控應(yīng)用

通過視覺平臺應(yīng)用，規(guī)范現(xiàn)場作業(yè)，形成現(xiàn)場作業(yè)標準化，形成數(shù)據(jù)采集評價流程，建成數(shù)字化監(jiān)管的技術(shù)路線，實現(xiàn)現(xiàn)場作業(yè)管控制趨向成熟化。利用數(shù)據(jù)分析技術(shù)，統(tǒng)計違章分布的類型、班組、人員制定相應(yīng)的培訓策略，糾正違章行為，完成現(xiàn)場作業(yè)痕跡、追溯技術(shù)支撐。

3 設(shè)計思路

利用人工智能、邊緣計算、云計算等技術(shù)，通過現(xiàn)場布置布控球、相關(guān)人員佩戴單兵安全帽、遠程無人機實現(xiàn)作業(yè)現(xiàn)場安全監(jiān)察、違章識別，在前端移動智能終端設(shè)備實現(xiàn)邊緣計算-違章行為檢測，即在終端設(shè)備上加入邊緣計算模塊對作業(yè)人員違章行為進行自動、及時的識別，同時在現(xiàn)場安裝聲光報警等警示設(shè)備、消息推送等方式及時提醒作業(yè)人員的違章行為，從而實現(xiàn)智能化的作業(yè)現(xiàn)場違章行為檢測，對人員行為違章、安全文明作業(yè)措施未落實等進行及時報警和現(xiàn)場監(jiān)督管控。

3.1 平臺設(shè)計

總體設(shè)計包括物理層和虛擬化層、云服務(wù)層及云組件，為提供平臺硬件資源基礎(chǔ)管理，基于硬件來構(gòu)建池化的虛擬資源，包括服務(wù)器虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化和監(jiān)控/運維系統(tǒng)等[1]。并向管理員/用戶提供云平臺服務(wù)，包括云主機服務(wù)、網(wǎng)頁交互、API接口、監(jiān)控系統(tǒng)、彈性網(wǎng)絡(luò)、VPN隧道、賬戶管理、計費模塊、負載均衡和端口轉(zhuǎn)發(fā)等服務(wù)。

3.2 系統(tǒng)架構(gòu)設(shè)計

通過“云、管、邊、端” 技術(shù)架構(gòu)實現(xiàn)生產(chǎn)現(xiàn)場的實時監(jiān)督管控及生產(chǎn)過程行為的歷史追溯管理。利用工作記錄儀、移動布控球等設(shè)備對作業(yè)現(xiàn)場的圖像、音頻、定位、業(yè)務(wù)處理等進行實時采集和回傳。通過虛擬無線專網(wǎng)VPN建立通信通道?；谠凭W(wǎng)融合技術(shù)建立專網(wǎng)和內(nèi)網(wǎng)可視化監(jiān)控云平臺，通過安全接入平臺實現(xiàn)數(shù)據(jù)交互?；赑MS2.0兩票和計劃任務(wù)，通過視頻專網(wǎng)進行遠程實時監(jiān)督，實時點檢以及現(xiàn)場喊停等應(yīng)用，通過信息內(nèi)網(wǎng)進行歷史數(shù)據(jù)回放、違章標記、自查互查等應(yīng)用。

3.3 平臺網(wǎng)絡(luò)設(shè)計

建設(shè)基于電網(wǎng)網(wǎng)絡(luò)信息安全要求，內(nèi)外與專網(wǎng)的信息交互通過安全接入平臺實現(xiàn)，前端采用4G現(xiàn)場工作記錄儀，通過虛擬無線網(wǎng)絡(luò)，在專網(wǎng)視頻監(jiān)察系統(tǒng)查看實時現(xiàn)場工作視頻，同時將歷史錄像數(shù)據(jù)在前置服務(wù)器加密后通過安全接入平臺傳輸至信息內(nèi)外，實現(xiàn)錄像數(shù)據(jù)與PMS任務(wù)數(shù)據(jù)的相互關(guān)聯(lián)。

生產(chǎn)作業(yè)可視化監(jiān)控平臺采用兩級分布式部署模式，通過虛擬無線專網(wǎng)接入工作記錄儀和安全接入平臺進行數(shù)據(jù)交互，形成“云-管-邊-場-端”架構(gòu)，基于云網(wǎng)融合技術(shù)和標準化接口實現(xiàn)終端的多樣性接入和平臺的能力共享。

3.4 終端FPGA 設(shè)計

通過各個硬件模塊輸入輸出的相互連接，結(jié)合FPGA 所提供的流水結(jié)構(gòu)，將CNN算法進行匹配，充分利用算法網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的并行性，在提高運算速度。將現(xiàn)場作業(yè)可視化圖像數(shù)據(jù)是以數(shù)據(jù)流的方式進行輸入，在每個時鐘周期內(nèi)傳入一個圖像的像素點，基于28×28個時鐘周期，完成對單幅圖像的運算。在CPU端，讀取輸入的訓練數(shù)據(jù)圖像集，對輸入圖像做歸一化預(yù)處理之后，通過PCIE總線傳輸給Dataflow Engine，通過CNN將參數(shù)w和參數(shù)b是在CPU中進行初始化，通過 PCIE 傳輸?shù)?DataflowEngine 的 Fast Memory中，實現(xiàn)2個卷積層和1個softmax全連接層加快卷積運算取參數(shù)過程，數(shù)據(jù)通過Dataflow Engine，生成圖像分類，并將結(jié)果推送至CPU。

3.5 安全接入設(shè)計

1） 安全接入平臺應(yīng)部署在信息內(nèi)網(wǎng)和專網(wǎng)之間，采用類VPN技術(shù)和數(shù)據(jù)隔離技術(shù)實現(xiàn)數(shù)據(jù)的安全接入。工作記錄儀采用虛擬無線專網(wǎng)通過防火墻接入專網(wǎng)前置服務(wù)器，前置服務(wù)器安裝安全接入通信組件和國密PCIE加密卡連接安全接入平臺，接入信息內(nèi)網(wǎng)（如圖4所示）。

2） 業(yè)務(wù)安全接入體系由四部分組成：工作記錄儀、前置服務(wù)器、安全接入平臺和信息內(nèi)網(wǎng)。其中工作記錄儀采用虛擬專網(wǎng)技術(shù)在GPRS APN/WCDMA VPDN上建立的虛擬隧道，前置服務(wù)器是經(jīng)過安全加

3） 業(yè)務(wù)安全接入總體架構(gòu)分為安全接入終端層、安全傳輸通道層、安全接入平臺層和業(yè)務(wù)訪問層四層，由安全接入終端、安全傳輸通道、安全接入平臺和PKI證書服務(wù)系統(tǒng)組成。

4） 業(yè)務(wù)安全接入防護體系從接入終端、網(wǎng)絡(luò)環(huán)境、邊界和應(yīng)用四個層次進行安全防護，體現(xiàn)層層遞進、縱深防御的設(shè)計思想。通過四層的安全防護模式，實現(xiàn)了對業(yè)務(wù)過程中數(shù)據(jù)交互的全面安全防護，保證了電力信息內(nèi)網(wǎng)的安全。

4 技術(shù)架構(gòu)

4.1 流程設(shè)計

平臺由PMS2.0定時同步的任務(wù)數(shù)據(jù)發(fā)起，通過安全接入平臺將任務(wù)數(shù)據(jù)下發(fā)，在視頻專網(wǎng)中進行視頻實時查看，工作任務(wù)結(jié)束后工作記錄儀自動通過虛擬無線專網(wǎng)將視頻歷史數(shù)據(jù)回傳至信息內(nèi)外，并與PMS2.0中的任務(wù)自動關(guān)聯(lián)。

4.2 智能分析設(shè)計

通過執(zhí)法儀拍攝的視頻進行分析，提取其中的目標信息，完成對視頻的結(jié)構(gòu)化描述。本文圍繞對人的安全管理，利用智能分析算法[2]檢測五類目標，首先要檢測視頻中是否有人出現(xiàn)，并能檢測到每個人在視頻中的位置，在此基礎(chǔ)上，在單個人的特定區(qū)域內(nèi)檢測其他屬性目標。通過五類屬性目標要進行檢查，分別是安全帽、袖章、絕緣手套、工作服和兩票。這五類目標并不一定同時出現(xiàn)在某個人身上，而是根據(jù)具體的任務(wù)，在人身上檢測某個屬性目標，以判定是否符合任務(wù)規(guī)范。

針對以上目標，實現(xiàn)多路視頻的實時監(jiān)控，系統(tǒng)能保持高并發(fā)性和反應(yīng)敏捷性；系統(tǒng)對工作任務(wù)進行靈活分解和配置，完成對執(zhí)法視頻的語義分析；對于存量視頻，可以進行后期分析，濃縮視頻內(nèi)容，形成視頻摘要，方便對視頻進行事件檢索。根據(jù)任務(wù)要求，選目定標要素，分析視頻中是否檢測到了目標要素，也即在返回的視頻中要先檢測到人，再在人的身上檢測是否戴有安全設(shè)備，如果視頻中以一定比例檢測到了這些目標要素，則認為這個視頻符合任務(wù)規(guī)范。

5 功能設(shè)計

系統(tǒng)分為專網(wǎng)及內(nèi)網(wǎng)運行環(huán)境，實現(xiàn)實時視頻監(jiān)控、語音對講、設(shè)備管理、人員管理、定位管理、視音頻預(yù)覽及通信指揮、違章識別等主要功能。

5.1 實時視頻監(jiān)控

通過無線接入網(wǎng)絡(luò)，方便地實現(xiàn)視頻傳輸。采用高效的H264、H265視頻編解碼技術(shù)，支持1080P高清視頻上傳，靈活的網(wǎng)絡(luò)自適應(yīng)調(diào)整技術(shù)、可靠的網(wǎng)絡(luò)傳輸糾錯，在有限帶寬下保障視頻數(shù)據(jù)的流暢傳輸。

5.2 語音對講

支持雙向的音頻功能，通過配置聲音采集和輸出設(shè)備，實現(xiàn)監(jiān)控點與平臺之間的雙向語音，同時支持雙向語音的錄制，實現(xiàn)全過程的音視頻記錄。

5.3 設(shè)備管理

平臺的設(shè)備管理包括可以遠程實時查看移動現(xiàn)場工作記錄儀的工作狀態(tài)，包括電池電量、存儲信息、錄像狀態(tài)等，同時可以遠程控制所有安全生產(chǎn)人員的移動現(xiàn)場工作記錄儀開啟或停止錄像。

5.4 人員管理、定位管理

移動現(xiàn)場工作記錄儀設(shè)備定位管理，可實時接收定位數(shù)據(jù)，并在地圖上展現(xiàn)出來，方便調(diào)度員觀看、調(diào)度。

5.5 視音頻預(yù)覽及通信指揮

通過地圖界面或設(shè)備列表資源，可以遠程調(diào)用現(xiàn)場工作記錄儀拍攝的圖像畫面，能夠?qū)崟r回傳現(xiàn)場視音頻畫面，達到對現(xiàn)場情況的把控。

5.6 違章識別

通過視頻實時識別違章作業(yè)，并進行截圖，將違章視頻進行統(tǒng)一資源管理，聯(lián)動工作票信息，記錄違章時間、人員、類型等信息。查詢歸檔的違章記錄。違章記錄的詳細內(nèi)容包括：票號、任務(wù)類型、風險等級、工作班組、工作負責人、任務(wù)內(nèi)容、違章時間、違章類型、發(fā)現(xiàn)類型、違章內(nèi)容、違章圖片、播放視頻的操作?？梢园凑詹块T、票號、違章類型、任務(wù)類型、風險等級、發(fā)現(xiàn)類型、負責人、違章內(nèi)容、開始時間、結(jié)束時間設(shè)置查詢條件進行查詢。

6 關(guān)鍵技術(shù)

6.1 面向Triple-Gan 網(wǎng)絡(luò)模型的視覺聚類算法

基于大量的生產(chǎn)現(xiàn)場作業(yè)圖像數(shù)據(jù)，將一定數(shù)量的訓練樣本訓練生成器，以達到學習到真實樣本的分布的目標，實現(xiàn)自我生成訓練樣本，使判斷器可以學習到真實樣本和生成樣本的數(shù)據(jù)特征。一是構(gòu)建改進后的半監(jiān)督圖像分類模型，包括生成器、判斷器和一組子判斷器，一組子判斷器包括若干個子判斷器；二是訓練改進后的半監(jiān)督圖像分類模型[3]；三是將待分類的圖像輸入至訓練好的、改進后的半監(jiān)督圖像分類模型，得到圖像分類結(jié)果，形成現(xiàn)場作業(yè)違章智能識別場景的樣本學習訓練的有效應(yīng)用，提高平臺整體識別分析效率和準確率。

6.2 基于終端AI 處理的DCNN 網(wǎng)絡(luò)模型YOLOv5s加速策略

本成果針對目標檢測算法圖像預(yù)處理、損失函數(shù)的算法優(yōu)化，并在終端處理器內(nèi)部署時采取特定的量化算法來減少參數(shù)和數(shù)據(jù)帶寬，完成YOLOv5s的邊緣計算的優(yōu)化和處理。利用圖像數(shù)據(jù)的余弦退火，Mo? saic數(shù)據(jù)增強、自適應(yīng)錨框計算和圖片縮放[4]，平滑濾波等方法實現(xiàn)異構(gòu)加速，實現(xiàn)終端有效的進行圖像處理、裁剪、量化、壓縮、加速處理，將Focus結(jié)構(gòu)主干網(wǎng)絡(luò)實現(xiàn)相交尺度衡量計算，并利用邊界框中心點距離信息進行邊界框?qū)捀弑鹊某叨扔嬎?，縮小現(xiàn)場作業(yè)違章預(yù)警數(shù)據(jù)的框差，提高預(yù)警準確性。

6.3 基于對數(shù)域內(nèi)快速卷積計算模型的應(yīng)用

通過對生產(chǎn)現(xiàn)場作業(yè)采集的圖像的特征大小以及卷積核大小進行計算，根據(jù)對數(shù)運算性質(zhì)，建立存儲圖像特征的空間平面模型。根據(jù)卷積核大小，建立卷積核空間平面模型[5]。再將卷積核與生產(chǎn)現(xiàn)場作業(yè)圖像特征中的元變換到對數(shù)域中，即從整數(shù)到對數(shù)，將對應(yīng)元做相加處理，將相加結(jié)果轉(zhuǎn)換到整數(shù)域，即從對數(shù)到整數(shù)，最終將所得計算結(jié)果載入空平面模型，計算出基于卷積核的圖像特征圖，產(chǎn)生更加清晰、真實的現(xiàn)場作業(yè)目標檢測樣本，并有效降低圖像處理內(nèi)存空間，加快了計算速度，節(jié)約了訓練時間，解決在復雜作業(yè)場景下的學習訓練性能匱乏而造成的圖像識別率較低的問題，提高了現(xiàn)場作業(yè)圖像數(shù)據(jù)智能分析效率和準確率。

7 結(jié)束語

本文針對基于Triple-Gan模型視覺平臺進行綜合闡述，通過深度視覺、便攜式終端圖像采集報警、邊緣計算終端加速處理的“三位一體”的協(xié)同模式，構(gòu)建了生產(chǎn)作業(yè)現(xiàn)場安全態(tài)勢管控的“大整合、高共享、流程化”的信息采集、管理、共享平臺，解決了傳統(tǒng)的監(jiān)控方式下電網(wǎng)施工質(zhì)量控制與安全管理人力耗費大、質(zhì)量控制容易出現(xiàn)偏差和遺漏等問題。同時，為現(xiàn)場作業(yè)標準化檢查提供了數(shù)據(jù)依據(jù)及安全責任分析的數(shù)據(jù)佐證，也為現(xiàn)場作業(yè)人員安全違章事件提供預(yù)警提示，有效地支撐現(xiàn)場違章作業(yè)的行為、設(shè)備及作業(yè)標識的智能化識別。