基于聯(lián)邦學(xué)習(xí)的輸電塔螺母銷釘缺失檢測(cè)①

宋永康, 張俊嶺, 公凡奎, 安云云, 王 冶

1(中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 青島 266580)

2(山東魯軟數(shù)字科技有限公司, 濟(jì)南 250001)

3(國(guó)網(wǎng)山東省電力公司 青島市黃島區(qū)供電公司, 青島 266500)

4(解放軍 9144 部隊(duì), 青島 266102)

電力系統(tǒng)對(duì)于國(guó)家安全有重要的意義, 而輸電塔作為承載電力運(yùn)輸線路的載體, 輸電鐵塔是輸電線路中最重要的基礎(chǔ)設(shè)施之一, 起到支持高壓或超高壓架空輸電線路中導(dǎo)線和避雷線的作用, 在整個(gè)電力系統(tǒng)中有著不可替代的作用[1]. 由于輸電塔組成復(fù)雜, 存在許多類似于螺母的小部件, 傳統(tǒng)的依靠人工巡檢的巡檢方式存在很大的弊端. 這種方式需要巡檢人員近距離查看輸電塔各部位, 并且由于人眼具有疲勞性的特點(diǎn), 這種方式是不安全且效率不高的[2]. 由于輸電塔一般建設(shè)在野外等人跡較少的地方, 并且各個(gè)地區(qū)對(duì)于輸電塔的巡檢圖像數(shù)據(jù)比較少, 由于圖像數(shù)據(jù)標(biāo)注價(jià)值高, 并且涉及到地區(qū)數(shù)據(jù)隱私問(wèn)題, 因此各地區(qū)不愿意分享本地?cái)?shù)據(jù).

在大多數(shù)情況下, 數(shù)據(jù)是以孤島的形式存在的, 由于隱私安全、手續(xù)復(fù)雜等問(wèn)題, 即使是在同一個(gè)公司的不同部門之間, 實(shí)現(xiàn)數(shù)據(jù)整合也面臨著重重阻力, 在現(xiàn)實(shí)中將分散在各地的數(shù)據(jù)進(jìn)行整合幾乎是不可能的,或者說(shuō)耗費(fèi)巨大. 同時(shí), 數(shù)據(jù)隱私保護(hù)已經(jīng)成為全世界關(guān)注的趨勢(shì), 給人工智能技術(shù)發(fā)展帶來(lái)巨大挑戰(zhàn).

傳統(tǒng)數(shù)據(jù)處理方法是的各方收集數(shù)據(jù)后, 再匯集到一起進(jìn)行處理、清洗并建模. 但隨著對(duì)隱私安全問(wèn)題的重視, 各項(xiàng)保護(hù)數(shù)據(jù)安全的法律法規(guī)也逐漸完善,如果數(shù)據(jù)離開收集方就可能會(huì)危害數(shù)據(jù)隱私從而出現(xiàn)隱私安全問(wèn)題.

聯(lián)邦學(xué)習(xí)是一種加密的分布式機(jī)器學(xué)習(xí)技術(shù), 參與的各方可以在不上傳底層數(shù)據(jù)的前提下共建模型.它可以實(shí)現(xiàn)各個(gè)地方、各個(gè)企業(yè)的私有數(shù)據(jù)不出本地,而通過(guò)加密機(jī)制下的參數(shù)交換方式, 使各個(gè)機(jī)構(gòu)在不交換數(shù)據(jù)的情況下進(jìn)行協(xié)作, 從而提升機(jī)器學(xué)習(xí)的效果.

為了有效地解決巡檢效率不高和數(shù)據(jù)隱私的問(wèn)題,本文采用聯(lián)邦學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的方法, 利用深度學(xué)習(xí)處理無(wú)人機(jī)巡檢圖像[3,4]來(lái)進(jìn)行輸電塔螺母銷釘缺失檢測(cè), 用聯(lián)邦學(xué)習(xí)來(lái)保證數(shù)據(jù)隱私的問(wèn)題, 參與訓(xùn)練的各方不需要將私有數(shù)據(jù)上傳到一處進(jìn)行整合處理, 用私有的數(shù)據(jù)各自訓(xùn)練, 從而在保證數(shù)據(jù)隱私的情況下獲得一個(gè)高質(zhì)量的融合模型[5], 不僅有效的提高了數(shù)據(jù)質(zhì)量, 也極大地?cái)?shù)據(jù)節(jié)約了整合成本.

1 引言

1.1 聯(lián)邦學(xué)習(xí)

目前, 數(shù)據(jù)安全問(wèn)題已經(jīng)成為熱議的話題, 自從Facebook 數(shù)據(jù)泄露之后, 重視數(shù)據(jù)隱私和安全已經(jīng)成為了世界性的趨勢(shì). 為了解決數(shù)據(jù)隱私和數(shù)據(jù)孤島的問(wèn)題, 聯(lián)邦學(xué)習(xí)變得越來(lái)越重要[6]. 2017 年, 谷歌首次引入了聯(lián)邦學(xué)習(xí)系統(tǒng), 在數(shù)據(jù)保留在本地的情況下, 多個(gè)參與者共同訓(xùn)練, 該系統(tǒng)允許用戶形成一個(gè)聯(lián)合體訓(xùn)練得到一個(gè)集中模型, 而用戶數(shù)據(jù)則安全地存儲(chǔ)在本地, 這就解決了數(shù)據(jù)隱私問(wèn)題[7]. 香港科技大學(xué)楊強(qiáng)教授和微眾銀行 (WeBank) 進(jìn)一步提出了聯(lián)邦遷移學(xué)習(xí)(federated transfer learning, FTL)[8], FTL 將 FL 的概念加以推廣, 在不損害用戶隱私的情況下進(jìn)行知識(shí)共享, 以實(shí)現(xiàn)在任何數(shù)據(jù)分布、任何實(shí)體上均可以進(jìn)行協(xié)同建模、以學(xué)習(xí)全局模型. Kone?ny等人通過(guò)修改神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò), 結(jié)合聯(lián)邦學(xué)習(xí)在MNIST數(shù)據(jù)集上取得了優(yōu)異的效果[9]. Zhu 等人利用簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練隱私場(chǎng)景的文字識(shí)別, 利用4 個(gè)卷積層和2 個(gè)全連接層來(lái)訓(xùn)練, 經(jīng)過(guò)梯度計(jì)算和參數(shù)更新更新最終的聯(lián)邦學(xué)習(xí), 最后聯(lián)邦學(xué)習(xí)表現(xiàn)出優(yōu)于基線模型的成績(jī)[10]. Zhang 等人將聯(lián)邦學(xué)習(xí)與分類相結(jié)合,將多個(gè)分類算法融入到聯(lián)邦學(xué)習(xí), 在檢測(cè)COVID-19肺部醫(yī)學(xué)數(shù)據(jù)方面取得了十分好的效果[11].

1.2 圖像分類

作為計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)任務(wù), 圖像分類是目標(biāo)檢測(cè)、語(yǔ)義分割的重要支撐, 其目標(biāo)是將不同的圖像劃分到不同的類別, 并實(shí)現(xiàn)最小的分類誤差[12].

傳統(tǒng)的圖像分類研究中, 多數(shù)為基于圖像特征的分類[13], 即根據(jù)不同類別圖像的差異, 利用圖像處理算法提取經(jīng)過(guò)定性或定量表達(dá)的特征, 之后對(duì)這些特征進(jìn)行數(shù)學(xué)方面的統(tǒng)計(jì)分析或使用分類器輸出分類結(jié)果.傳統(tǒng)的分類算法在特征提取方面, 主要包括紋理、顏色、形狀等底層視覺(jué)特征, 尺度不變特征變換[14]、局部二值模式[15]、方向梯度直方圖[16]等局部不變性特征, 這些人工設(shè)計(jì)特征缺乏良好的泛化性能, 且依賴于設(shè)計(jì)者的先驗(yàn)知識(shí)和對(duì)分類任務(wù)的認(rèn)知理解. 目前, 海量、高維的數(shù)據(jù)也使得人工設(shè)計(jì)特征的難度呈指數(shù)級(jí)增加.

深度學(xué)習(xí)[17]相較于傳統(tǒng)的圖像分類方法, 不需要對(duì)目標(biāo)圖像進(jìn)行人工特征描述和提取, 而是通過(guò)神經(jīng)網(wǎng)絡(luò)自主地從訓(xùn)練樣本中學(xué)習(xí)特征, 提取出更高維、抽象的特征, 并且這些特征與分類器關(guān)系緊密, 很好地解決了人工提取特征和分類器選擇的難題.

1.3 目標(biāo)檢測(cè)

自從Hinton 團(tuán)隊(duì)利用AlexNet[18]在ImageNet[19]取得成功之后, CNN 成為計(jì)算機(jī)視覺(jué)方向的重要工具.Girshick 等人首先將CNN 應(yīng)用于目標(biāo)檢測(cè)中, 在區(qū)域候選的生成算法中, 提出了選擇性搜索(selective search)[20]等經(jīng)典算法, 繼而出現(xiàn)了RCNN 的一系列變形: SPP Net[21]、Fast RCNN[22]、Faster RCNN[23]. Fast RCNN 以及Faster RCNN 的出現(xiàn)加快了RCNN 用作目標(biāo)檢測(cè)的效率, 同時(shí)Faster RCNN 也是第一個(gè)能夠端到端訓(xùn)練,并且速度近乎達(dá)到實(shí)時(shí)的檢測(cè)器. 2017 年Ren 等人[23]提出了RPN, 生成多尺度區(qū)域, 結(jié)合Faster RCNN 實(shí)現(xiàn)了當(dāng)時(shí)最先進(jìn)的結(jié)果. 目前Faster RCNN 算法性能仍然十分出色, 目標(biāo)檢測(cè)雖然已經(jīng)取得了相當(dāng)大的成功,但是仍然離不開大量數(shù)據(jù)的支持, 特別是大量已標(biāo)注好的數(shù)據(jù). 然而現(xiàn)實(shí)場(chǎng)景中數(shù)據(jù)往往存在數(shù)量少、標(biāo)注難、數(shù)據(jù)涉及隱私的問(wèn)題, 達(dá)不到實(shí)際需求. 數(shù)據(jù)十分珍貴.

2 基于聯(lián)邦學(xué)習(xí)的螺母銷釘缺失檢測(cè)算法

本文提出的基于聯(lián)邦學(xué)習(xí)的螺母銷釘缺失檢測(cè)算法的整體框架圖如圖1 所示, 各節(jié)點(diǎn)利用本地用于檢測(cè)的訓(xùn)練數(shù)據(jù)訓(xùn)練基于Faster RCNN 的目標(biāo)檢測(cè)模型,每訓(xùn)練完成一輪, 會(huì)將訓(xùn)練好的本地模型上傳到中心節(jié)點(diǎn)融合, 中心節(jié)點(diǎn)在收到所有的局部模型后進(jìn)行模型融合處理, 形成新的融合模型再下發(fā)到各訓(xùn)練節(jié)點(diǎn),各訓(xùn)練節(jié)點(diǎn)收到融合模型后, 在融合模型的基礎(chǔ)上繼續(xù)下一輪的迭代訓(xùn)練. 最后中心節(jié)點(diǎn)得到一個(gè)基于Faster RCNN 的融合模型. 再利用本地用于分類的訓(xùn)練數(shù)據(jù)訓(xùn)練基于GoogLeNet[24]的分類模型, 上傳中心節(jié)點(diǎn)進(jìn)行融合, 最后中心節(jié)點(diǎn)得到一個(gè)基于GoogLeNet的融合模型. 將圖像輸入到ResNet50[25]中, 生成特征圖, 同時(shí)RPN 結(jié)構(gòu)會(huì)按照預(yù)設(shè)的比例生成anchor 作為初始檢測(cè)框 , 在RPN 層后鏈接一層全連接層來(lái)區(qū)分前景和后景并且對(duì)候選框進(jìn)行修正. RPN 將生成的 anchor投影到特征圖上得到對(duì)應(yīng)的特征矩陣, 將每個(gè)特征矩陣通過(guò) ROI pooling 層縮放到統(tǒng)一的 7×7 大小展平, 最后通過(guò)全連接層預(yù)測(cè)檢測(cè)結(jié)果, 將結(jié)果輸入到分類融合模型中獲得最終螺母分類結(jié)果.

圖1 整體架構(gòu)圖

2.1 聯(lián)邦學(xué)習(xí)模型融合策略

在訓(xùn)練過(guò)程中, 不同機(jī)器的數(shù)據(jù)大小, 機(jī)器效能,訓(xùn)練速度會(huì)有差異, 有的節(jié)點(diǎn)訓(xùn)練速度比較快, 有的節(jié)點(diǎn)訓(xùn)練速度比較慢. 目前普遍的方法有同步通信和異步通信, 在同步通信的方式中, 中心節(jié)點(diǎn)需要收到所有訓(xùn)練節(jié)點(diǎn)上傳的模型后, 才能進(jìn)行融合推動(dòng)下一輪訓(xùn)練, 導(dǎo)致整個(gè)進(jìn)程受集群里最慢的節(jié)點(diǎn)的影響. 在異步通信中, 每個(gè)節(jié)點(diǎn)完成本地訓(xùn)練之后就把局部模型推送到全局模型上去, 并繼續(xù)本地的訓(xùn)練過(guò)程, 而不去等待其他的節(jié)點(diǎn). 在本文中各節(jié)點(diǎn)本地?cái)?shù)據(jù)設(shè)置的總數(shù)差距不是很大, 因此在本文中采用的是同步通信方式,中心節(jié)點(diǎn)收到所有訓(xùn)練節(jié)點(diǎn)上傳的本地模型經(jīng)過(guò)融合后下發(fā)各訓(xùn)練節(jié)點(diǎn)繼續(xù)下一輪訓(xùn)練. 在融合過(guò)程中, 采用模型參數(shù)加權(quán)平均的方式進(jìn)行模型參數(shù)融合, 就是將不同局部模型進(jìn)行參數(shù)平均. 這種方式的訓(xùn)練過(guò)程如圖2 所示.

圖2 平均融合過(guò)程

2.2 特征提取網(wǎng)絡(luò)設(shè)計(jì)

如圖3 所示, 本文采用ResNet50 作為特征提取網(wǎng)絡(luò), 相對(duì)于原始的VGG16 網(wǎng)絡(luò), ResNet50 用更多的網(wǎng)絡(luò)層數(shù)來(lái)挖掘更深層的特征, 采用殘差連接使得深度模型的訓(xùn)練比較容易, 克服由于網(wǎng)絡(luò)深度加深而產(chǎn)生的學(xué)習(xí)效率變低與準(zhǔn)確率無(wú)法有效提升的問(wèn)題其中殘差塊如圖4 所示, 在殘差網(wǎng)絡(luò)單元中包含了跨層連接,圖中的曲線可以將輸入直接跨層傳遞, 進(jìn)行了同等映射, 之后與經(jīng)過(guò)卷積操作的結(jié)果相加. 假設(shè)輸入圖像為x, 輸出為H(x), 中間經(jīng)過(guò)卷積之后的輸出為F(x)的非線性函數(shù), 那最終的輸出為H(x)=F(x)+x, 網(wǎng)絡(luò)也就轉(zhuǎn)化為求殘差函數(shù)F(x)=H(x)-x, 這樣殘差函數(shù)要比F(x) =H(x)更加容易優(yōu)化. ResNet 包含49 個(gè)卷積層和一個(gè)全連接層, 首先對(duì)輸入數(shù)據(jù)進(jìn)行卷積、正則化、激活函數(shù)和最大池化的計(jì)算, 之后包含4 個(gè)殘差塊, 最后通過(guò)全連接層進(jìn)行分類任務(wù). 網(wǎng)絡(luò)的輸入為 224×224×3, 經(jīng)過(guò)卷積計(jì)算, 輸出為 7×7×2048, 池化層會(huì)將其轉(zhuǎn)化成一個(gè)特征向量, 最后分類器會(huì)對(duì)這個(gè)特征向量進(jìn)行計(jì)算并輸出類別概率.

圖3 ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 殘差塊計(jì)算流程

2.3 RPN 候選區(qū)域大小及比例的設(shè)計(jì)

RPN 的目標(biāo)是代替selective search 實(shí)現(xiàn)候選框的提取, 而網(wǎng)絡(luò)不可能自動(dòng)生成任意大小的候選框, 因此anchor 的主要意義就在于根據(jù)特征圖在原圖片上劃分出很多大小、寬高比不相同的矩形框, RPN 會(huì)對(duì)這些框進(jìn)行分類和回歸, 經(jīng)過(guò)微調(diào)后選取一些包含前景的類別框以及包含背景的負(fù)類別框, 送入之后的網(wǎng)絡(luò)結(jié)構(gòu)參與訓(xùn)練.在原始的RPN 網(wǎng)絡(luò)中每個(gè)點(diǎn)的anchor 存在3 種規(guī)模以及3 種比例, 因此原始RPN 每個(gè)點(diǎn)會(huì)生成9 個(gè)anchor, 本實(shí)驗(yàn)中通過(guò)分析原始數(shù)據(jù)可以看出,數(shù)據(jù)中的螺母面積占圖像比例及其小, 不到百分之一,并且拍攝角度有正面和側(cè)面, 因此本實(shí)驗(yàn)中將scale 設(shè)置為4、8、16、32, anchor 的長(zhǎng)寬比例設(shè)置為: 1:1,1:2, 2:1, 即每個(gè)點(diǎn)擁有12 個(gè)anchor.

2.4 損失函數(shù)設(shè)計(jì)

Faster RCNN 包括兩個(gè)損失: RPN 網(wǎng)絡(luò)損失和RCNN網(wǎng)絡(luò)損失, 每個(gè)損失又包括分類損失和回歸損失, 所以需要定義一個(gè)多任務(wù)損失函數(shù), 包括Softmax classification loss 和bounding box regression loss. 分類損失使用的是交叉熵, 回歸損失使用的是smooth L1 loss. 損失函數(shù)如式(1)定義:

其中,i為anchor 的索引,pi為第i個(gè)anchor 預(yù)測(cè)為目標(biāo)的概率,pi*為ground truth,pi* =1 表示第i個(gè)候選框與ground truth 之間的IoU＞0.7, 包含目標(biāo), 為正樣本,pi* =0 表示第i個(gè)候選框與ground truth 之間的IoU＜0.3, 不包含目標(biāo), 為負(fù)樣本,IoU在0.3 到0.7 之間的anchors 則忽略.ti={tx, ty, tw, th}表示bounding box的4 個(gè)參數(shù), RPN 通過(guò)這4 個(gè)參數(shù)對(duì)候選框進(jìn)行修正.ti*是與positive anchor 對(duì)應(yīng)的ground truth 的4 個(gè)坐標(biāo)參數(shù),λ是回歸loss 的權(quán)重.Nreg為anchor 的數(shù)量.Lcls(·)是交叉熵函數(shù), 表達(dá)式為式(2):

其中,x,y,w,h是預(yù)測(cè)框中心的坐標(biāo)和寬高,xa,ya,wa,ha是anchor 中心點(diǎn)的坐標(biāo)和寬高.

tx*,ty*,tw*,th*是真實(shí)標(biāo)注框中心的坐標(biāo)和寬高,計(jì)算公式如式(9)-式(12)所示:

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)將各節(jié)點(diǎn)數(shù)據(jù)按9:1 的比例進(jìn)行劃分, 將節(jié)點(diǎn)數(shù)據(jù)的1/10 加入到整體測(cè)試集中用于模型評(píng)估, 剩下的部分作為節(jié)點(diǎn)訓(xùn)練集. 各節(jié)點(diǎn)使用本地區(qū)無(wú)人機(jī)采集到的數(shù)據(jù)進(jìn)行訓(xùn)練, 每一輪訓(xùn)練完成后將本地模型參數(shù)發(fā)送給中心節(jié)點(diǎn), 中心節(jié)點(diǎn)采用加權(quán)平均的融合策略, 將收到的模型融合后下發(fā)到各訓(xùn)練節(jié)點(diǎn), 訓(xùn)練節(jié)點(diǎn)收到融合模型后繼續(xù)在融合模型的基礎(chǔ)上進(jìn)行下一輪訓(xùn)練.

3.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)采用4 個(gè)訓(xùn)練節(jié)點(diǎn)和1 個(gè)中心節(jié)點(diǎn)的配置. 環(huán)境配置如表1 所示.

表1 訓(xùn)練節(jié)點(diǎn)環(huán)境配置

3.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)如圖5 所示, 分別在多個(gè)地方利用無(wú)人機(jī)拍攝輸電塔數(shù)據(jù), 經(jīng)篩選共得到有效數(shù)據(jù)1 236 張.

圖5 實(shí)驗(yàn)數(shù)據(jù)

每個(gè)節(jié)點(diǎn)經(jīng)過(guò)裁剪得后本地螺母分類數(shù)據(jù), 分為兩類: 螺母有銷釘和螺母無(wú)銷釘. 數(shù)據(jù)如圖6 所示.

圖6 螺母分類數(shù)據(jù)

3.3 數(shù)據(jù)預(yù)處理

訓(xùn)練集規(guī)模對(duì)模型性能有明顯的影響, 訓(xùn)練集數(shù)量越多, 訓(xùn)練出來(lái)的模型性能就越好. 因此本文通過(guò)圖像縮放、圖像旋轉(zhuǎn)以及添加噪聲來(lái)對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充.從而提升模型的魯棒性. 經(jīng)過(guò)擴(kuò)充后的各節(jié)點(diǎn)數(shù)據(jù)集如表2 所示.

表2 預(yù)處理后各節(jié)點(diǎn)數(shù)據(jù)量

經(jīng)過(guò)預(yù)處理后的圖像如圖7 所示. 圖7(a)為無(wú)人機(jī)拍攝得到的原始數(shù)據(jù)與預(yù)處理后的數(shù)據(jù), 圖7(b)為裁剪后螺母原始數(shù)據(jù)與預(yù)處理后的數(shù)據(jù). 其中第一行為原始數(shù)據(jù), 第二行為預(yù)處理后數(shù)據(jù), 使用的預(yù)處理技術(shù)有縮放操作、圖像反轉(zhuǎn)、高斯模糊.

圖7 數(shù)據(jù)預(yù)處理結(jié)果

3.4 實(shí)驗(yàn)步驟

本實(shí)驗(yàn)首先通過(guò)檢測(cè)任務(wù)對(duì)螺母進(jìn)行檢測(cè), 將結(jié)果輸入到分類網(wǎng)絡(luò)中進(jìn)行分類任務(wù), 最終判斷螺母上銷釘是否存在. 根據(jù)實(shí)驗(yàn)的要求對(duì)各節(jié)點(diǎn)的本地訓(xùn)練集進(jìn)行了人工標(biāo)注和處理, 然后把訓(xùn)練集進(jìn)行有限次的迭代訓(xùn)練, 在本文中將迭代次數(shù)設(shè)置為20, 每迭代一次上傳至中心節(jié)點(diǎn)進(jìn)行模型融合后再下發(fā)至訓(xùn)練節(jié)點(diǎn)進(jìn)行下一輪迭代. 最后在中心節(jié)點(diǎn)使用測(cè)試集在融合模型上進(jìn)行測(cè)試, 分析融合訓(xùn)練出的模型與各節(jié)點(diǎn)本地模型的性能對(duì)比.各節(jié)點(diǎn)使用相同的超參數(shù)設(shè)置, 其中batchsize 為16, epoch 為20, 初始學(xué)習(xí)率為0.01, 學(xué)習(xí)率調(diào)整策略選擇等間隔調(diào)整學(xué)習(xí)率的方法, 學(xué)習(xí)率衰減的gamma 值為0.1.

3.5 實(shí)驗(yàn)結(jié)果與分析

在本實(shí)驗(yàn)中, 我們對(duì)檢測(cè)任務(wù)采用mAP 指標(biāo)進(jìn)行評(píng)估m(xù)AP 為各類別準(zhǔn)確率和召回率曲線下的面積的平均值, 在分類任務(wù)上采用準(zhǔn)確率進(jìn)行評(píng)估.

各節(jié)點(diǎn)局部模型與中心融合模型在迭代20 次后的準(zhǔn)確率曲線如圖8 所示: 每個(gè)節(jié)點(diǎn)用各自的訓(xùn)練集進(jìn)行訓(xùn)練, 這些訓(xùn)練集各不相同, 訓(xùn)練完成一輪后會(huì)上傳到中心節(jié)點(diǎn)進(jìn)行模型融合, 因此融合后的模型是各訓(xùn)練節(jié)點(diǎn)模型參數(shù)的集合, 所以融合模型具有比較不錯(cuò)的泛化性, 在訓(xùn)練曲線中可以看出在訓(xùn)練20 輪的過(guò)程中, 在第13 輪訓(xùn)練模型的準(zhǔn)確率基本達(dá)到平穩(wěn).

圖8 融合模型與局部模型檢測(cè)性能對(duì)比

可以看出經(jīng)過(guò)中心節(jié)點(diǎn)融合后的模型兼容性更好,因此對(duì)于測(cè)試集來(lái)說(shuō)具有更高的mAP. 由于沒(méi)有對(duì)各節(jié)點(diǎn)進(jìn)行數(shù)據(jù)非獨(dú)立同分布劃分, 因此各節(jié)點(diǎn)數(shù)據(jù)集分布情況還是存在一定的相似性.

圖9 為各節(jié)點(diǎn)在訓(xùn)練過(guò)程中的損失收斂曲線.

圖9 各節(jié)點(diǎn)損失函數(shù)收斂曲線

分類任務(wù)的局部模型與融合模型在迭代20 次后的準(zhǔn)確率曲線如圖10 所示.

圖10 融合模型與局部模型分類性能對(duì)比

通過(guò)曲線可以看出融合模型相對(duì)于各節(jié)點(diǎn)局部模型準(zhǔn)確率存在提升, 約在2%-4%之間, 由于本地?cái)?shù)據(jù)與中心節(jié)點(diǎn)的數(shù)據(jù)比較相似, 因此在準(zhǔn)確率上的提升不明顯.

融合模型與本地局部模型的準(zhǔn)確率與召回率如表3所示.

表3 中心節(jié)點(diǎn)與訓(xùn)練節(jié)點(diǎn)模型準(zhǔn)確率與召回率

4 結(jié)論與展望

本文將聯(lián)邦學(xué)習(xí)與目標(biāo)檢測(cè)和圖像分類任務(wù)相結(jié)合, 在保證數(shù)據(jù)隱私的情況下進(jìn)行同步訓(xùn)練, 根據(jù)螺母銷釘形狀特點(diǎn), 重新設(shè)計(jì)Faster RCNN 中anchor 比例,最后經(jīng)過(guò)有限次的迭代訓(xùn)練與融合得到最優(yōu)的融合模型. 實(shí)驗(yàn)結(jié)果表明, 融合模型相對(duì)于局部模型在檢測(cè)和分類任務(wù)上均存在一定程度的提升, 融合模型具有更好的兼容性, 說(shuō)明將聯(lián)邦學(xué)習(xí)用于目標(biāo)檢測(cè)和分類任務(wù)是可行的, 可以有效的解決數(shù)據(jù)隱私情況下的聯(lián)合訓(xùn)練, 得到一個(gè)兼容性更好, 性能更高的模型.

在本文中, 數(shù)據(jù)的相似性比較大, 沒(méi)有對(duì)本地?cái)?shù)據(jù)進(jìn)行非獨(dú)立同分布設(shè)計(jì), 導(dǎo)致分類任務(wù)最后的提升效果不明顯, 因此在后續(xù)工作中會(huì)對(duì)數(shù)據(jù)進(jìn)行非獨(dú)立同分布設(shè)計(jì), 使各節(jié)點(diǎn)數(shù)據(jù)差異性較大, 這樣最后融合模型效果會(huì)比較明顯, 同時(shí)由于各節(jié)點(diǎn)數(shù)據(jù)較少, 解下來(lái)會(huì)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充, 通過(guò)數(shù)據(jù)增強(qiáng)的方式擴(kuò)充實(shí)驗(yàn)數(shù)據(jù).