基于Faster RCNN的屏幕防手機拍攝算法的研究

王曉媛 張文濤 韓 磊

中國航天系統(tǒng)科學與工程研究院，北京 100037

隨著信息技術的不斷發(fā)展，使用手機對電腦屏幕拍照成為竊取敏感信息的便捷且隱蔽的手段[1]。近年來，因該手段導致的泄密事件正呈現(xiàn)逐年上升的趨勢，對網(wǎng)絡中重要信息的安全保密構(gòu)成了嚴重威脅[2]。目前現(xiàn)有的防范方法主要有3種：信息隱藏顯示法[3]僅針對于文本文件的保護，無法抵御攝像攻擊；攝像頭檢測法[4-7]主要針對長期竊拍的隱藏攝像頭，目前眾多電磁信息對其影響較大；屏幕水印法[8-9]主要用于追溯，對魯棒性攻擊、幾何攻擊的抵抗性較差。綜上所述，上述3種方法均在一定程度上對待解決的問題有所妥協(xié)，而近年來國內(nèi)外在目標檢測方面的深入研究為解決該問題提供了新思路。

傳統(tǒng)的目標檢測法有基于SVM[10]、HOG特征[11]和DPM[12]等多種方法，隨著智能時代的來臨，目前普遍使用基于深度學習的方法進行目標檢測，其中，2013年首次提出的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(Region-based Convolutional Neural Network，RCNN)[13]目標檢測法是近年來應用效果較好的方法之一，該方法結(jié)合了區(qū)域提名(Region Proposal)和卷積神經(jīng)網(wǎng)絡(CNN)2種思想，相比于傳統(tǒng)方法，顯著提高了識別率。近年來，RCNN不斷發(fā)展與演進，F(xiàn)ast RCNN[14]利用Multi-task loss實現(xiàn)了多任務同時訓練，明顯加快了訓練和測試速度；Faster RCNN[15]在Fast RCNN的基礎上結(jié)合區(qū)域候選網(wǎng)絡(RPN)，通過共享卷積層和特征圖譜，實現(xiàn)快速目標識別訓練與測試。

本文針對手機拍攝屏幕的行為特點，以Faster RCNN算法為基礎，構(gòu)建靜態(tài)圖片和動態(tài)視頻圖片相結(jié)合的數(shù)據(jù)集，對原始圖像數(shù)據(jù)進行特征提取后訓練，最終達到識別手機的效果，根據(jù)識別結(jié)果做出快速響應，阻斷手機拍攝行為，有效保護網(wǎng)絡中重要信息的安全。

1 Faster RCNN基本結(jié)構(gòu)及原理

Faster RCNN相比于RCNN和Fast RCNN等目標檢測法，提高了檢測精度與速度，真正實現(xiàn)了端到端的目標檢測，可快速生成候選框，因此，選取Faster RCNN算法框架識別手機，以達到屏幕防拍攝的目的。

Faster RCNN結(jié)構(gòu)示意圖如圖1所示，其可以簡單理解為3個模塊，分別為特征提取模塊、候選區(qū)域生成模塊和類別檢測模塊[16]。

圖1 Faster RCNN結(jié)構(gòu)示意圖

1)特征提取模塊：該模塊的主要作用是獲取原始圖像特征圖。首先，對原始輸入圖進行歸一化處理，得到相同大小的圖像；然后利用基礎的卷積神經(jīng)網(wǎng)絡模型，對其進行卷積和池化運算，提取圖像邊緣、目標邊緣等特征，最終得到空間上變小，特征深度更深的特征圖。特征圖在保留目標在原始圖像中的相對位置的同時，在深維度上編碼原始圖片上的所有信息。

2)候選區(qū)生成模塊：該模塊的主要作用是在特征圖上生成候選區(qū)域塊。RPN網(wǎng)絡，即區(qū)域建議網(wǎng)絡，是Faster RCNN中的核心部分。前一模塊輸出的特征圖為RPN網(wǎng)絡的輸入，首先對特征圖的每個位置產(chǎn)生anchors(即候選窗口)，經(jīng)由Softmax分類器，確定anchors中是否包含目標物體，是則保留anchors，否則判斷其為背景；然后進行邊框回歸調(diào)整，最后輸出含有候選框的特征圖。

3)類別檢測模塊：該模塊的主要作用是判定候選區(qū)域塊的所屬類別，生成結(jié)果圖。感興趣區(qū)域池化(Region of Interest Pooling，RoI池化)和分類器是這一模塊的主要部分，前2個模塊輸出的特征圖和含候選區(qū)的特征圖均為RoI池化層的輸入，將候選框坐標映射到特征圖上，得到相同大小的矩形候選框；最后，利用分類器確定候選框內(nèi)目標所屬的具體類別，最后輸出目標識別后的圖像。

在Faster RCNN算法中RPN網(wǎng)絡的應用使算法在檢測識別的時間大大減少，算法在GPU模式下，生成候選框，識別一張圖片僅消耗10ms的時間[15]，基本上能夠?qū)崿F(xiàn)實時檢測。

2 數(shù)據(jù)采集與數(shù)據(jù)集建立

在算法和訓練模型相同的情況下，算法效果的好壞主要依賴于訓練數(shù)據(jù)是否恰當，合理采集數(shù)據(jù)圖片，進行預處理，建立圖片數(shù)據(jù)訓練集十分重要[17]。

2.1 數(shù)據(jù)采集

為合理設計手機識別的圖片數(shù)據(jù)集，需根據(jù)手機拍照屏幕的特點，從以下3個方面進行考慮：

1)手機在進行拍照時，需要一個支撐物進行支撐。在日常生活中、尤其在辦公環(huán)境下，人們大多采用手持的方式進行手機拍照，采集手持手機進行拍照的手勢動作，可以將手機與手作為一個強耦合的整體進行識別，如果屏幕中出現(xiàn)了手，就要加強對手周圍區(qū)域進行手機識別，圖2為手持手機拍照動作示意圖；

圖2 使用手機拍照的動作示意圖

2)使用手機進行拍照，在屏幕的可視范圍內(nèi)，有時不需要出現(xiàn)整個手機及支撐物，只要手機攝像頭出現(xiàn)，便可進行拍照，圖3為手機攝像頭與屏幕檢測攝像頭之間的關系示意圖；

圖3 手機攝像頭與電腦屏幕間的關系示意圖

3)從拿起手機到使用手機進行拍照是一個連續(xù)的動作，具有時序性，在數(shù)據(jù)采集時錄制動作視頻，用連續(xù)的圖像作為數(shù)據(jù)集。

綜上，手機識別圖片數(shù)據(jù)集包含以下3類：

1)拍照手勢動作圖片集：包含單手和雙手2種形式，多種動作、多角度，共采集100張靜態(tài)圖片；

2)手機圖片集：目前市場上主流的智能手機品牌有20多種，出現(xiàn)單攝、雙攝等多攝手機，后置攝像頭在外形上多為圓形或方形，位置多在手機后的上中或左上方，多個攝像頭的排列多呈現(xiàn)橫排、豎排等集中排列形態(tài)，綜合以上考慮，選取100張靜態(tài)手機圖片；

3)拍照動作圖片集：采集100段拍照動作視頻，每5幀保存圖片，共選取9500張圖片。

2.2 數(shù)據(jù)庫建立

Faster RCNN屬于有監(jiān)督學習，圖片集使用LabelImg工具數(shù)據(jù)標記圖片中的信息，標注的類別有：face(人臉)、hand(手)和phone(手機)，生成XML文件，內(nèi)含圖片的位置信息、圖片的寬和高像素值、類別名稱、標注框的坐標點等信息。圖4為標注圖片示例。

圖4 標注圖片示例

使用深度學習方法，進行目標檢測與識別，多使用Pascal VOC數(shù)據(jù)集，該數(shù)據(jù)集格式規(guī)范標準，易于制作，使用方便[18]。為實現(xiàn)識別手機的任務，我們按照Pascal VOC數(shù)據(jù)集格式制作手機識別圖片數(shù)據(jù)集， JPEGImages文件夾中存放所有訓練集與測試集圖片，Annotation文件夾中存放與圖片名稱相同的XML文件，ImageSets中的Main文件夾中存放4個txt格式文件，分別存放用來訓練、驗證、訓練和驗證以及測試的圖片的名稱。

本文使用的數(shù)據(jù)集主要有以下2種特點：1)增加部分標注，在標注整體手機的同時，標注部分手機局部，增強局部特征識別，增加手機識別率；2)數(shù)據(jù)集采用靜態(tài)圖像與視頻幀圖像相結(jié)合的方式，采集多段使用手機拍照的視頻，內(nèi)含拍照動作的時序性，增加手機拍攝的識別率。

3 實驗結(jié)果及分析

實驗使用的Faster RCNN算法基于TensorFlow深度學習框架，TensorFlow支持自動求導，不需要反向傳播求解梯度；加入了分布式，充分利用硬件資源，可最大化計算效率；并且具有較強的可移植性，編譯速度較快[19]。

3.1 實驗參數(shù)設置

Faster RCNN的特征提取模塊選擇VGG16基礎卷積神經(jīng)網(wǎng)絡模型，修改目標類別名稱參數(shù)，本文需要識別的類別為3類。

針對不同的數(shù)據(jù)集，不同大小的目標，選擇合適的候選窗口anchor的大小和數(shù)量，是很必要的，可以加快收斂的速度，提高檢測速度[20]。其次，在對識別效果統(tǒng)計時，置信度的選擇對最終的結(jié)果影響也較大。

針對手機標簽的識別，將測試集的實驗結(jié)果分為如表1所示的4類，其中TP表示被識別的含手機正類樣本數(shù)(正確識別)，F(xiàn)N表示不被識別的含手機正類樣本數(shù)(錯誤識別)，F(xiàn)P表示被識別的不含手機的負樣本數(shù)(正確識別)，TN表示不被識別的不含手機的負樣本數(shù)(錯誤識別)。實驗模型評價方面，使用準確率(Accuracy，Acc)、精確率(Precision，P)和召回率(Recall)3個評價指標進行模型評價[21]。本實驗中，準確率是指識別正確(存在手機時正確識別出手機和不存在手機時未誤識別)的樣本數(shù)占樣本總數(shù)的比例；精確率指在所有被識別的樣本(包含誤識別)中正確識別的樣本數(shù)所占的比例；召回率指所有含手機的正類中被正確識別的樣本數(shù)所占的比例。準確率和精確率越高，表示實驗中手機樣本的識別效果越對；召回率越高，表示手機樣本的識別得越全。3個評價指標的計算公式如表1中所示。

表1 樣本分類說明表

3.2 實驗結(jié)果及分析

本文使用Python語言，實現(xiàn)了基于TensorFlow框架的Faster RCNN算法，對數(shù)據(jù)集中圖像數(shù)據(jù)利用Vgg16深度模型進行特征提取，通過RPN網(wǎng)絡生成候選區(qū)域，并由Softmax分類器及全連接層實現(xiàn)對候選區(qū)域的最終分類。通過前述分析可知，phone標簽的識別結(jié)果對屏幕防手機拍攝效果產(chǎn)生直接影響，為量化手機識別效果，本文將分別計算和統(tǒng)計準確率、精確率及召回率。選取96張圖片作為測試集，并對測試圖片進行有針對性的設計和分類，共分6種類型。如圖5所示，其中A類為手機后置、前置攝像頭正向?qū)ζ聊?；B類為屏幕中僅出現(xiàn)部分手機；C類為手機安裝手機殼；D類為手機與屏幕間存在一定角度；E類為手機大部分存在故意遮擋的情況；F類為設置書本等干擾物的情況。

新生兒氣胸是一種常見的新生兒急危重癥，主要表現(xiàn)為氣促、發(fā)紺、吸氣“三凹征”等，嚴重將引起持續(xù)性肺動脈高壓及呼吸衰竭，危及患兒生命[1-2]。因此，及時診斷并采取有效措施治療尤為關鍵。新生兒氣胸常存在多個發(fā)生因素，本研究對氣胸新生兒及健康新生兒進行研究，旨在探討新生兒氣胸發(fā)生的高危因素，為治療及干預提供依據(jù)?，F(xiàn)報道如下。

圖5 各類測試圖片示例

測試圖片集中存在一張圖片包含多部手機或者沒有手機的情況，288張圖片中共包含手機目標240個，具體分布如表2所示。

表2 測試集圖片類別表

試驗中分別設定置信度區(qū)間為0.6～0.95，從0.6起每增加0.05測試一次，對測試結(jié)果分別進行統(tǒng)計。測試結(jié)果如圖6所示。

圖6 各類測試圖片的手機識別結(jié)果示例

測試集圖片經(jīng)算法識別后，手機的識別結(jié)果統(tǒng)計如表3所示。

表3 測試集手機識別率結(jié)果表

根據(jù)表3的結(jié)果，將3個評價指標的變化趨勢進行分析，具體如圖7所示?？梢钥闯觯S著置信度的增大，手機目標的正確識別數(shù)逐漸增加，直至平穩(wěn)，而隨著個別類型圖片的識別效果不佳，導致了精確率和準確率均出現(xiàn)了一定的下滑。

圖7 評價指標與置信度的變化趨勢折線圖

因此，從上述結(jié)果中可以分析如下：

1)基于Faster RCNN的手機識別算法對手機識別的精確率均在92.21%以上，最高可達到98.44%，說明算法對手機目標的識別能力較高，可以準確識別手機，達到屏幕防拍攝的目的。

2)隨著置信度的逐漸增加，精確率一直平穩(wěn)增加，說明識別的目標中，正確識別的TP類數(shù)所占的比例增加，同時說明F類中誤識別為手機的FP類所占的比例減少。但當置信度從0.85增至0.95時，精確率均在98%以上，相比前一階段精確率稍微有所下降，因為達到此置信度后，F(xiàn)P類數(shù)目基本不發(fā)生變化，TP類數(shù)目下降，導致TP類比例有所降低。

3)置信度從0.6逐漸增加到0.95時，在準確率和召回率逐漸下降的過程中，可以發(fā)現(xiàn)有3個階段下降得比較明顯，根據(jù)對測試樣本的類別分類，分別統(tǒng)計這3個階段中準確識別手機數(shù)量減少的影響因素：

①置信度提高至0.75時，TP數(shù)的減少主要是由于C類和D類正確識別數(shù)減少，F(xiàn)類中誤識別數(shù)減少，其余類別識別情況基本不變；

②置信度提高至0.85時，TP數(shù)的減少主要由于D類測試集的手機識別數(shù)減少，F(xiàn)類中誤識別數(shù)減少，其余類別識別情況基本不變；

③置信度提高至0.95時，TP數(shù)的減少主要由于C類和E類測試集中的手機識別數(shù)減少，尤其是E類。

綜上可知影響準確率和召回率的主要因素是手機殼、角度旋轉(zhuǎn)和異物遮擋，當置信度較低時，干擾物被誤識別為手機的概率較大。當手機正對屏幕和僅有部分手機在畫面中時，識別效果較好。

3.3 屏幕防竊照方法對比

針對屏幕防手機拍照問題，本文的主要思想是利用計算機視覺識別出手機，并及時做出響應。而在此之前提出的3種解決方法適用于不同的應用背景，也有著各自的優(yōu)缺點?，F(xiàn)將這3種屏幕防竊拍方法與本文方法進行對比，具體情況如表4所示。

表4 屏幕防竊照方法對比表

4 總結(jié)與展望

本文利用Faster RCNN算法，實現(xiàn)了辦公環(huán)境下對手機的識別，結(jié)合識別后做出的及時響應，最終實現(xiàn)了屏幕防手機拍照，取得了良好的效果。

但從實驗結(jié)果數(shù)據(jù)看，識別效率還有待進一步提高。在手機安裝手機殼、手機與屏幕角度變換以及存在異物遮擋等情況下，存在少量的漏識別和誤識別?；谶@些問題，后續(xù)研究中可繼續(xù)完善訓練集，增加對干擾物的學習，對測試數(shù)據(jù)集進行圖形處理，抑制復雜背景，優(yōu)化RPN網(wǎng)絡中的候選區(qū)域生成與選擇過程，增強對攝像頭的識別等。