基于足底壓力及BP神經(jīng)網(wǎng)絡的人員身份識別墊具系統(tǒng)設計

摘要：由于每個人走路方式不同，使得各人鞋底的磨損程度也不同，因此在很多案件中，法醫(yī)都會通過“鞋印”來對嫌疑人進行側(cè)寫和識別。截至目前，多項研究已經(jīng)證實，在人員識別方面，“鞋型”和“步態(tài)特征”確實是一類非常有用的工具。不過，單一特征識別設備存在明顯缺點，如操作復雜以及抗干擾性難以達標等。為解決上述“短板”，文章提出了一種基于BP神經(jīng)網(wǎng)絡聯(lián)合“鞋型”和“足底壓力特征”的身份識別系統(tǒng)。通過比對3種不同的足底壓力數(shù)據(jù)積累方法，研究發(fā)現(xiàn)，所提系統(tǒng)在無“噪聲”的情況下能夠達到最佳精確度（89%），而當“添加”10%的噪聲像素時，其精確度亦能夠達到74%。所得結(jié)果證實，該系統(tǒng)在人員識別方面的性能確實令人滿意。

關(guān)鍵詞：人員身份識別；BP神經(jīng)網(wǎng)絡；足底壓力；薄膜壓力傳感器

中圖分類號：TP183中圖分類號" 文獻標志碼：A文獻標志碼

作者簡介：劉曉雪 （1989— ），女，講師，碩士研究生；研究方向：人工智能與網(wǎng)絡安全。

0" 引言

在需要法醫(yī)工作者參與的案件中，“法醫(yī)證據(jù)”扮演著至關(guān)重要的角色，能夠?qū)NA、彈道學、鞋印等多種證據(jù)與犯罪嫌疑人的身份和行為加以關(guān)聯(lián)，進而為案件的破獲提供強大助力［1］。相關(guān)研究及實踐已經(jīng)證實，這些信息在案件調(diào)查中具有重要價值［2］。“鞋印”作為其中之一，被認為是每雙鞋子的獨特特征［3］。早在1786年，鞋印就已被用于案件調(diào)查中。此后，鞋印被廣泛運用于刑事案件的偵辦之中，并成為法庭上的重要證據(jù)之一［4］。

除此之外，長期以來，學術(shù)界一直都在圍繞“如何利用步態(tài)特征進行人員識別”這一課題開展相應研究工作，并且所得成果亦證實，“步態(tài)特征”在人員識別方面確實是一種有效的“工具”［5-6］。多項研究表明，在不同個體之間，足底壓力分布和步態(tài)節(jié)奏會因足型和鞋履磨損等因素影響而存在差異［7］。因此，人們已經(jīng)確信，運用鞋印信息進行人員識別是一種可行的策略。

當前，數(shù)字圖像處理技術(shù)在鞋印數(shù)據(jù)的分析和處理中發(fā)揮著重要作用［8］。Chazal等［9］提出一種基于傅里葉變換的鞋底花紋自動檢索系統(tǒng)，把鞋底痕跡圖像的功率譜密度作為特征進行匹配，其中功率譜密度反映了不同空間頻率分量上的鞋印信息。結(jié)果證明這種方法具有平移、旋轉(zhuǎn)不變性，因此可用于分析部分受損的鞋印。而Su等［10］則基于灰度共生矩陣（Gray-level Co-occurrence Matrix，GLCM）提取鞋印特征，并在鞋印識別方面取得了84.3%～92.7%的準確率。該工作所得結(jié)果表明，GLCM特征的有效性與鞋印圖像的質(zhì)量密切相關(guān)。與此同時，大多數(shù)步態(tài)分類研究都聚焦在視覺領(lǐng)域。盡管在實現(xiàn)較高識別準確率方面，鞋印形態(tài)信息的提取扮演著至關(guān)重要的角色，但要獲取高分辨率的鞋印圖像，就必須使用復雜的設備，而這些設備成本昂貴且難以在公共場所得到廣泛應用。除此之外，相關(guān)研究已經(jīng)證實，足底壓力數(shù)據(jù)與個體的步態(tài)密切相關(guān)，因此在人員識別方面利用足底壓力數(shù)據(jù)亦可以實現(xiàn)較高的準確性。

本研究通過將“足底形態(tài)特征”和與步態(tài)相關(guān)的“動態(tài)足底壓力”的優(yōu)勢相結(jié)合，設計了一種簡單且成本低廉的系統(tǒng)，適用于廣泛的人流監(jiān)測和人員識別場景。首先，本研究設計了硬件平臺，其中主要包括用于收集足底壓力數(shù)據(jù)的薄膜壓力傳感器以及基于微控制器單元（Microcontroller Unit，MCU）的數(shù)據(jù)轉(zhuǎn)換電路（負責將電壓數(shù)據(jù)轉(zhuǎn)換并傳輸至個人計算機）。其次，本研究利用反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡對這2種特征進行自動學習，以實現(xiàn)人員識別。最后，本研究進行了多項實驗設計，所得結(jié)果證實，該系統(tǒng)在人員識別方面的性能令人滿意。

1" 基于“鞋印”的人員身份識別系統(tǒng)

1.1" 系統(tǒng)簡述

系統(tǒng)由薄膜壓力傳感器、數(shù)據(jù)處理電路和個人電腦組成，其中后者用于運行BP神經(jīng)網(wǎng)絡進行識別任務。利用薄膜壓力傳感器采集足底壓力數(shù)據(jù)和鞋印數(shù)據(jù)具有諸多優(yōu)點，如尺寸小、高精度、高抗干擾性和低成本等。壓力數(shù)據(jù)轉(zhuǎn)換為電壓數(shù)據(jù)后，會緩存于基于MCU的數(shù)據(jù)處理電路中，最終被傳輸至個人電腦中的軟件系統(tǒng)。

整個系統(tǒng)的流程如圖1所示。首先，行走中的01個體會踩在壓力傳感器上，獲取壓力數(shù)據(jù)。接著，通過圖像處理技術(shù)對壓力數(shù)據(jù)進行去噪處理、提取腳印范圍，并對壓力的時域變化信息進行累積。最后，經(jīng)過處理的數(shù)據(jù)被輸入經(jīng)過訓練的BP神經(jīng)網(wǎng)絡進行分類，以執(zhí)行個體識別任務。

1.2" 數(shù)據(jù)采集及處理模塊

薄膜壓力傳感器可被視為一個可變電阻器陣列（見圖2），其電阻與壓力變化呈線性關(guān)系。本研究所采用的傳感器由2288個單元構(gòu)成，分辨率為52×44。

當個體處于行走過程中時，腳部會對傳感器陣列施加壓力，而壓力會引起每個傳感器的電阻發(fā)生變化［2］。本研究采用反比例放大電路將電阻變化轉(zhuǎn)換為電壓變化（見圖3）。相較于電阻分壓方法，此設計能夠獲得更低的輸出電阻，并且相對于更為敏感的橋式電路，其結(jié)構(gòu)在簡潔性方面更具優(yōu)勢。

本研究選擇采用多個CD4051模擬開關(guān)來實現(xiàn)行和列的選擇，同時，引入了一個74HC138譯碼器（三八譯碼器），用于控制連接到行的CD4051芯片，而控制列的CD4051芯片始終處于啟用狀態(tài)。在每次行和列切換后，微控制器提供的多通道ADC功能可以同時執(zhí)行7次A/D轉(zhuǎn)換。這樣，僅需9個GPIO即可完成微控制器的切換，而且多個ADC的同時轉(zhuǎn)換也顯著提高了整體采樣速度。

本研究選用了STM32F103作為主控制器，將轉(zhuǎn)換后的電壓數(shù)據(jù)暫存于RAM中，并在所有行和列掃描完成后，通過串行端口發(fā)送至PC軟件，以供進一步處理。軟件將壓力數(shù)據(jù)視為一個44×52像素的灰度圖像，其中每個像素的灰度值可反映相應位置的壓力水平。

通過ADC轉(zhuǎn)換獲得的電壓數(shù)據(jù)將不可避免地存在大量噪聲信號。圖像具有較低的分辨率，因此，其中的噪聲問題難以通過傳統(tǒng)的濾波或平滑處理方法得到“完美”結(jié)果，甚至這些處理方法還可能破壞原始的足底壓力特征。除此之外，由于采樣率較低，直接應用于轉(zhuǎn)換后的電壓數(shù)據(jù)時域濾波方法可能會導致在快速步態(tài)運動中丟失某些步態(tài)相位。因此，本研究提出了一種新型噪聲消除方法。首先，基于閾值過濾所有像素，任何小于特定閾值的像素都將被視為無效并被過濾掉（即進行“濾波處理”）。接著，采用n×n的矩形滑動窗口逐個對每個像素點進行濾波處理，只有當與中心點P相鄰的非零像素數(shù)大于特定值m時，點P才會被視為“有效”，否則將被“濾除”。圖4展示了當n=3且m=3時該方法的一個示例。

通過計算非零像素的數(shù)量，當數(shù)量超過一定閾值時，表明一個腳步（足跡）的開始。隨后，數(shù)據(jù)將持續(xù)存儲，直至某一圖像幀中的非零像素數(shù)量低于該閾值。為了在時間域內(nèi)反映足底壓力的變化，需要對一個腳步的壓力數(shù)據(jù)進行累積處理。本文提出了3種不同的累積方法：0-1值、均值和最大值。其中，0-1值完全忽略了壓力的變化，突出了足跡的形狀特征。最大值和均值結(jié)合了形狀和壓力特征，二者的區(qū)別在于前者更加關(guān)注壓力的空間分布，而后者則更加關(guān)注壓力的時間分布。最后，在噪聲被濾除并壓力信息被累積后，該模塊可通過裁剪最大連通矩形來對圖像進行分割處理，以獲取鞋印數(shù)據(jù)，并進行進一步處理。

1.3" 基于BP神經(jīng)網(wǎng)絡的鞋印識別模型

為實現(xiàn)人流監(jiān)測功能，必須能夠準確區(qū)分步態(tài)是“進入房間”還是“離開房間”。一旦確定了個體的進出方向，就需要將反向的鞋印方向旋轉(zhuǎn)180°，以確保后續(xù)的識別算法能夠正確處理。相較于人員識別，進出判斷相對簡單。當一個人向前或向后邁出一步時，腳底受力的重心必然會隨著運動方向而移動。因此，只須在每一幀中找到壓力的重心坐標，并根據(jù)其y坐標值的正負變化來確定進出情況。通常情況下，可以通過以下公式（1）來計算w×h圖像的重心：

x=∑wi=1∑jj=1i×I（i，j）∑wi=1∑jj=1I（i，j）" y=∑wi=1∑jj=1j×I（i，j）∑wi=1∑jj=1I（i，j）（1）

BP神經(jīng)網(wǎng)絡的核心組成單元為神經(jīng)元，具備強大的非線性映射能力［11］。因此，本研究采用BP神經(jīng)網(wǎng)絡的方法，通過對網(wǎng)絡進行訓練，使其學習足底壓力的特征以及鞋印的形狀模式，以實現(xiàn)對個體身份的分類。

BP神經(jīng)網(wǎng)絡包括輸入層、隱藏層和輸出層。在通常情況下，輸入層的神經(jīng)元數(shù)量等于輸入向量中的元素數(shù)量。在本文中，裁剪后的圖像被統(tǒng)一歸一化為22×42像素，因此，輸入層包含924個神經(jīng)元。輸出層的神經(jīng)元數(shù)量應與待分類的類別數(shù)量相匹配。與此不同的是，隱藏層中神經(jīng)元數(shù)量的選擇沒有固定的規(guī)則，通常需要借助經(jīng)驗進行設定。一般而言，隱藏層中的層數(shù)越多，神經(jīng)網(wǎng)絡對數(shù)據(jù)的擬合能力就越強（即隱層節(jié)點數(shù)越多，學習能力越強），但當層數(shù)超過2時，可能會導致過擬合問題的出現(xiàn)?？紤]到本文所使用圖像的低分辨率特點，因此一個隱藏層應該是合適的選擇。除此之外，可以通過經(jīng)驗公式（2）來估計隱藏層中的神經(jīng)元數(shù)量，其中n1代表神經(jīng)元數(shù)量，n和m分別代表輸入層和輸出層中的神經(jīng)元數(shù)量，而a是一個介于1到10之間的整數(shù)。

n1=n+m+a（2）

神經(jīng)網(wǎng)絡對噪聲特征并不十分敏感，因此為增加網(wǎng)絡訓練的難度，進而達到一定的正則效果，在訓練神經(jīng)網(wǎng)絡時，需要人為地引入一些隨機噪聲（即“樣本增強”），以提高網(wǎng)絡的魯棒性和泛化能力。具體而言，根據(jù)第2.2節(jié)提出的壓力數(shù)據(jù)累積方法，積累的圖像會以隨機方式添加不同水平的噪聲，然后將其送入神經(jīng)網(wǎng)絡進行訓練。同時，為評估識別性能，可以通過收集更多測試者的數(shù)據(jù)，并對這些數(shù)據(jù)進行標記，輸入本文設計的軟件進行數(shù)據(jù)分析。

2nbsp; 結(jié)果與分析

2.1" 實驗平臺

正如之前所述，本研究設計了適用于薄膜壓力傳感器陣列的驅(qū)動電路。該電路采用STM32F103微控制器來選擇特定的行和列，并通過其內(nèi)置的多通道ADC單元將電壓信號轉(zhuǎn)換為數(shù)字信號。隨后，經(jīng)微控制器轉(zhuǎn)換的電壓數(shù)據(jù)通過TTL-USB轉(zhuǎn)換芯片傳輸至安裝有Windows操作系統(tǒng)的個人電腦。最終，這些數(shù)據(jù)被導入一個采用C#編程的軟件系統(tǒng)。該系統(tǒng)利用OpenCV Sharp的圖像處理和機器學習庫，實現(xiàn)樣本的存儲管理、數(shù)據(jù)的精細處理、模型的精準訓練以及結(jié)果的深入分析。

2.2" 數(shù)據(jù)分析

首先，本研究開發(fā)了一個自動化腳本，用于測試判斷人員進出房間方法的準確性。隨后，本研究邀請了多位測試者，分別模擬了進出房間的動作，其中每名測試者均進行100次測試。隨后，本研究向收集的數(shù)據(jù)中添加了大小為10～100像素的噪聲，并為所有測試數(shù)據(jù)進行了標記。具體結(jié)果如表1所示。

由表1數(shù)據(jù)可知，對于通過計算重心的移動來判斷人員是進入房間還是走出房間的方法而言，本文方法在準確性方面表現(xiàn)出較高的水平，并且對于噪聲并不敏感。通過對相應數(shù)據(jù)分析可知，導致這一結(jié)果的一個原因在于實驗中引入的噪聲屬于“白噪聲”類型，在壓力數(shù)據(jù)積累過程中，白噪聲趨向于均值。白噪聲均值恒定不變，因此在循環(huán)相減過程中，這種噪聲往往會得以抵消。另一個原因是人類行走時足底壓力隨時間變化的趨勢非常明顯，不太可能因噪聲的存在而導致重要信息丟失。

為評估所提方法在人員識別方面的效果，本研究首先收集了來自5位測試者的100個足跡樣本（每位20個樣本）。其次，本研究通過向每個樣本中添加1～50個像素的隨機噪聲來進行樣本增強處理，并最終獲得了每組60個樣本。增強和未增強的樣本隨后被輸入一個具有32個隱藏層神經(jīng)元的BP網(wǎng)絡中進行訓練。再次，本研究要求5名測試者排隊，逐個踩過傳感器，模擬人群進出房間的情況，其中每人進行20次步行，共收集100個測試數(shù)據(jù)。這些數(shù)據(jù)根據(jù)3種不同的累積方法（最大值、平均值和0-1值）分別進行累積處理，并將這些數(shù)據(jù)分為3組。最后，本研究分別向這3組數(shù)據(jù)中添加了10、50和100個像素的噪聲，最終生成12組測試集，以進行相應測試。為了進行批量測試，本研究開發(fā)了一個WinForm程序。2個經(jīng)過訓練的模型被分別設置，并隨后導入了12個測試集進行相應測試。通過使用批量測試程序，經(jīng)過未進行樣本增強處理的訓練集訓練的模型的準確性數(shù)據(jù)如表2所示，而使用經(jīng)過進行樣本增強的數(shù)據(jù)進行訓練所得結(jié)果則如表3所示。

從表中數(shù)據(jù)可以看出，隨著噪聲像素數(shù)量增加至100個，經(jīng)過未進行樣本增強處理的訓練集訓練的模型的準確率分別從85％、86％和85％下降至63％、60％和54％；而經(jīng)過未進行樣本增強處理的訓練集訓

練的模型的準確率結(jié)果分別從89％、89％和86％下降至74％、73％和66％。從中可以看出，通過在訓練數(shù)據(jù)中人為地引入一些隨機噪聲（即“樣本增強”），確實可以有效提高網(wǎng)絡的魯棒性和泛化能力。通過將0-1值這一足底壓力積累方法與其他2種足底壓力積累方法進行比較可以看出，在小噪聲（噪聲像素數(shù)量少）環(huán)境下，3種方法下模型的準確率都超過了85％。這表明即使在低樣本分辨率下，該等模型對鞋子的形狀特征也具有良好的表征能力。然而，隨著噪聲增加，0-1值足底壓力積累方法的準確率降至66％，而其他2種方法仍分別達到74％和73％。這表明結(jié)合足底壓力特征和形狀特征可以有效提高準確率。除此之外，最大值足底壓力積累方法的準確率略高于均值足底壓力積累方法。前者側(cè)重于空間壓力分布，而后者側(cè)重于時間分布，因此在恒定采樣率下，盡管測試者的步速會導致壓力數(shù)據(jù)在時間上不均勻分布，但在空間上仍可以保持均勻。

3" 結(jié)語

綜上所述，本研究提出了一種基于BP神經(jīng)網(wǎng)絡聯(lián)合“鞋型”和“足底壓力特征”的身份識別系統(tǒng)。通過比對3種不同的足底壓力數(shù)據(jù)積累方法，本研究發(fā)現(xiàn)，所提系統(tǒng)在無噪聲的情況下能夠達到最佳精確度（89%），而當添加10%的噪聲像素時，其精確度亦能夠達到74%。所得結(jié)果證實，該系統(tǒng)在人員識別方面的性能確實令人滿意。

除此之外，本研究還對3種不同的壓力數(shù)據(jù)積累方法進行了比較。所得結(jié)果表明，結(jié)合足底壓力特征的壓力數(shù)據(jù)積累方法在性能上顯著優(yōu)于單純采用鞋型特征的壓力數(shù)據(jù)積累方法，而在空間或時間分布方面進行壓力數(shù)據(jù)積累的方法則實現(xiàn)了近乎相同的準確度。

不可否認的是，當前的系統(tǒng)依舊存在一些明顯的局限性，例如，為進行數(shù)據(jù)可視化分析，本研究在此選擇將個人電腦作為數(shù)據(jù)處理終端。不過，隨著嵌入式硬件的進一步優(yōu)化，未來可以將程序直接移植到更小型的嵌入式系統(tǒng)之中，這將有助于降低成本并簡化識別系統(tǒng)的部署。除此之外，未來還可以引入更先進的方法來表示時間域中的足底壓力數(shù)據(jù)，進而賦予其在人員識別方面更佳的性能。

參考文獻

［1］RIBAUX O，GIROD A，WALSH S J，et al.Forensic intelligence and crime analysis［J］.Social Science Electronic Publishing，2008（1）：47-60.

［2］ROSS A.Elements of a forensic intelligence model［J］.Australian Journal of Forensic Sciences，2015（1）：8-15.

［3］TANG C Q，DAI X J.Automatic shoe sole pattern retrieval system based on image content of shoeprint［C］//2010 International Conference On Computer Design and Applications，June 25-27，Qinhuangdao，2010.

［4］MAJAMAA H，YTTI A.Survey of the conclusions drawn of similar footwear cases in various crime laboratories［J］.Forensic Science International，1996（1）：109-120.

［5］CONNOR P，ROSS A.Biometric recognition by gait：A survey of modalities and features［J］.Computer Vision and Image Understanding，2018，167：1-27.

［6］KHAN M H，F(xiàn)ARID M S，GRZEGORZEK M.Person identification using spatiotemporal motion characteristics［C］//2017 IEEE International Conference on Image Processing （ICIP），Beijing，2017.

［7］林歐文，毛小慧，王乾乾.基于人腳感知的鞋墊硬度對足底壓力影響的研究［J］.中國皮革，2013（22）：110-113.

［8］ALGARNI G，HAMIANE M.A novel technique for automatic shoeprint image retrieval［J］.Forensic Science International，2008（1-3）：10-14.

［9］DE CHAZAL P，F(xiàn)LYNN J，REILLY R B.Automated processing of shoeprint images based on the fourier transform for use in forensic science［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005（3）：341-350.

［10］SU H，BOURIDANE A，CROOKES D.Image quality measures for hierarchical decomposition of a shoeprint image［J］.Forensic Science International，2006（1-2）：125-131.

［11］王博強，張義勇，齊躍，等.基于BP神經(jīng)網(wǎng)絡的負反饋型高精度熱式流量計的研制［J］.熱能動力工程，2022（增刊1）：102-106.

（編輯" 王雪芬）

Design of mat for people identification based on plantar pressure and BP neural network

LIU" Xiaoxue

（Jinken College of Technology， Nanjing 211161， China）

Abstract： A shoe print is a unique feature of each shoe， and is used in the forensic case to identify the suspect. Many kinds of research shows it is effective in identifying people with shoe shape and gait features. To solve the drawbacks of complex equipment and poor immunity to interference caused by the use of one feature alone， this paper studied a people identification system based on BP neural network and combined both shape and plantar pressure features. By comparing the 3 different pressure data accumulation methods， the system achieved a best accuracy of 89% without noise and 74% with about 10% noise pixels added. The result of the experiment demonstrated the effectiveness of this system.

Key words： people identification; BP neural network; plantar pressure; thin film pressure sensor