基于3D點(diǎn)云深度學(xué)習(xí)對蝶竇進(jìn)行身份認(rèn)定

文瀚杰

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

身份信息確認(rèn)，在日常的刑事領(lǐng)域和災(zāi)難調(diào)查中是至關(guān)重要的一個環(huán)節(jié)。因此，個體身份認(rèn)定在法醫(yī)學(xué)領(lǐng)域長久以來一直是研究的重心。目前已經(jīng)有了很多成熟的方法對身份未定的個人進(jìn)行身份識別，例如大家耳熟能詳?shù)闹讣y識別[1]、DNA檢測分析[2]、齒科對比檢驗(yàn)[3]、紋身對比[4]等方法。

但是這些方法在一些特殊情況下卻難以奏效。例如在生物組織被破壞、丟失，或因耗時耗力，成本極高而難以實(shí)現(xiàn)。在某些案件或者災(zāi)難中，因?yàn)槭w出現(xiàn)腐敗、白骨化，或者已經(jīng)被周圍的環(huán)境進(jìn)行了污染，那么常規(guī)的方法就會束手無策。在這種情況下，通過對比生前或者死后的影像學(xué)資料進(jìn)行個體識別被認(rèn)為是一種行之有效的替代方法。國內(nèi)這方面的研究不多，在國外，Beaini，T.L等人[5]就通過計(jì)算機(jī)技術(shù)利用人頭骨內(nèi)的額竇部位對人的身份進(jìn)行了識別認(rèn)定。與額竇類似，人體頭顱中的蝶竇部位其解剖和生物學(xué)特征具有一定的特異性。盡管蝶竇氣化發(fā)育過程尚未形成統(tǒng)一的認(rèn)知，但是普遍認(rèn)為成人以后其大小、形態(tài)，在正常的生理狀態(tài)下基本保持穩(wěn)定。

過往的研究已經(jīng)證實(shí)，蝶竇在小范圍進(jìn)行主觀視覺對比具有極好的可靠性和有效性[6]。但是，但是既往的研究通常是基于人工提取影像特征進(jìn)行比較，需要經(jīng)驗(yàn)豐富的閱片者人工識別、提取、分類，主觀性強(qiáng)，當(dāng)面對大樣本時人工識別方法費(fèi)時費(fèi)力，限制了人工視覺比較進(jìn)行識別的應(yīng)用。

隨著醫(yī)學(xué)圖像處理技術(shù)的發(fā)展，以及對于薄層CT斷層圖像的開發(fā)。使用薄層CT斷層圖像進(jìn)行三維重建來獲取蝶竇的三維結(jié)構(gòu)成為可能。如果將蝶竇的三維形狀通過相應(yīng)的技術(shù)提取出來，并且應(yīng)用計(jì)算機(jī)視覺、三維識別、深度學(xué)習(xí)等技術(shù)對于蝶竇的三維進(jìn)行識別和分析。或許能夠?qū)崿F(xiàn)自動化的個體識別，減少識別的時間，增加識別的準(zhǔn)確性，進(jìn)一步拓展深度學(xué)習(xí)的適用范圍，增加身份識別認(rèn)定的方法，提高效率。

基于此，本文利用蝶竇的三維結(jié)構(gòu)，應(yīng)用三維點(diǎn)云深度學(xué)習(xí)方法，對于蝶竇的三維特征進(jìn)行提取，并且進(jìn)行身份認(rèn)定，驗(yàn)證了這種方法的可行性和適應(yīng)性。

1 材料與數(shù)據(jù)

1.1 材料來源

本實(shí)驗(yàn)主要采用基于腦部薄層CT斷層圖像的三維蝶竇模型進(jìn)行實(shí)驗(yàn)。其提取出來的蝶竇三維模型如圖1所示。蝶竇是位于人體頭骨內(nèi)，蝶骨體內(nèi)不規(guī)則的氣腔結(jié)構(gòu)，發(fā)育較緩慢，氣化程度變異很大。相比較額竇而言，蝶竇其解剖位置較深，難以被常規(guī)方法觸達(dá)。所以其不容易受死亡因素及外界環(huán)境因素的影響，在特殊情況下，其形態(tài)結(jié)構(gòu)更易保存完整。為了實(shí)現(xiàn)身份的同一性認(rèn)定，模擬災(zāi)難發(fā)生后的身份認(rèn)定情景，每位研究對象至少收集了不同時期兩次薄層CT斷層圖像。

圖1 蝶竇三維模型（女性）

蝶竇數(shù)據(jù)稀少，只存在于腦部薄層CT斷層圖像中，為了盡量提高深度學(xué)習(xí)的泛化效果和相應(yīng)的準(zhǔn)確率，本實(shí)驗(yàn)收集了盡可能多的實(shí)驗(yàn)數(shù)據(jù)。一共收集了120人的數(shù)據(jù)，包含薄層CT斷層圖像一共240份。本次數(shù)據(jù)收集范圍排除了18歲以下的未成年人，任何一個含有可能影響蝶竇發(fā)育的疾病對象、外傷對象、手術(shù)對象都被排除在外，圖像清晰且不存在偽影。所有數(shù)據(jù)均取自四川大學(xué)華西醫(yī)院，全部數(shù)據(jù)按人打標(biāo)簽進(jìn)行分類。取出100人用作深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，20人用作深度學(xué)習(xí)網(wǎng)絡(luò)的測試。每個對象至少包含兩次薄層CT斷層圖像用作提取蝶竇三維模型

1.2 數(shù)據(jù)處理

對于每一個薄層CT斷層圖像，將其導(dǎo)入對應(yīng)的醫(yī)學(xué)圖像處理軟件，通過醫(yī)學(xué)圖像處理軟件對薄層CT斷層圖像中的蝶竇竇腔進(jìn)行三維重建。利用軟件中的氣體在CT斷層圖像上的灰度差異，利用分布在不同位置的識別點(diǎn)、分割氣腔、重建蝶竇處竇腔的完整形態(tài)，并將其以STL格式導(dǎo)出，一共導(dǎo)出了240個三維蝶竇模型，每個實(shí)驗(yàn)對象包含兩個，歸屬于不同時期。

然后通過對應(yīng)的程序?qū)TL格式轉(zhuǎn)換成存儲點(diǎn)云的PCD格式。這一步操作從STL格式轉(zhuǎn)換到PCD是無損的，是相同數(shù)據(jù)的不同的存儲形式，所以并不會對三維蝶竇形狀和大小造成影響，進(jìn)而影響實(shí)驗(yàn)結(jié)果。具體的轉(zhuǎn)換過程如圖2所示。首先將a中DICOM格式的薄層CT斷層圖像，通過醫(yī)學(xué)處理軟件轉(zhuǎn)換成b中的STL格式的三維蝶竇模型，然后通過程序?qū)⑷S蝶竇模型轉(zhuǎn)換成PCD格式存儲的點(diǎn)云數(shù)據(jù)，以三維坐標(biāo)x，y，z存儲，如c所示，這是蝶竇三維模型的點(diǎn)云展示。蝶竇三維模型經(jīng)過轉(zhuǎn)換成點(diǎn)云數(shù)據(jù)以后，由于其蝶竇模型復(fù)雜程度不一，大小不一，所以其點(diǎn)云數(shù)據(jù)的點(diǎn)數(shù)并不相同。所以，還需要經(jīng)過下采樣處理，如d中所示，是經(jīng)過下采樣以后的蝶竇點(diǎn)云數(shù)據(jù)。將蝶竇的點(diǎn)云數(shù)據(jù)通過下采樣算法統(tǒng)一到相同的點(diǎn)數(shù)以后，進(jìn)行深度學(xué)習(xí)實(shí)現(xiàn)身份認(rèn)定。

圖2 蝶竇數(shù)據(jù)轉(zhuǎn)換過程

2 算法實(shí)現(xiàn)

2.1 網(wǎng)絡(luò)選擇與識別流程

蝶竇是人體頭骨復(fù)雜的一部分，其局部特征差異大，模型表面具有褶皺和相應(yīng)的凸起，所以點(diǎn)云數(shù)據(jù)模型的特征學(xué)習(xí)具有挑戰(zhàn)性。Point-Net++[7]相比較它的上一個版本而言，提出了多層級特征提取結(jié)構(gòu)，并且利用上一個版本的主網(wǎng)絡(luò)作為特征提取器，加強(qiáng)了局部特征感知能力，使得網(wǎng)絡(luò)的分類和分割效果相比之前的網(wǎng)絡(luò)得到了巨大的提升。并且針對不均勻點(diǎn)云數(shù)據(jù)的挑戰(zhàn)，增加了密度自適應(yīng)層，提升了相應(yīng)的魯棒性和應(yīng)對稀疏點(diǎn)云的能力。根據(jù)Point-Net++以上的優(yōu)勢，為了更好地提取蝶竇點(diǎn)云數(shù)據(jù)的特征和提升識別效果，本實(shí)驗(yàn)選擇Point-Net++深度學(xué)習(xí)網(wǎng)絡(luò)，作為復(fù)現(xiàn)對象，來當(dāng)作點(diǎn)云數(shù)據(jù)的特征提取器。

整個實(shí)驗(yàn)流程如圖3所示。首先將原始的DI?COM格式的頭骨薄層掃描CT通過軟件導(dǎo)出蝶竇的三維模型，然后將蝶竇的三維模型，通過相應(yīng)的程序?qū)⒌]的三維模型轉(zhuǎn)換成點(diǎn)云數(shù)據(jù)并進(jìn)行預(yù)處理。然后搭建Point-Net++模型，將100個實(shí)驗(yàn)對象的蝶竇模型按人分類進(jìn)行分類訓(xùn)練。隨后將訓(xùn)練好的模型當(dāng)作特征提取器，將最后一層分類網(wǎng)絡(luò)層前的全連接層視作特征提取層，輸入測試模型提取特征。最后通過比對模型提取的特征實(shí)現(xiàn)身份認(rèn)定，相似度的對比方法采用的是余弦相似度算法。

圖3 實(shí)驗(yàn)流程

2.2 數(shù)據(jù)擴(kuò)增與訓(xùn)練

現(xiàn)有的數(shù)據(jù)比較稀少，相比較現(xiàn)有成熟的圖像識別巨大數(shù)據(jù)集而言，是十分稀少的。所以為了解決這個問題，本實(shí)驗(yàn)采用與圖像識別類似的方式對于放入的點(diǎn)云數(shù)據(jù)進(jìn)行擴(kuò)增，主要采用放大、旋轉(zhuǎn)、平移、縮小等方法進(jìn)行數(shù)據(jù)快速擴(kuò)增，增強(qiáng)模型提取特征的能力，并且增加魯棒性和泛化性。相應(yīng)的數(shù)據(jù)擴(kuò)增效果展示在圖4。其中a是原蝶竇點(diǎn)云數(shù)據(jù)，b是a經(jīng)過平移和縮小（0.5）以后的點(diǎn)云數(shù)據(jù)，c是a經(jīng)過平移和旋轉(zhuǎn)（繞著X軸旋轉(zhuǎn)180°，繞著Y軸旋轉(zhuǎn)90°）以后的點(diǎn)云數(shù)據(jù)，d是a經(jīng)過平移和放大（1.4）以后的點(diǎn)云數(shù)據(jù)。

圖4 蝶竇點(diǎn)云數(shù)據(jù)的不同擴(kuò)增方式

經(jīng)過隨機(jī)數(shù)據(jù)擴(kuò)增以后，蝶竇模型被輸入Point-Net++網(wǎng)絡(luò)進(jìn)行特征提取能力的學(xué)習(xí)。本實(shí)驗(yàn)設(shè)備基于Windows 10平臺，顯卡為NVIDIA GeForce RTX2080，CPU為Intel Core i7-8700。本實(shí)驗(yàn)框架使用了PyTotch 1.2.0深度學(xué)習(xí)框架，采用了VTK 8.1對點(diǎn)云進(jìn)行了轉(zhuǎn)換，利用了PCL 1.9.1對點(diǎn)云進(jìn)行了數(shù)據(jù)預(yù)處理，隨機(jī)數(shù)據(jù)擴(kuò)增采用自己寫的程序，在數(shù)據(jù)輸入階段隨機(jī)增強(qiáng)。

訓(xùn)練過程Batch Size設(shè)置為12，優(yōu)化算法設(shè)置為Adam，初始學(xué)習(xí)率為0.001，輸入點(diǎn)數(shù)為2048，當(dāng)訓(xùn)練Loss達(dá)到最低的時候停止。學(xué)習(xí)Decay Rate設(shè)置為0.0001，測試集包含20人，共40個蝶竇模型。采用準(zhǔn)確率評價指標(biāo)，將數(shù)據(jù)集劃分為基準(zhǔn)集和對比集。每個人兩個模型分別隨機(jī)平均劃入基準(zhǔn)集和對比集，每個基準(zhǔn)集和對比集分別包含20個模型。進(jìn)行測試時，將所有模型通過訓(xùn)練的網(wǎng)絡(luò)進(jìn)行特征抽取，將基準(zhǔn)集中的每一個模型拿出來與對比集中的20個模型分別對比，并進(jìn)行相似度排序，如果對比集中相似度最高的模型與基準(zhǔn)集中的基準(zhǔn)屬于同一個人，則身份認(rèn)定成功，按其相似度排序進(jìn)行準(zhǔn)確率認(rèn)定，排第一其Top1準(zhǔn)確率增加對應(yīng)的數(shù)值，以此類推。

3 結(jié)果與討論

100個人的訓(xùn)練集在310epoch時達(dá)到最優(yōu)，這時訓(xùn)練的Loss為0.012，訓(xùn)練分類準(zhǔn)確率為89.58%。通過對比其余弦相似度，我們得到20個人的測試集Top1準(zhǔn)確率為100%，Top3準(zhǔn)確率為100%。其特征相似度的heatmap展示如圖5所示。

圖5右側(cè)是20個人的Heat Map，從左上到右下可以看到一個非常明顯的白色的線。說明在同一個人的時候，其特征相似度是非常高的，具體的數(shù)值可以從左側(cè)的10個人的Heat Map看出，同一個人的相似度基本在97%以上，不同的人相似度卻很低。從圖5可以看出網(wǎng)絡(luò)提取特征的能力非常強(qiáng)，不同人之間的特征差異很大。

圖5 Heat Map

4 結(jié)語

本次研究中，盡管測試集上效果很好，達(dá)到了100%，但是這僅僅是在測試集20人上面的相似度，在這真實(shí)世界中，是非常小的數(shù)據(jù)集。所以在實(shí)際應(yīng)用中，該方法的識別率并沒有足夠的參考。但是通過本方法，證明了通過蝶竇進(jìn)行深度學(xué)習(xí)來實(shí)現(xiàn)身份認(rèn)定的可能性?？梢灶A(yù)見的是，隨著數(shù)據(jù)量的增大和網(wǎng)絡(luò)模型結(jié)構(gòu)的完善，這一方法肯定具有應(yīng)用價值，可以為法醫(yī)實(shí)踐提供對應(yīng)的思路。