基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法*

汪金婷 楊豐 陳琪

特約論文

基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法*

汪金婷 楊豐 陳琪

（南方醫(yī)科大學生物醫(yī)學工程學院，廣東 廣州 510515）

為有效克服胎兒頭部超聲圖像中存在的干擾問題，實現對胎兒頭圍的精確測量，提出一種基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法。首先，通過U-Net分割網絡提取胎兒頭部圖像感興趣區(qū)域；其次，利用YOLOv3檢測網絡獲取胎兒頭部邊界框，結合邊界框高置信度區(qū)域信息，篩選頭部感興趣區(qū)域高置信度邊緣點；最后，采用直接最小二乘法對高置信度邊緣點進行橢圓擬合，計算胎兒頭圍結果。實驗結果表明：該算法可有效克服圖像質量的干擾，提高超聲胎兒頭圍測量精度。

胎兒頭圍測量；超聲圖像；高置信度區(qū)域篩選算法；U-Net；YOLOv3

0 引言

胎兒頭圍測量值是評估胎兒生長發(fā)育的一個重要指標。精確測量胎兒頭圍對胎兒監(jiān)測具有重要的臨床應用價值。因超聲圖像中存在噪聲等干擾，導致胎兒頭部邊界模糊、部分頭骨缺失等問題，影響超聲醫(yī)師對顱骨外緣的選擇，從而造成測量差異。為降低圖像質量所產生的不確定性影響，有效的超聲胎兒頭圍自動測量方法研究已成為人們關注的熱點方向。

文獻[1]將胎兒超聲圖像從笛卡爾坐標系轉換到極坐標系，再根據胎兒頭部解剖結構的先驗信息，采用卷積神經網絡檢測頭部邊界的像素，隨后用卷積網絡預測邊界框，最終擬合邊界框內的邊界像素；該方法分2個階段完成胎兒頭部檢測，能有效去除錯誤預測邊界，但需要將胎兒圖像沿超聲傳播方向由笛卡爾坐標系轉換到極坐標系，實時性較差。文獻[2]采用級聯全卷積神經網絡完成胎兒圖像頭部及腹部分割，取得較好效果；但模型訓練采用的訓練數據僅由一位專家標注，泛化能力有待評估。文獻[3]在全卷積結構上，導入預訓練的VGG16模型，構成VGG16-FCN分割網絡，實現胎兒圖像頭部分割；但該方法主要針對孕齡為18~22周的胎兒頭圍測量，因該時期胎兒頭骨顯示較完整，其分割效果較好。文獻[4]融合U-Net++[5]網絡，充分利用上下文相關信息與局部定位信息，準確分割胎兒頭部感興趣區(qū)域（region of interest, ROI）；但當胎兒頭部圖像中類似胎兒頭部結構的區(qū)域面積較大時，分割結果會將頭部區(qū)域以外誤歸類為胎兒頭部，測量精度較低。

針對胎兒頭部超聲圖像中存在的頭部邊緣模糊、部分頭骨缺失、類似頭部結構等不良因素影響測量精度的問題，本文提出一種基于融合邊界框高置信度區(qū)域信息的胎兒頭圍測量算法。該算法采用頭部邊界框信息約束頭部ROI并去除ROI錯誤的邊緣點，可有效降低上述不良因素對頭圍測量結果的干擾，提高測量精度。

1 測量算法

胎兒頭圍測量標準切面包含腦中線、透明隔腔（cavum septi pellucidi, CSP）、雙側對稱丘腦（thalamus, T）及丘腦之間的裂隙樣第三腦室（third ventricle, TV）等，如圖1所示。超聲醫(yī)生在測量胎兒頭圍時是以“胎兒頭部輪廓是橢圓的假設”為前提，即用橢圓功能鍵標定標準切面的顱骨外緣，由橢圓參數計算胎兒頭圍。

圖1 胎兒頭圍測量標準切面及測量示例

本文提出的基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法主要步驟為：

1）通過胎兒超聲圖像及對應的標注數據訓練分割卷積神經網絡，獲取胎兒頭部ROI；

2）通過胎兒超聲圖像以及對應的標注數據訓練檢測神經網絡，獲取胎兒頭部邊界框；

3）采用高置信度區(qū)域篩選算法獲得頭部ROI的高置信度邊緣點，去除低置信度邊緣點；

4）利用直接最小二乘算法對高置信度邊緣點進行橢圓擬合，由橢圓參數計算胎兒頭圍大小。

1.1 頭部ROI的獲取

采用醫(yī)學圖像分割的經典模型U-Net對頭部進行ROI的分割提取。U-Net中帶有跳躍連接的編碼器和解碼器結構，能夠在學習高層語義信息的同時避免因降采樣導致的信息損失。網絡結構沒有采用全連接層，減少了參數量，適用于醫(yī)學圖像本身固有特性和小樣本性訓練集的特點。本文對文獻[6]中的U-Net結構進行改進：1）在卷積層與激活函數之間加入一層批標準化（batch normalization, BN）操作[7]，避免產生梯度消失問題；2）采用步長為2的卷積層代替池化層進行下采樣操作，以減少池化帶來的信息損失。

1.2 頭部邊界框的獲取

采用目標檢測算法中常用模型YOLOv3[8]檢測胎兒頭部邊界框。該模型將目標檢測作為回歸問題求解，基于一個單獨的端到端網絡，一步完成從原始圖像的輸入到物體位置和類別的輸出。該網絡使用Darknet-53模型的前52層對輸入圖像進行深度特征提??；YOLO層對提取的特征圖進行邊界框信息和類別信息預測。該網絡有3個預測分支，訓練時，3個分支的預測結果都用于損失函數（loss）計算；測試時，3個分支的預測結果經非最大抑制算法處理篩選出最優(yōu)結果為最終檢測輸出。

1.3 高置信度區(qū)域篩選算法

為降低誤分類像素對測量結果的影響，本文使用YOLOv3檢測網絡得到的頭部邊界框對頭部ROI進行優(yōu)化，約束頭部ROI并去除其錯誤的邊緣點，提高測量精度。高置信度區(qū)域篩選算法流程圖如圖2所示。

圖2 高置信度算法流程圖

YOLOv3檢測網絡的學習目標為圖像級標注，而U-Net分割網絡需要學習像素級標注，因此對頭部邊界框的預測易于頭部ROI像素級的預測，且頭部邊界框以外的頭部ROI前景區(qū)域多為超聲圖像對胎兒頭部ROI分割造成干擾的部分?；谝陨戏治觯疚膶⑻侯^部邊界框以內的ROI定義為胎兒頭部的高置信度區(qū)域，邊界框以外的區(qū)域定義為低置信度區(qū)域。

首先，將邊界框以外的分割前景像素點的像素值置零，使其轉為背景，只保留邊界框以內的前景；去除邊界框以外因圖像中頭部邊緣模糊、消失以及類似頭部結構等因素導致的誤分類邊緣點。

然后，對優(yōu)化后的分割結果進行邊緣提取，以邊界框的中點為基點，將提取的邊緣圖像劃分為4個區(qū)域，對4個區(qū)域圖像分別進行重復點去除處理，從而去除邊界框以內誤分類的邊緣點。其步驟為：1）獲取區(qū)域中像素點大于0的點的坐標為候選邊緣點集；2）分別比較軸和軸各自的坐標，若相同，則表示存在重復點；3）若存在重復點，則表示這個區(qū)域內部存在錯誤邊緣點，需從候選邊緣點集中將其刪除?；谔侯^圍為光滑曲線考慮，構成該曲線的連續(xù)點之間的距離應盡可能小。因此，分別計算坐標重復的兩個點到前一個點的歐氏距離，刪除距離較大的一個點。

最后，將4個區(qū)域的邊緣點合并，獲得高置信度的邊緣點集。采用直接最小二乘法對其進行橢圓擬合，計算胎兒頭圍結果。

2 實驗

2.1 實驗數據

本實驗所使用的數據均來自生物醫(yī)學圖像分析平臺Grand Challenges[9]上公開的HC18超聲胎兒頭圍自動測量數據集。數據集中涉及的所有胎兒發(fā)育正常，每幅胎兒頭部超聲圖像均是測量胎兒頭圍的標準平面。圖像采集自2014年5月到2015年5月接受超聲檢查的551名孕婦，共1334幅含妊娠早期、妊娠中期和妊娠晚期3個時期的胎兒頭部二維超聲圖像，其中有標注訓練數據999幅，無標注測試數據335幅，以及記錄訓練集及測試集對應的每一幅圖像像素尺寸文件，用于計算胎兒頭圍。

有標注的999幅超聲圖像作為訓練集，無標注的335幅超聲圖像為測試集。實驗數據的原始標注為頭部輪廓擬合橢圓曲線。本文算法需訓練U-Net分割網絡和YOLOv3檢測網絡。訓練U-Net分割網絡需頭部ROI作為標注，因此要將頭部標注輪廓線進行內部區(qū)域填充。訓練YOLOv3檢測網絡需頭部邊界框的位置、寬高和類別信息作為標注，因此對分割標注數據進行外接矩形檢測獲得頭部邊界框信息。因妊娠周期與胎兒頭圍大小成正比關系，周期越長，頭圍越大，所以按胎兒頭圍大小將訓練數據分為妊娠早期、妊娠中期和妊娠晚期3期。數據集數據原始尺寸大小為800×540，在數據預處理過程中將尺寸大小調整至416×416，并作歸一化處理。尺寸調整方法為將圖像短邊使用0像素點填充為與圖像長邊保持一致，再將圖像尺寸調整為416×416。這樣可以保持像素在原圖像的位置，不會隨著圖像的尺寸變化而改變。

2.2 評價指標

本文用于定量分析的3個評價指標分別為系數、豪斯多夫距離和頭圍絕對差值，其數學定義為

式中，GT為胎兒頭部標注；predict為預測結果；GT為真實頭圍大小；predict為預測頭圍大小。

系數評價模型分割效果，其越大表明模型分割效果越好。度量預測值與真值之間的最大不匹配程度，其越小效果越好。反映預測頭圍與真實頭圍之間的差距，其越小預測效果越好。

2.3 實驗結果及分析

本實驗使用Adam優(yōu)化器，U-Net分割網絡的學習率設置為1e-4，訓練150輪；YOLOv3檢測網絡的學習率設置為1e-3，訓練200輪。訓練的批量大小為4。本實驗基于Pytorch深度學習框架實現，實驗平臺為Ubuntu系統(tǒng)和NVIDIA GeForce 1080 Ti顯卡。

測試集頭圍預測結果如表1所示。測試集預測結果如圖3所示。

表1 測試集頭圍預測結果

表1中，U-Net為文獻[6]中的模型；改進U-Net為本文1.1節(jié)改進后的U-Net模型；改進U-Net前表示未經高置信度區(qū)域篩選算法處理直接進行橢圓擬合的測量結果；改進U-Net后表示對高置信度區(qū)域算法獲得的高置信度邊緣點進行橢圓擬合的測量結果。

由表1可知：改進后的U-Net模型較文獻[6]中的模型測量精度有所提高，且2種模型的測試結果經高置信度區(qū)域篩選算法處理后均能提高測量精度。

圖3 測試集預測結果

圖3中，第一列為測試集圖像；第二列為未使用高置信度區(qū)域篩選算法的分割結果；第三列為使用高置信度區(qū)域篩選算法優(yōu)化后的分割結果。

由圖3的預測結果可以看出：即使圖像中存在邊界模糊、邊界消失、類似胎兒頭圍的母體結構，提出的高置信度區(qū)域篩選算法能顯著降低誤分類像素點對測量結果的影響，提高測量準確性。

3 結論

本文針對超聲胎兒頭部圖像中存在的干擾問題，提出一種基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法。實驗結果表明：該算法可有效克服胎兒頭部圖像中頭部邊緣模糊、缺失以及疑似頭部區(qū)域等因素對頭圍測量結果干擾，適用于超聲胎兒頭圍自動測量。目前，超聲圖像廣泛用于胎兒發(fā)育監(jiān)測，快速、準確的胎兒頭圍測量方法能大幅減輕醫(yī)生的負擔。因此，該算法具有較高的研究價值和應用價值。

[1] KIM H P, LEE S M, KWON J Y, et al. Automatic evaluation of fetal head biometry from ultrasound images using machine learning[J]. arxiv.org/abs/1808.06150, Physiological Measure-ment, 2018,40(6).

[2] WU L, XIN Y, LI S, et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmenta-tion[C]. IEEE International Symposium on Biomedical Imaging. IEEE, 2017.

[3] SINCLAIR M , BAUMGARTNER C F , MATTHEW J , et al. Human-level performance on automatic head biometrics in fetal ultrasound using fully convolutional neural networks [EB/OL]. (2018-4-24) [2019-5-4]. arxiv.org/ftp/arxiv/papers/1804/1804. 09102.

[4] 邢妍妍,楊豐,唐宇姣,等.融合型UNet++網絡的超聲胎兒頭部邊緣檢測[J].中國圖象圖形學報,2020,25(2):366-377.

[5] Zhou Zongwei, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, et al. UNet++: a nested U-Net architecture for medical image segmentation[J]. arXiv:1807.10165 [cs.CV].

[6] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]. In International Conference on Medical image computing and computer-assisted intervention, 2015, 234-241.

[7] Sergey Ioffe, Christian Szegedy. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. arXiv:1502.03167 [cs.LG].

[8] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement[J]. [2019-09-04]. arxiv.org/abs/1804. 02767.

[9] Grand Challenge: HC18. https://hc18.grand-challenge.org.

Ultrasound Fetal Head Circumference Measurement Algorithm Based on Fusion of High Confidence Region Information of Bounding Box

Wang Jinting Yang Feng Chen Qi

(School of Biomedical Engineering Southern Medical University, Guangzhou 510515, China)

In order to effectively overcome the interference in the fetal head image and achieve accurate measurement of the fetal head circumference, this paper proposes an ultrasonic fetal head circumference measurement algorithm that fuse the high confidence region information of the bounding box. First, extract the region of interest (ROI) of the fetal head through the U-Net segmentation network; secondly, use the YOLOv3 detection network to obtain the head bounding box, and combine the high confidence region information of the bounding box to filter the high confidence edge points of the head region of interest; Finally, the direct least square method is used to ellipse fit the high-confidence edge points to calculate the fetal head circumference. Experimental results show that the algorithm can effectively overcome the interference of image quality and improve the measurement accuracy of ultrasound fetal head circumference.

fetal head circumference measurement; ultrasound image; high confidence region screening algorithm; U-Net; YOLOv3

TP391

A

1674-2605(2021)01-0002-05

10.3969/j.issn.1674-2605.2021.01.002

國家自然科學基金項目（61771233）

汪金婷，女，1997年生，本科，主要研究方向：機器學習與圖像處理。E-mail: 894269281@qq.com

楊豐（通信作者），男，1965年生，教授，主要研究方向：模式識別、機器學習、醫(yī)學圖像處理、生物醫(yī)學信號處理等。E-mail: yangf@smu.edu.cn

陳琪，女，1998年生，本科，主要研究方向：機器學習與圖像處理。