一種自動提取車身前視圖參數(shù)化模型的方法

王 博，李寶軍，胡 平，梁繼才

（大連理工大學 汽車工程學院，遼寧，大連 116023）

一種自動提取車身前視圖參數(shù)化模型的方法

王 博，李寶軍，胡 平，梁繼才

（大連理工大學 汽車工程學院，遼寧，大連 116023）

車身參數(shù)化模型的自動提取有助于進一步的車型分析及評價，提高海量圖像數(shù)據(jù)的重用率，以及提升利用圖像重建三維模型的高效性。通過圖像中Canny特征點的自反對稱對車身前視圖對稱軸的自動提取，利用給定的車身參數(shù)化模板，提出了應用于車身的利用山谷線的分水嶺方法得到的一種新型圖像分割技術，結合動態(tài)規(guī)劃的優(yōu)化思想，全自動地對車身前視圖參數(shù)化模型進行提取。對背景復雜的高質量車身圖像，也可以得到理想的提取效果。

車身圖像分割；點集配準；參數(shù)化模型；車身CAD

車身二維參數(shù)化模型的提取在快速圖像修改、形狀評價以及進一步三維模型重建等方面發(fā)揮了重要作用，能提升車身CAD應用。本文介紹了全自動提取車身前視圖參數(shù)化模型的方法，利用可變形的前視圖參數(shù)化模板，通過關鍵點以及特征曲線的最優(yōu)提取得到車身前視圖的重建。

局部特征提取算子[1-3]是許多計算機視覺算法的基礎，應用于圖像匹配、目標提取和分類、追蹤以及運動估計。這些算法使用局部特征來更好地處理尺度變化、旋轉以及覆蓋問題。提取到的特征是圖像的子集，通常是孤立點、連續(xù)曲線或連通區(qū)域。Canny提取算子[4]對不同視覺目標提取到了有用的結構信息并大大減少了處理的數(shù)據(jù)量。

引用格式：

點集匹配算法是找到一個空間的轉換函數(shù)來配準兩個點集。這個轉換的目的是對大量數(shù)據(jù)集建立一個全局連續(xù)模型，并建立一個對已知數(shù)據(jù)集的映射函數(shù)來識別特征或估計形狀。形狀描述子能夠衡量形狀相似性以及恢復點集關聯(lián)性。PR-GLS算法[5]改進了形狀上下文[6-7]并得到了更好的匹配結果。

圖像分割[8-9]是將圖像分割為多個部分（像素的集合）的方法，用于識別目標或圖像中的其它相關信息。圖像分割通常用于在圖像中定位目標及其邊界。將圖像簡化為一些有意義的區(qū)域的代表，更利于分析。gPb-owt-ucm[10]提供了很好的輪廓提取以及圖像分割結果。

車身CAE在概念設計中的分析，有助于縮短開發(fā)周期[11]。車身參數(shù)化模型的建立有助于對車身CAE的分析。前視圖不同特征線的形狀及拓撲關系也可以用于分析不同民族化特征及品牌特征。圖1為前視圖參數(shù)化模型全自動提取流程。

圖1 前視圖參數(shù)化模型提取流程

2 車身前視圖對稱軸提取

2.1 特征點提取

作用于車身圖像得到的Canny邊緣特征點如圖2所示。

圖2 Canny邊緣提取算子得到的邊緣特征點

為了得到均勻的邊緣特征點，考慮將相鄰邊緣特征點聯(lián)結成鏈（圖3）。鑒于車身的造型特征線通常為較長且光滑的曲線，刪除鏈長小于給定閾值（取為20）的點鏈，以減少噪聲邊的影響。對點鏈的數(shù)據(jù)點根據(jù)給定閾值（取為25）進行均勻離散化，得到圖像的均勻邊緣特征點（圖4）。

圖3 邊緣特征點聯(lián)結成長鏈

圖4 均勻邊緣特征點

2.2 車身前視圖對稱軸計算

由于拍攝角度的問題，部分車身圖像存在偏轉，因此需要找到車身的對稱軸，并旋轉車身圖像以調整視角。為了自動化提取車身前視圖的對稱軸，考慮到車身前視圖左右兩部分為對稱結構，如果能夠通過每一個左側的邊緣特征點得到其對應的右側邊緣特征點，則可以計算得到對稱軸直線。

圖5 圖像均勻特征點的自反對稱

記車身區(qū)域邊緣特征點為S ={Pi}i=1:N，圖像寬度為image_width，則水平翻轉點集為：

采用PR-GLS算法[153]對點集S和ST做匹配，如圖5所示。

得到的匹配結果為：

對稱軸L為利用最小二乘法計算點集M所擬合的最優(yōu)直線。

在得到對稱軸后，利用對稱軸以及車身區(qū)域對圖像進行旋轉，以便于精確模型提取。

另一方面，根據(jù)點匹配得到的結果，可以進一步估計車身前視圖的尺寸，得到包含車身的矩形區(qū)域(rect_min_x, rect_max_x, rect_min_y, rect_max_y)。

3 車身圖像分割

3.1 不同圖像分割技術比較

gPb-owt-ucm[10]方法在語義層面上得到了很好的輪廓提取以及圖像分割結果。但經(jīng)過分析，該方法受到閾值的局限，沒有一個特別合適的閾值適合不同的車身圖像。如圖6所示，（b）為閾值=0時gPb方法得到的分割結果，（c）為閾值=0.2時gPb方法得到的分割結果。并且很多情況下，所得分割邊界的點與真實邊界位置有偏差（小于4個像素）

分水嶺算法[14]是一種基于拓撲理論的數(shù)學形態(tài)學的分割方法，其基本思想是把圖像看作是測地學上的拓撲地貌，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區(qū)域稱為集水盆，而集水盆的邊界則形成分水嶺。如圖6d為分水嶺算法得到的圖像分割結果。

圖6 不同圖像分割技術

3.2 利用山谷線的車身圖像分割技術

傳統(tǒng)的分水嶺算法[12]是通過計算最低注水點開始得到的圖像分割結果?？紤]到汽車作為工業(yè)產(chǎn)品，光滑的曲線構成了車身的外造型。因此，考慮利用山谷線代替注水離散點的方式來利用分水嶺算法計算車身前視圖的圖像分割結果，提出了一種利用山谷線得到的車身圖像分割方法。

圖7 改寫Canny算法得到的山谷線

對于山谷線的提取，考慮到Canny算子在計算過程中是計算灰度強度變化值大的像素點，改寫Canny算法以計算灰度強度變化值小的像素點，得到低值點。進一步利用Matlab中的bwlabel函數(shù)以8鄰域方式對低谷點進行標簽化，刪去小于給定閾值（取為5）標簽的低谷點，得到如圖7所示的山谷線的結果。相應的以山谷線作為注水離散點的圖像分割結果，如圖8所示。

圖8 采用山谷線作為注水離散點的圖像分割結果

進一步借助Canny算子提取到的邊緣強度值，重新將每一條邊上的點的強度值再定義為這些點的強度平均值?？紤]以下兩種情況對分割的結果進行簡化：（1）以Canny邊緣特征點為基礎，如果某邊上點以給定閾值（取為5）遠離Canny邊緣特征點的個數(shù)大于該邊所有點的一半以上，可認為該邊為噪聲邊。（2）與圖像邊緣相交的邊為噪聲邊。刪除上述兩種情況的噪聲邊可得到簡化后的分割結果，如圖9所示。

圖9 刪除噪聲邊所得簡化后的圖像分割結果

4 參數(shù)化模型自動提取

4.1 參數(shù)化模板定義

根據(jù)李慶寶提供的前視圖參數(shù)化模型模板[13]，考慮到不同車型參數(shù)化模型的通用性，重新建立如圖10所示的代表一般車身結構的前視圖參數(shù)化模板。這里僅計算一個大燈。

圖10 車身前視圖參數(shù)化模板

4.2 任意兩結點之間的最優(yōu)路徑

由3.2節(jié)可知，圖像分割的優(yōu)點是分割的邊緣特征點與Canny提取到的邊緣特征點重合率很高，大部分分割的邊緣特征點正好是提取到的Canny邊緣特征點。根據(jù)提取到的車身前視圖的對稱軸，將落在對稱軸上的邊點都設定為結點。

因此，對于任意兩個結點Pi和Pj，可以由其它結點聯(lián)結形成路徑，且不同路徑為將每一條路徑上的邊緣特征點擬合為二次曲線。

計算對應二次曲線對于Canny邊緣特征點的重合率為：

重合率的計算方式為二次曲線上的點到Canny邊緣的距離小于給定閾值（取為3）的點數(shù)與總數(shù)的比例。選擇最大重合率的路徑為Pi和Pj的最優(yōu)路徑，記為：

4.3 前視圖參數(shù)化模型自動提取

通過分析車身前視圖的結構，可以得到關鍵點的拓撲位置關系以及特征線的形狀。

由4.2節(jié)可以得到每兩個結點之間的最優(yōu)路徑及相對的重合率。利用動態(tài)規(guī)劃的方法，對給定關鍵點序列，按照關鍵點之間的拓撲約束，按步驟對車身前視圖的不同部分進行參數(shù)化模型的精確提取。將前視圖參數(shù)化模型的自動提取分為四部分：（1）外輪廓。（2）車窗。（3）前視圖格柵。（4）車燈。

表1～4分別代表不同部分提取的曲線及相應的約束條件，同樣地按照對稱的約束可以得到車身左側部分模型的提取。對應于圖6a的全自動提取到的參數(shù)化模型如圖11所示。

在得到自動提取到的參數(shù)化模型的基礎上，可以對相連兩個關鍵點之間的路徑點擬合為3次Bézier曲線以便于CAD操作，進而利用交互微調的方式可以得到更精確的參數(shù)化模型。

對于車身左側部分，采用同樣的方法，利用對應的關鍵點的位置約束及特征線的形狀約束提取到左側的特征線。

表1 外輪廓提取曲線及約束條件

表2 前視圖格柵提取曲線及約束條件

表3 前視圖車窗提取曲線及約束條件

表4 前視圖車燈提取曲線及約束條件

圖11 精確提取的車身前視圖參數(shù)化模型

5 結論

全自動提取車身前視圖參數(shù)化模型的過程中，提出了一種利用特征點自反匹配來提取車身前視圖的對稱軸方法，以及一種應用于車身圖像的分割技術，利用動態(tài)規(guī)劃思想對邊緣特征點列尋找最優(yōu)路徑的方法全自動提取車身前視圖參數(shù)化模型。

受到圖像質量的影響，有部分圖像的特征線得到的結果有偏差，比如圖11的車身底線。鑒于在提取到部件區(qū)域的情況下，能夠加速提取效果并減少提取時間，下一步將致力于通過學習的方法提取車身部件區(qū)域，進一步更精確地重建出各個視圖的參數(shù)化模型。更多的參數(shù)化模型提取結果如圖12所示。

圖12 參數(shù)化模型提取結果示例

另一方面，根據(jù)算法的有效性，對于高質量的圖像，結合其高質量的圖像分割結果以及邊緣特征點提取結果，即使背景復雜的車上圖像，也可以得到很好的結果，如圖13所示。

圖13 背景比較復雜的車上圖像提取結果示例

圖14 更多不同車型提取結果示例

由圖12～14的提取結果可知，提取結果基本符合前視圖特征線的位置。鑒于算法提取到的線條是由分割邊界擬合為Bézier曲線得到的，提取精度等同于特征線與圖像邊緣特征點的覆蓋率所采取的閾值為3。下一步工作計劃會針對得到的參數(shù)化模型，結合定義的參數(shù)化模板，進一步根據(jù)車上工程約束精確定位關鍵特征點的位置。

參考文獻（References）：

[1]CHAN T F，VESE L A. Active Contours Without Edges[M]. New York：IEEE Press，2001：266-277.

[2]ABDEL-HAKIM A E，F(xiàn)ARAG A A. CSIFT：A SIFT Descriptor with Color Invariant Characteristics [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . New York：IEEE，2006，2：1978-1983.

[3]LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints [M]. Holland：Kluwer Academic Publishers，2004：91-110.

[4]CANNY J. A Computational Approach to Edge Detection[M]. New York：IEEE Computer Society，1986：679.

[5]MA J，ZHAO J，YUILLE A L. Non-Rigid Point Set Registration by Preserving Global and Local Structures [J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2016，25(1)：53.

[6]BELONGIE S，MALIK J，PUZICHA J. Shape Context：A New Descriptor for Shape Matching and Object Recognition [C]// Neural Information Processing Systems Foundation，Granada，Spain，2000.

[7]BELONGIE S，MALIK J，UZICHA J . Shape Matching and Object Recognition Using Shape Contexts [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，24(4)：509-522.

[8]YU Y，F(xiàn)ANG C，LIAO Z. Piecewise Flat Embedding for Image Segmentation[C]// IEEE International Conference on Computer Vision，Santiago，Chile，2015，1368-1376.

[9]CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs [J]. Computer Science，2014(4)：357-361.

[10]ARBELAEZ P，MAIRE M，F(xiàn)OWLKES C，et al.Contour Detection and Hierarchical Image Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2010，33(5)： 898.

[11]高巖，周定陸，蔡華國. CAE優(yōu)化技術在汽車概念設計中的應用 [J]. 汽車工程學報. 2012，2(1)：62-65.GAO Yan，ZHOU Dinglu，CAI Huaguo. The Application of CAE Technology in Auto Concept Design [J]. Chinese Journal of Automotive Engineering，2012，2(1)：62-65.(in Chinese)

[12]VINCENT L ，SOILLE P . Watersheds in Digital Spaces：an Efficient Algorithm Based on Immersion Simulations[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，13(6)： 583-598.

[13]李慶寶. 基于約束形變的車身快速造型方法研究 [D].大連：大連理工大學，2013.LI Qingbao. Research on Rapid Styling of Auto Body based on Constrained Morphing [D]. Dalian：Dalian University of Technology，2013.(in Chinese)

A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images

WANG Bo，LI Baojun，HU Ping，LIANG Jicai
（School of Automotive Engineering，Dalian University of Technology，Dalian 116023，Liaoning，China）

For the massive amount of data in images nowadays, automatic detection of automotive parametric model can help further analyze and evaluate different car types and improve the efficiency of 3D model reconstruction from images. Using the front-view parametric template, a new image segmentation method was proposed by applying the method of the watershed algorithm with valley lines. The symmetric axis was computed through the reflexive symmetry of Canny feature points in front-view images of vehicle bodies. Combined with the dynamic programming optimization method, the parametric model of the vehicle body front-view images was automatically constructed. For high precision automotive images with complex background, the desired detection effect can also be obtained.

vehicle body image segmentation；points set registration；parametric model；vehicle body CAD

U462.2

A

10.3969/j.issn.2095-1469.2017.05.03

2017-06-23 改稿日期：2017-07-06

國家自然科學基金（11472073，61370143）

王博，李寶軍，胡平，等. 一種自動提取車身前視圖參數(shù)化模型的方法 [J]. 汽車工程學報，2017，7(5)：327-333.

WANG Bo，LI Baojun，HU Ping，et al. A Method of Automatically Extracting the Parametric Model of Vehicle Body Front-view Images[J]. Chinese Journal of Automotive Engineering，2017，7(5)：327-333. (in Chinese)

作者介紹

責任作者：王博（1987-），女，河南漯河人。博士研究生，主要研究方向為車身CAD。

Tel：18624269087

E-mail：wangbohsd@163.com

李寶軍（1977-），男，山東萊陽人。博士，講師，主要研究方向為車身CAD和CAx集成。

Tel：15104066009

E-mail：bjli@dlut.edu.cn