基于閾值分割與多邊形掃描求交的明暗恢復形狀重構模型冗余信息去除

吳鳳和， 王金芬， 王 軍， 王 鑫

（燕山大學機械工程學院，河北秦皇島 066004）

基于閾值分割與多邊形掃描求交的明暗恢復形狀重構模型冗余信息去除

吳鳳和， 王金芬， 王 軍， 王 鑫

（燕山大學機械工程學院，河北秦皇島 066004）

針對明暗恢復形狀重構模型存在圖像背景信息問題，提出基于閾值分割與多邊形掃描求交的冗余信息去除方法。通過閾值分割將圖像轉換為二值圖像，采用形態(tài)學方法修補二值圖像中的缺陷，并利用微分算子提取圖像的二維輪廓；通過多邊形掃描求交將圖像分割為目標區(qū)域和背景區(qū)域；根據(jù)由陰影恢復形狀原理重構三維模型，并通過二維輪廓與三維形貌的信息匹配去除圖像背景冗余信息。實例表明，該方法能夠有效去除明暗恢復形狀重構模型中的圖像背景冗余信息，保證重構模型的形狀精度。

計量學；背景去除；多邊形求交；輪廓提?。恍螒B(tài)學

1 引 言

作為計算機視覺中三維數(shù)據(jù)被動獲取的重要手段，由明暗恢復形狀（Shape from Shading，簡稱SFS）方法只需物體的單幅圖像就能恢復物體表面的三維形貌，與其它基于圖像信息的三維重建方法相比，具有操作簡單、成本低、效率高等特點。SFS是由Horn［1］于1970年提出的，其基本原理是利用單幅圖像中物體表面的明暗變化恢復物體表面各點的相對高度或表面法方向等參數(shù)值，從而得到反映物體三維形貌的模型。近年來，國內外的許多學者對其進行了研究［2～4］，并將其應用在檢測與測量、醫(yī)學圖像處理、自然景物模擬、模式識別等領域［5～8］。

SFS方法借助圖像中各像素點的灰度信息重構物體表面的三維模型，即圖像像素點與SFS重構模型中的數(shù)據(jù)點間存在一一對應關系。由于任何圖像都包含背景，因此，SFS重構模型中既包含圖像中物體的信息也包括圖像中背景的信息。對于逆向工程等應用來說，其目的是得到圖像中物體的三維模型，而不應包含圖像中的背景信息，因此，開展SFS重構模型的背景冗余信息去除研究有重要的理論意義和實用價值。本文綜合運用閾值分割［9，10］、形態(tài)學修補［11］及多邊形掃描求交等方法，提出一種實用的SFS重構模型冗余信息去除方法。首先，通過閾值分割將圖像轉換為二值圖像，利用數(shù)學形態(tài)學方法修補二值圖像中的缺陷，并通過微分算子進行邊緣檢測，從而得到圖像中目標的二維輪廓；再將二維輪廓看做多邊形，通過多邊形掃描求交將圖像分割為目標區(qū)域和背景區(qū)域；最后，通過SFS方法進行三維重構，并根據(jù)三維形貌數(shù)據(jù)點與二維圖像像素點間的一一對應關系去除三維模型中的圖像背景信息，得到物體的數(shù)字化模型。

1 三維形貌恢復

SFS過程是成像的逆過程，即根據(jù)二維圖像恢復物體的三維形貌。為簡化問題，傳統(tǒng)的SFS模型做了3個假設：①光源為無限遠處點光源；②反射模型為朗伯體表面反射模型；③成像幾何關系為正交投影。在此基礎上，根據(jù)光度學原理得到如下反射方程：

式中：E（x，y）為圖像灰度；R（p，q）為反射函數(shù)；ρ為圖像亮度，（p0，q0，－1）為光源入射方向；（p，q，－1）為物體表面法線方向。

為解決式（1）的病態(tài)特性，分別引入光滑性約束、亮度約束和梯度一致性約束，構造全局性最優(yōu)化函數(shù)：式中：第1項為亮度誤差，第2項為光滑性誤差，第3項為梯度一致性誤差；λ和μ分別為表面光滑性誤差和梯度一致性誤差的加權因子；（x，y）為離散化的像素坐標。

對式（2）求變分后得到優(yōu)化函數(shù)極值存在的必要條件

式中：?2為拉普拉斯算子，Rp，Rq分別為函數(shù)R關于p和q的偏導數(shù)。

應用交錯網(wǎng)格方法將p，q，z，px，qy，zx，zy及?2算子離散化，再通過Gauss-Seidel迭代法，求解得到物體表面梯度p，q和表面高度z的網(wǎng)格值，從而實現(xiàn)包含圖像背景信息的三維重構。

2 圖像輪廓提取

2.1 閾值分割

由于常用的邊緣檢測算子［12，13］得到的邊緣通常無法保證單像素寬，往往出現(xiàn)孤立或者分段連續(xù)的邊緣，因而需要細化、連接等后處理，處理過程較復雜。因此，選擇基于區(qū)域的閾值法進行圖像分割。在逆向工程領域中，圖像通常只包含工件和背景兩類區(qū)域，因此采用單閾值法。其原理如下。

設圖像的灰度區(qū)間為［Zmin，Zmax］，選取閾值Zt，且Zmin＜Zt＜Zmax，令圖像中灰度大于或等于Zt的像素的灰度值為1，小于Zt的像素的灰度值為0，則輸出的二值圖像為：

2.2 形態(tài)學修補

由閾值分割得到的邊緣存在斷線、凹洞等缺陷，使提取的輪廓包含多個閉合的小區(qū)域。為了簡化輪廓，便于處理，采用形態(tài)學法對二值圖像進行缺陷修補。其原理是：利用結構元素對圖像進行膨脹、腐蝕、開啟、閉合等形態(tài)學變換，通過選取合適的結構元素和運算形式使圖像在一定方向上增厚或減薄，從而達到修補缺陷、去除噪聲的目的。為達到這一目的，形態(tài)學運算形式的選擇必須遵循以下原則：

（1）在保持圖像基本形狀特征的基礎上，平滑邊界，消除圖像中的細小孔洞和毛刺等缺陷；

（2）為保證輪廓提取精度，應保持圖像中目標的尺寸及形狀基本不變。

由形態(tài)學各種運算的定義及性質可知，只有開運算和閉運算在修補缺陷的同時能夠保證不產(chǎn)生全局的幾何失真。因此，只能采用開運算和閉運算的組合形式進行形態(tài)學缺陷修補處理。

2.3 輪廓提取

由于二值圖像只有黑、白2種灰度值，本文采用Robert微分算子法［14］進行邊界點判斷及輪廓提取。Robert算子采用對角線方向相鄰像素之差近似梯度來進行邊緣點的判斷，對數(shù)字圖像f（x，y）每一像素點，取其梯度值：

由于二值圖像的特殊性，選取閾值G0（i，j）＝0，當G（i，j）＞G0（i，j）＝0時，該像素點為邊界點，取灰度值為1；否則為背景或目標內部點，取灰度值為0。

3 多邊形區(qū)域分割

經(jīng)過輪廓提取處理后就得到了連續(xù)的二維輪廓。由于任意復雜的二維輪廓均可看做多邊形，因此利用多邊形掃描求交方法進行區(qū)域分割，其技術路線如圖1所示。

3.1 多邊形掃描求交

多邊形掃描求交是指通過掃描線與二維輪廓線求交，得到每行中的邊界點。如圖2所示的掃描線①與多邊形P01P02P03P04P05P06P07交于E、F、G、H四點，則E、F、G、H四個交點即為邊界點。

得到邊界點之后，需根據(jù)邊界點的性質，決定邊界點的取舍。交點取舍應遵循如下步驟：

圖1 多邊形掃描求交

步驟1：交點的初步判斷：

首先保留多邊形求交中得到的孤立的邊界點和邊界點中小線段的端點。如圖2所示，掃描線②與多邊形P01P02P03P04P05P06P07相交于A、B、C、D四點的同時，還相交于BC線段，這時只保留A、B、C、D四點。

圖2 交點的初步判斷

步驟2：邊界點性質的判斷：

邊界點可分為局部最高點、局部最低點、小線段的端點等，在交點性質判斷的過程中，首先對每行中經(jīng)初步判斷得到的邊界點進行排序，并按照從左到右的順序依次進行判斷。

（1）局部最高點

對于本行中的一點，若上一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為0，下一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)大于等于2，并且此點為非小線段端點，則該點為局部最高點，算作0個邊界點，并去掉。如圖3所示，掃面線⑥與多邊形P01P02P03P04P05P06P07P08P09P10P11P12P13P14P15P16P17P18P19交于0、1、2、3、4、5、6七點，其中1點為局部最高點，算作0個邊界點。

圖3 交點性質判斷

（2）局部最低點

對于本行中的一點，若上一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為2，下一行經(jīng)步驟1保留下來的邊界點的縱坐標與該點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為0，且該點為非小線段端點，則該點為局部最低點，算作2個邊界點。如圖3所示，掃描線④與多邊形交于0、1、2三點，其中1為局部最低點，算作2個邊界點。

（3）小線段的端點

首先做如下定義：

①若小線段的左端點的縱坐標與上一行（或下一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為非0，且小線段的右端點的縱坐標與下一行（或上一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)為非0，則定義a＝1；

②若小線段的左、右端點的縱坐標與上一行（或下一行）中經(jīng)步驟1保留下來的邊界點的縱坐標之差的絕對值小于等于1的邊界點個數(shù)均非0，則定義a＝2；

邊界點的個數(shù)根據(jù)上述定義和如下規(guī)則確定：

①若小線段的左端點的序號為奇數(shù)，且a＝1，則左端點算作2個邊界點，右端點算作1個邊界點。如圖3所示，掃描線①與多邊形交于0、1、2三點，小線段左端點算作2個邊界點，右端點算作1個邊界點；

②若小線段的右端點的序號為奇數(shù)，且a＝1，則右端點算作2個邊界點，左端點算作1個邊界點。如圖3所示，掃描線②與多邊形相交于0、1、2三點，則小線段左端點算作1個邊界點，右端點算作2個邊界點；

③若小線段的左端點的序號為奇數(shù)，且a＝2，則去除左、右端點，均算作0個邊界點。如圖3所示，掃描線③與多邊形交于0、1、2、3、4、5六點，其中小線段的左右端點3、4均算作0個端點，掃描線⑤與多邊形交于0、1、2、3四點，其中小線段的左右端點1、2均算作0個端點；

④其余情況，左、右端點均算作一個端點。如圖3所示，掃描線⑦與多邊形交于0、1、2、3四個端點，小線段左右端點均算作1個邊界點。

3.2 冗余信息去除

通過以上多邊形掃描求交算法得到了每行中的邊界點，為了防止邊界區(qū)域的擴大，需保留左邊界點，而去除右邊界點。因此冗余信息去除的步驟如下：

（1）交點配對：將多邊形掃描求交算法保留下來的交點按照第一個與第二個，第三與第四個……依次類推的規(guī)則進行配對，兩兩成對。

（2）背景去除：根據(jù)二維圖像像素點與SFS恢復的三維形貌數(shù)據(jù)點間的一一對應關系，借助多邊形掃描求交及交點配對結果去除SFS重構模型中的圖像背景冗余信息。去除原則是：只保留SFS重構模型中交點配對區(qū)間之內的信息，去除配對區(qū)間之外的冗余信息。

4 實 例

為驗證圖像背景冗余信息去除的效果，以駱駝圖像為例進行試驗，結果如圖4所示。圖4（a）為輸入的原始圖像；圖4（b）為圖4（a）經(jīng)SFS方法得到的三維形貌；圖4（c）為圖4（a）經(jīng)閾值分割得到的二值圖像，由圖可看出經(jīng)閾值分割得到的二值圖像邊緣存在斷線、凹洞等缺陷；圖4（d）為對圖4（c）經(jīng)過形態(tài)學修補之后的二值圖像，消除了圖4（c）中二值圖像邊緣的斷線、凹洞等缺陷；圖4（e）為圖4（d）經(jīng)輪廓提取后得到的連續(xù)的二維輪廓；圖4（f）為由圖4（b）和圖4（e）經(jīng)信息融合，去除配對區(qū)間之外的冗余信息得到的數(shù)字化模型。由圖可知，圖像的背景去除效果較好，保留了圖像中物體邊緣的細節(jié)信息。

圖4 背景去除

5 結 論

針對SFS重構模型存在圖像背景冗余信息問題，本文提出基于閾值分割與多邊形掃描求交的冗余信息去除方法。將閾值分割、形態(tài)學修補及多邊形掃描求交等方法相結合，精確獲取二維輪廓邊界點信息，并通過二維輪廓與三維形貌的信息匹配去除重構模型中的圖像背景信息。由實驗結果可以看出，該方法能有效去除SFS重構模型中的圖像背景冗余信息，保證重構模型的形狀精度，對拓展SFS方法的應用領域具有重要意義。

［1］ Horn B K P.Shape from Shading：method for obtaining the shape of a smooth opaque object from one view［R］. MIT ProjectMAC TR-79，1970.

［2］ Hisashi S.A Shape-from-Shading Method of Polyhedral Objects Using Prior Information［J］.IEEETransactions onPatternAnalysisandMachineIntelligence，2006，28（4）：612－624.

［3］ Takayuki O，Koichiro D.Shape Reconstruction from an Endoscope Image by Shape from Shading Technique for a Point Light Source at the Projection Center［J］.Computer VisionandImageUnderstanding，1997，66（2）：119－131.

［4］ Dimitris S，Dim itris M.Incorporating Illum ination Constraints in Deformable Models for Shape from Shading and Light Direction Estimation［J］.IEEETransactionson PatternAnalysisandMachineIntelligence，2003，25（2）：247－264.

［5］ Wu Fenghe，Sun Lei.Single image based reverse engineering method［J］.JournalofComputational InformationSystems，2009，5（1）：193－199.

［6］ 王國琿，韓九強，張新曼，等.一種新的基于從明暗恢復形狀的月球表面三維形狀恢復算法［J］.宇航學報，2009，30（6）：2265－2269.

［7］ 宋麗梅，周興林，徐可欣，等.基于單幅測量圖像的三維缺陷檢測技術［J］.光學學報，2005，25（9）：1195－1200.

［8］ 嚴濤，陳彥云，吳恩華.一種基于單幅圖像的樹木深度估計與造型方法［J］.計算機學報，2000，23（4）：386－392.

［9］ 吳鳳和，張曉峰，施法中.基于單幅圖像數(shù)據(jù)的三維重構方法研究.中國機械工程，2007，18（17）：2071－2075.

［10］ 程琦，趙軍，劉宇.指針式儀表示值識別系統(tǒng)研究［J］.計量學報，2009，30（5A）：192－195.

［11］ 吳鳳和.基于計算機視覺測量技術的圖像輪廓提取方法研究［J］.計量學報，2007，18（1）：18－22.

［12］ 呂哲，王福利，常玉清，等.機器視覺測量中一種新的邊緣檢測算法［J］.計量學報，2009，30（3）：193－196.

［13］ 張洪濤，段發(fā)階，丁克勤，等.帶鋼表面缺陷視覺檢測系統(tǒng)關鍵技術研究［J］.計量學報，2007，28（3）：216－219.

［14］ 章毓晉.圖象理解與計算機視覺［M］.北京：清華大學出版社，2000.

Redundant Information Removing of SFS Reconstructed Model Based on Threshold Segmentation and Polygons Intersecting

WU Feng-he， WANG Jin-fen， WANG Jun， WANG Xin
（College of Mechanical Engineering，Yanshan University，Qinhuangdao，Hebei066004，China）

To remove the redundant points of shape from shading reconstructed model，a practical methods based on threshold segmentation and polygons intersecting is proposed.The image is converted into binary image through threshold segmentation technique，the defects contained in image are remedied by morphological method，and the 2D contour is extracted by using the differential operator，the binary image is divided intoobjective region and background region by using the polygons intersectingmethod；the 3D model is reconstructed by using shape from shading method，and the redundant points of shape from shading reconstructed model are removed through fusing the information of 3D profile and 2D contour.Experiment results showed that themethod proposed can effectively remove redundant points of shape from shading reconstructed model，and it is helpful for improving the shape precision of shape from shading reconstructed model.

Metrology；Background removing；Polygons intersecting；Contour extraction；Morphology

TB96

A

1000-1158（2014）01-0044-05

10．3969／j．issn．1000-1158．2014．01．10

2012-10-08；

2013-03-06

國家科技重大專項（2011ZX04002-111）；河北省自然科學基金（E2011203091）；教育部博士學科點專項基金（20121333110011）作者簡介：吳鳳和（1968－），男，內蒙古扎蘭屯人，燕山大學教授，博士生導師，主要研究方向為數(shù)字化測量與建模、數(shù)字化制造。risingwu＠ysu.edu.cn