一種快速提取銅塊圖像感興趣區(qū)域的方法*

黃 健，宋執(zhí)環(huán)，陳文偉，李 斌

（工業(yè)控制技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，浙江大學(xué)工業(yè)控制研究所，浙江杭州 310027）

0 引言

銅加工過(guò)程中，銅成分是實(shí)現(xiàn)生產(chǎn)過(guò)程自動(dòng)控制的關(guān)鍵質(zhì)量參數(shù)，需要能夠快速準(zhǔn)確地檢測(cè)樣本的銅成分質(zhì)量指標(biāo)。然而，由于高溫和腐蝕性等因素，該參數(shù)在線檢測(cè)成為成套控制系統(tǒng)應(yīng)用中的一個(gè)技術(shù)難題?，F(xiàn)有工藝下，銅成分測(cè)量一般采用先將銅液冷卻固化成銅塊，再到化驗(yàn)室進(jìn)行離線分析檢測(cè)的方法。

近年來(lái)，出現(xiàn)了一些基于圖像特征的銅成分分析方法，如文獻(xiàn)［1］提出了一種基于彩色圖像特征的銅成分軟測(cè)量方法，文獻(xiàn)［2］提出了一種基于色調(diào)強(qiáng)度的二元銅合金銅成分分析方法。在基于圖像特征的銅成分分析過(guò)程中，具有檢測(cè)價(jià)值的區(qū)域主要位于銅塊截面上某個(gè)部位（通過(guò)打磨等處理），這樣能否獲取一塊有檢測(cè)價(jià)值的區(qū)域必將影響最終銅成分分析的準(zhǔn)確性。這里，稱這樣一塊有檢測(cè)價(jià)值的區(qū)域?yàn)楦行匀さ膮^(qū)域（region of interest，ROI）。目前，基于圖像特征的銅成分分析方法中基本采用人為選取ROI的方法，但在銅成分分析儀表產(chǎn)品化的情況下，儀表必須實(shí)現(xiàn)ROI自動(dòng)提取的功能，并且ROI的提取必須具有魯棒性，能適應(yīng)復(fù)雜背景的情況。當(dāng)前ROI提取方法不少，但沒(méi)有一種方法具有普遍性，也沒(méi)有一種有效的方法適用于銅塊ROI提取。

本文針對(duì)這種情況，提出了一種復(fù)雜背景下不規(guī)則銅塊ROI快速提取的方法—SBRE（seed-based ROI extraction）方法，具有在線計(jì)算量小的優(yōu)點(diǎn)，適用于性能相對(duì)較差的嵌入式平臺(tái)。

1 單一背景下ROI提取

假設(shè)背景單一，且在灰度分布上和銅塊相差很大，這種情況下銅塊區(qū)域的確定是相對(duì)容易的，閾值分割的方法就能很好地將銅塊區(qū)域用矩形框標(biāo)記出來(lái)。遵循自動(dòng)檢測(cè)的原則，本文采用迭代選擇閾值法分割來(lái)區(qū)分銅塊區(qū)域和背景，并用矩形框REC標(biāo)記銅塊區(qū)域。

對(duì)于一個(gè)銅塊合金樣本，銅塊截面是最具有檢測(cè)意義的區(qū)域，而銅塊截面和側(cè)面無(wú)論灰度分布色彩分布上都比較接近，無(wú)監(jiān)督的方法很難將它們區(qū)別開來(lái)。這里加入一些先驗(yàn)知識(shí)，當(dāng)銅塊被測(cè)量時(shí)，截面朝上，截面的位置肯定位于側(cè)面的上方。把矩形框REC從上往下按順序分割為4塊區(qū)域，對(duì)第一塊區(qū)域內(nèi)的銅塊區(qū)域I，假設(shè)其全部屬于銅截面區(qū)域，否則，銅截面寬度連銅塊寬度的1/4都不到，再去測(cè)量其成分就變得毫無(wú)意義了。因此，凸邊形區(qū)域I的中心點(diǎn)O也必在銅截面區(qū)域內(nèi)，并且是一個(gè)相對(duì)遠(yuǎn)離銅截面邊界區(qū)域的點(diǎn)。這里把O點(diǎn)作為種子點(diǎn)，通過(guò)該種子點(diǎn)與銅塊邊緣相結(jié)合的方法，可以不斷更新種子點(diǎn)去近似真正的銅截面中心點(diǎn)，并獲得一塊較大的ROI，其具體流程如圖1。

圖1 ROI提取流程圖Fig 1 Flow chart of ROI extraction

1）提取出矩形框REC內(nèi)的銅塊灰度子圖S;

2）對(duì)圖像S1進(jìn)行Canny算子邊緣檢測(cè)［3］獲得邊緣圖像S1，選取合適的閾值，銅塊截面與側(cè)面間的邊緣必會(huì)呈現(xiàn)在S7中;

3）在圖像 S1 中，從O點(diǎn)出發(fā)，沿著 0°，45°，90°，135°，180°，225°，270°，315°方向?qū)ふ毅~截面邊緣點(diǎn)或 S1 圖像邊界點(diǎn);

4）若找到邊緣點(diǎn)，則計(jì)算此邊緣點(diǎn)所在邊緣長(zhǎng)度;若邊緣長(zhǎng)度小于35，則認(rèn)為此邊緣點(diǎn)只是銅截面內(nèi)部紋理的一部分，跳到步驟（3），繼續(xù)沿著原方向搜索;若邊緣長(zhǎng)度大于35，則認(rèn)為找到了該方向上的截面邊緣點(diǎn)，記錄該點(diǎn);若該點(diǎn)已是315°方向，跳到步驟（4）;反之，跳轉(zhuǎn)到步驟（3），沿下一個(gè)方向繼續(xù)搜索，找到圖像S1邊界點(diǎn)的情況與找到截面邊緣點(diǎn)的情況一樣;

5）因?yàn)殂~截面可當(dāng)成凸邊形，其中心點(diǎn)必在截面內(nèi)部，本文將步驟（4）找到的8個(gè)方向上的銅截面邊緣點(diǎn)（或邊界點(diǎn)）的中心近似為銅塊截面中心O0;

6）若迭代次數(shù)大于50，或者O0和O點(diǎn)的距離小于5（采用歐氏距離［4］），更新O0點(diǎn)為O點(diǎn)，跳轉(zhuǎn)到步驟（7）;反之，更新O0點(diǎn)為O點(diǎn)，跳轉(zhuǎn)到步驟（3）;

7）記錄O點(diǎn)到0°，180°2個(gè)方向上的銅截邊緣點(diǎn)（或邊界點(diǎn)）的最短距離Lx，O點(diǎn)到90°，270°2個(gè)方向上的銅截面邊緣點(diǎn)（或邊界點(diǎn)）的最短距離Ly，選擇以O(shè)點(diǎn)為中心點(diǎn)、（2Lx×0．5）為長(zhǎng)、（2Ly×0．5）為寬的矩形區(qū)域?yàn)?ROI。這樣，可使ROI在銅塊截面內(nèi)部。

為了方便下文比較，稱此種方法為SRE（single-background ROI extraction）方法。

2 問(wèn)題抽象

從前文提出的ROI提取方法可以看出，它主要由3個(gè)步驟組成:1）選取種子點(diǎn);2）確定中心點(diǎn);3）選取ROI。而ROI的提取由種子點(diǎn)和銅截面邊緣確定（前文是針對(duì)銅塊區(qū)域子圖片做的邊緣檢測(cè)，有可能會(huì)因?yàn)殂~塊區(qū)域矩形框誤差帶入一些邊界，但這都是為了計(jì)算快速，其實(shí)這些邊界也可認(rèn)為是銅截面區(qū)域的近似邊界），如式（1）（Seed為種子點(diǎn)，Edge為銅截面邊緣）

其實(shí)，只要種子點(diǎn)在銅截面內(nèi)部，更新截面中心點(diǎn)多次后（迭代時(shí)間足夠長(zhǎng)），截面中心點(diǎn)就會(huì)重合于一點(diǎn)，另外整幅檢測(cè)圖像的邊緣必定包含銅塊邊緣，于是式（1）可轉(zhuǎn)變?yōu)槭剑?）（Edge0為整幅圖像的邊緣，CuS為整塊銅截面區(qū)域）

至此，ROI的提取被分成了2個(gè)獨(dú)立的步驟:1）選取種子點(diǎn);2）根據(jù)邊緣選取ROI。其中，第二個(gè)步驟具有通用性，與背景復(fù)雜度無(wú)關(guān)，因?yàn)樗腔阢~截面內(nèi)部種子點(diǎn)和邊緣（截止于銅截面邊緣）提出的方法，自然獨(dú)立于銅塊所處背景了。于是，只有選取種子點(diǎn)的步驟與背景復(fù)雜度有關(guān)了，從選取種子點(diǎn)的背景是整幅圖像也可以直觀地看出這一點(diǎn)。

這樣一來(lái)，從復(fù)雜背景下提取ROI的問(wèn)題可以轉(zhuǎn)化為從復(fù)雜背景下選取一個(gè)種子點(diǎn)的問(wèn)題。把這種基于種子點(diǎn)的ROI提取方法稱為SBRE方法。

3 HSV模型建立

對(duì)于一幅具有復(fù)雜背景的銅塊圖像來(lái)說(shuō)，要想把銅截面里的一點(diǎn)找出來(lái)，自然要知道銅截面有別于其它部分的特征。一幅圖像的特征基本有2種:顏色特征和紋理特征，由于銅截面的紋理特征與其它物體相比并沒(méi)有特別顯著的地方，本文選取一組樣本的顏色特征作為建模依據(jù)，符合模型的即為疑似銅塊截面點(diǎn)。要挖掘最有效的顏色特征，就要選擇合適的顏色空間。顏色空間指的是某個(gè)三維空間中的一個(gè)可見光子集，它包含某個(gè)顏色域的所有顏色。一般圖像常采用RGB三元色彩空間表示，但RGB三色空間中兩點(diǎn)間的歐氏距離與顏色距離不呈線性比例，換句話說(shuō)，就是顏色受亮度的影響較大，RGB顏色空間不具有進(jìn)行彩色圖像處理所要求的獨(dú)立性和均勻性指標(biāo)。然而絕對(duì)滿足獨(dú)立性和均勻性的顏色空間是不存在的［5］，只能找到一種在較大范圍內(nèi)符合這2種特性的顏色空間。通過(guò)實(shí)驗(yàn)，本文采用了HSV顏色空間，H為色彩信息，S為純度，V為色彩的明亮程度，其與R，G，B（歸一化到［0，1］區(qū)間）的轉(zhuǎn)換關(guān)系如下［6］

由于銅截面圖像包含一些深色劃痕和噪聲，為消除它們的影響，對(duì)每個(gè)樣本（銅截面子圖像，共27個(gè)，如圖2）的所有像素點(diǎn)的H，S，V值作一個(gè)平均，得到27個(gè)（H，S，V）數(shù)據(jù)。本文研究背景下的所有銅塊根據(jù)其特性可以分為兩類:一類銅含量高于90%（一類）;另一類銅含量在50%～70%之間（二類）。把這27個(gè)樣本根據(jù)其銅含量分為兩類，這27個(gè)樣本的平均（H，S，V）值必定在2個(gè)長(zhǎng)方體L1，L2內(nèi)部，如圖 3。其中，H1min，H1max，S1min，S1max，V1min，V1max分別對(duì)應(yīng)一類銅截面的H最小值，H最大值，S最小值，S最大值，V最小值，V最大值，H2min等的定義類似。

通過(guò)對(duì)27組銅截面樣本圖像的分析，它們的實(shí)際值如表1所示。

以上提到HSV顏色空間的2個(gè)長(zhǎng)方體L1和L2就是銅截面顏色特征模型。對(duì)于銅塊圖像中的像素點(diǎn)，只要其（H，S，V）值在這2個(gè)長(zhǎng)方體內(nèi)，就稱此像素點(diǎn)為疑似銅塊截面點(diǎn)。

圖2 27個(gè)ROI樣本Fig 2 27 ROI samples

表1 模型參數(shù)Tab 1 Parameters of HSV model

圖3 HSV模型示意圖Fig 3 Diagram of HSV model

4 復(fù)雜背景下的SBRE方法

首先，對(duì)HSV模型二值化后的圖像K提出3個(gè)假設(shè):

1）此圖像內(nèi)的前景點(diǎn)只有銅截面點(diǎn)、銅側(cè)面點(diǎn)以及顏色類似于銅截面的物體點(diǎn);

2）前景點(diǎn)主要集中在截面和銅側(cè)面，且顏色類似銅截面的物體點(diǎn)相對(duì)很少;

3）前景點(diǎn)主要集中在截面，銅側(cè)面上前景點(diǎn)相對(duì)很少。

事實(shí)上，以上三點(diǎn)假設(shè)在大多數(shù)情況下成立（背景里沒(méi)有比銅塊大且顏色與銅截面極其相似的物體，銅側(cè)面面積小于銅截面，且（H，S，V）值與截面有所區(qū)別）。

假設(shè)圖像K的分辨率為W×H，Rectangle為長(zhǎng)和寬分別為W/2，H/2的矩形框，將該矩形框在圖像K內(nèi)不斷平移，計(jì)算落在該矩形框內(nèi)的前景像素點(diǎn)數(shù)量N，得到N最大的矩形框RECT，則RECT內(nèi)的子圖像K1必然也符合前面的3個(gè)假設(shè):

1）第一條假設(shè)顯然成立;

2）當(dāng)銅塊區(qū)域長(zhǎng)和寬均小于RECT時(shí)，整個(gè)銅塊區(qū)域在RECT內(nèi)部（因?yàn)榈诙l，顏色類似銅截面的物體點(diǎn)幾乎不影響RECT的位置），當(dāng)銅塊區(qū)域長(zhǎng)或?qū)捫∮赗ECT時(shí)，RECT包裹銅塊的部分區(qū)域而遠(yuǎn)離顏色類似銅截面的物體點(diǎn)，因此，對(duì)于RECT子圖像而言，主要包含銅塊區(qū)域的點(diǎn)，顏色類似銅截面的物體點(diǎn)相對(duì)很少，假設(shè)（2）成立;

3）第三條假設(shè)的證明與第二條類似。

可以看出:通過(guò)對(duì)RECT子圖像按照對(duì)圖像K的方法再進(jìn)行多次迭代后，矩形框收縮于銅截面內(nèi)部，只要取其內(nèi)一點(diǎn)作為種子點(diǎn)就可以了。

本文設(shè)計(jì)的算法正是基于這三條假設(shè)的，如圖4，其中矩形框搜索的步長(zhǎng)為20/1．2n－1，n為迭代次數(shù)，初始步長(zhǎng)選20的原因是為了加快搜索速度，而另一方面是因?yàn)槌跏妓阉骶炔恍枰芨撸S著矩形框的縮小搜索逐漸細(xì)化。

圖4 BSRE方法流程圖Fig 4 Flow chart of BSRE method

5 實(shí)驗(yàn)結(jié)果分析

圖5顯示了6種不同背景環(huán)境下使用本文提到的2種方法提取銅塊ROI的情況（左起依次表示SRE提取ROI情況、SBRE方法矩形框迭代收縮情況、SBRE方法提取ROI情況，矩形框?yàn)樗崛〉腞OI）。前2種環(huán)境為背景單一的情況，銅塊和背景對(duì)比很明顯;后4種環(huán)境則是背景復(fù)雜的情況，背景中有可能存在和待檢測(cè)銅塊顏色接近的物體，如手指、非檢測(cè)銅塊等。其中，每一種背景環(huán)境對(duì)應(yīng)的3張圖片依次表示SRE提取ROI情況、SBRE方法矩形框迭代收縮情況（黑色部分為經(jīng)過(guò)HSV模型處理后的疑似銅塊截面點(diǎn)）、SBRE方法提取ROI情況。從圖5可以看出:單一背景環(huán)境下2種方法都能準(zhǔn)確地從銅塊截面提取出ROI（獲得ROI的位置和大小差不多），在復(fù)雜背景下SRE方法就顯得無(wú)能為力了，有可能提取到背景干擾物體的截面，而SBRE方法則依然能準(zhǔn)確地提取到銅塊截面。

表2顯示了SBRE方法的性能，處理速度基本在100ms左右，非?？焖?，適合移植到嵌入式設(shè)備。其中，用于測(cè)試的圖片大小為720×576，計(jì)算機(jī)配置:操作系統(tǒng)為Ubuntu10．10（32 bit）;CPU 為 InetlCentrinoDuoT2400（1．83 GHz）;內(nèi)存為 2 GB;g++ 版本為 4．4。

表2 SBRE方法處理時(shí)間Tab 2 Time consumed by SBRE method

6 結(jié)論

圖5 六種不同背景下的SRE/SBRE方法比較Fig 5 Comparison of SRE/SBRE method under 6 backgroungds

ROI提取是圖像分析處理的前期步驟，因?yàn)閳D像背景有可能很復(fù)雜，很多情況下很難定位到前景的位置，更不用說(shuō)前景ROI的提取了，因此，這也是圖像處理領(lǐng)域的難題之一［7］。本文首先提出了一種完整的單一背景下提取銅截面ROI的方法，進(jìn)而抽象ROI提取問(wèn)題，將該問(wèn)題分割為2個(gè)步驟:第一步為背景相關(guān)的種子點(diǎn)提取;第二步為背景無(wú)關(guān)的ROI確定，并提出了SBRE方法。復(fù)雜背景下的SBRE方法首先建立HSV顏色模型，然后通過(guò)不斷更新步長(zhǎng)收縮搜索矩形最終使搜索矩形框完全位于銅截面內(nèi)部，進(jìn)而確定種子點(diǎn)，最終確定ROI。實(shí)驗(yàn)結(jié)果表明:該方法法準(zhǔn)確、快速，適用于對(duì)實(shí)時(shí)性要求較高的場(chǎng)合。同時(shí)，這種方法對(duì)具有顏色特征的截面提取具有普遍性，很容易推廣。

［1］ 張宏偉，宋執(zhí)環(huán)．基于彩色圖像特征的銅成分軟測(cè)量模型［J］．上海交通大學(xué)學(xué)報(bào)，2011，45（8）:1211 －1215．

［2］ Kim Chanwook，Kim Hanggoo，Suk Hangil．A study on the composition determination of Cu alloys by image processing technology［J］．Solid State Phenomena，2006，116 －117:795 －798．

［3］ Canny J．A computational approach to edge detection［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，1986，8:679－714．

［4］ Wang Liwei，Zhang Yan，F(xiàn)eng Jufu．On the Euclidean distance of images［J］．IEEE Transactions on Patter Analysis and Machine Intelligence，2005，27（8）:1334 －1339．

［5］ Gonzales R C，Woods R E．Digital image processing［M］．Beijing:Publishing House of Electronics Industry，2004:416 －482．

［6］ 阮秋琦．?dāng)?shù)字圖像處理學(xué)［M］．北京:電子工業(yè)出版社，2001．

［7］ Sezgin M，Sankur B．Survey over image thresholding techniques and quantitative performance evaluation［J］．Journal of Electronic Imaging，2004，13（1）:146 －165．