基于橢圓重疊區(qū)域的蠶繭圖像融合方法

孫衛(wèi)紅， 黎 雨， 梁 曼， 邵鐵鋒， 高明輝

1. 中國計量大學 機電工程學院， 浙江 杭州 310018； 2. 中國計量大學 繭絲綢質(zhì)量檢測技術研究所， 浙江 杭州 310018； 3. 泰安市紡織纖維檢驗所， 山東 泰安 217000)

蠶繭繅絲之前需先通過選繭工作剔除影響生絲質(zhì)量的下繭。目前，表面帶有疵點的蠶繭一般通過其表面疵點的總面積判斷是否為下繭，如靠黃繭、油繭、爛繭、霉繭等。由于人眼無法準確判斷疵點面積，且目前的疵點繭檢測技術一般只對帶有疵點的單一面進行分析[1]，忽略了蠶繭表面其他角度的疵點情況,因此,需通過拍攝不同角度的蠶繭圖像后，采用圖像拼接處理得到完整的蠶繭表面圖像，再對其疵點特征進行分析。

圖像拼接技術一般包括特征點提取、圖像配準、圖像融合等步驟[2]。其中，圖像融合是在圖像配準的基礎上，消除拼接圖中因亮度差異等因素造成的拼接縫，獲得平滑過渡的融合圖像。目前,常用的圖像融合算法有加權平均法、漸入漸出算法、多分辨率融合算法與泊松融合等。加權平均法[3]和漸入漸出算法[4]實時性較好，但得到的融合圖曝光差異大且存在明顯的拼接縫。多分辨率融合算法[5]與泊松融合[6]能有效消除拼接縫，但這2種算法耗時較長且均需掩碼圖像。針對不同場景的圖像需設計相應的融合算法來消除拼接縫，李海超等[7]利用區(qū)間差值映射法對圖像重疊區(qū)域進行直方圖匹配并建立直方圖查找表，有效消除圖像間的灰度差異。瞿中等[8]將最佳縫合線與改進加權平均融合算法結合,生成平滑過渡且無拼接縫的高質(zhì)量圖像。汪丹等[9]提出在漸入漸出算法的基礎上，將過渡的權重值替換為三角函數(shù)，得到更好的融合效果；但由于蠶繭圖像的特殊性，其黑色背景是導致融合圖中蠶繭邊緣拼接縫明顯的主要原因，因此，蠶繭圖像融合不似傳統(tǒng)意義上的矩形圖像融合[10]，而是針對圖像中的蠶繭表面區(qū)域進行融合。

為獲得良好視覺效果的蠶繭完整表面，本文提出一種基于橢圓重疊區(qū)域的蠶繭圖像融合方法，將圖像中蠶繭表面所在區(qū)域等效為橢圓帶入融合過程，構建蠶繭圖像融合的數(shù)學模型，將實際融合區(qū)域定義為由模型得出的橢圓重疊區(qū)域，并采用改進的三角函數(shù)權重算法對該區(qū)域進行融合。

1 蠶繭圖像的采集與配準

由于需獲取視覺效果佳且平滑過渡的蠶繭完整表面圖像，因此，要求采集的蠶繭圖像需在尺寸、亮度與旋轉角度方面盡量保持一致。本文采用課題組研制的蠶繭繭層完整圖像采集裝置[11]獲取尺寸、亮度與旋轉角度基本相同的蠶繭原始圖像，如圖1所示。2個滾軸朝同一個方向滾動，每轉動60°拍攝1張蠶繭表面圖像直至獲取完整表面，再選取2張相鄰且?guī)в型淮命c的蠶繭圖像用于后續(xù)處理。蠶繭的形狀為類橢球形，導致采集的蠶繭原始圖像存在信息壓縮，因此，本文通過等效階梯柱面模型[11]對蠶繭原始圖像進行展開，并將展開后的蠶繭圖像作為待拼接圖像進行后續(xù)拼接處理。

圖1 采集裝置示意圖

蠶繭圖像融合之前需先完成圖像配準工作，通過尋找2幅圖像的空間變換，將蠶繭圖像左圖映射到蠶繭圖像右圖上，使2幅圖中位于空間同一位置的點對應起來[12]。本文利用SURF算法[13]檢測蠶繭圖像的特征點，檢測完畢后為每個特征點構建64維SURF特征描述子。再采用RANSAC算法尋找2幅蠶繭圖像中的最佳單應性矩陣，并篩除誤匹配點得到最終匹配對。根據(jù)各匹配對之間的距離計算蠶繭圖像右圖相對于左圖的平移距離(dx,dy),如式(1)與(2)所示。

(1)

(2)

式中：N為RANSAC算法篩除后剩下的匹配點總對數(shù)；dxn為第n對匹配點在x方向的位移距離；dyn為第n對匹配點在y方向的位移距離。

2 蠶繭等效橢圓的圖像融合方法

2.1 蠶繭類橢圓模型

一般蠶繭的形狀為類橢球形，因此，其二維圖像中的蠶繭表面可等效為橢圓。本文對展開后的蠶繭圖像進行灰度化、二值化后，采用直接最小二乘擬合算法[14]對其進行擬合，結果如圖2所示?？梢钥闯觯归_后的蠶繭類似于標準的橢圓曲線，由此獲取等效橢圓的相關參數(shù)并映射到原蠶繭圖像的像素坐標中。

圖2 蠶繭圖像橢圓擬合

采集裝置通過旋轉蠶繭來拍攝不同角度的蠶繭原始圖像獲得蠶繭繭層完整圖像，為此認為蠶繭圖像左圖與蠶繭圖像右圖中的蠶繭等效橢圓方程相同。定義橢圓的長軸為2a,短軸為2b，圓心在圖像中的位置為(xc,yc),即可得到2幅圖中的蠶繭表面等效橢圓如式(3)所示。

(3)

2.2 蠶繭圖像融合的數(shù)學模型

將蠶繭圖像的融合區(qū)域定義為2個橢圓的重疊區(qū)域，而非傳統(tǒng)方法中圖像實際的矩形重疊區(qū)域。為獲取融合過程中蠶繭等效橢圓重疊區(qū)域的點集，本文根據(jù)圖像配準過程得到的水平位移距離dx與豎直位移距離dy，構建蠶繭圖像融合的數(shù)學模型。豎直位移距離dy存在大于、等于和小于0這3種情況，導致蠶繭圖像融合的數(shù)學模型也存在3種情況，但這3種情況無本質(zhì)區(qū)別，不做過多贅述。以dy<0為例，構建的融合數(shù)學模型如圖3所示。

圖3 蠶繭圖像融合數(shù)學模型

設蠶繭圖像左圖與右圖尺寸均為W×H,則蠶繭融合圖像的尺寸為(W+dx)×(H+dy)。定義蠶繭圖像左圖為模板圖像，則該圖像中的蠶繭等效橢圓相當于向上平移了dy個單位，蠶繭圖像右圖中的等效橢圓相當于向右平移了W-dx個單位。得到左圖中的蠶繭等效橢圓區(qū)域為A，右圖中橢圓區(qū)域為B,因此,2個橢圓重疊區(qū)域的點集為C，如式(4)～(6)所示：

(4)

(5)

C=A∩B

(6)

2.3 改進的三角函數(shù)權重算法

本文融合算法的基礎為耗時較短的三角函數(shù)權重算法[9]。三角函數(shù)權重算法是對漸入漸出算法的改進，其原理是在圖像重疊區(qū)域按照式(7)計算每一列與角度的關系，再得出該角度下正、余弦值的平方作為融合權重值。

(7)

為排除圖像中無關因素的影響，改善黑色背景導致亮度不均、蠶繭邊界線明顯的情況。本文在原有算法基礎上，將三角函數(shù)權重算法的構建區(qū)域由圖像實際重疊區(qū)域改為感興趣區(qū)域。利用融合數(shù)學模型中2個等效橢圓的位置方程，計算得出蠶繭重疊區(qū)域的最大寬M1N1，并將其與融合圖的高組成的矩形作為感興趣區(qū)域，同時在該區(qū)域內(nèi)計算每列像素與角度θ1的關系如式(8)所示，再按照式(9)、(10)得出該角度下的左圖融合權重Q與右圖融合權重T,得到改進的三角函數(shù)權重算法。

(8)

T=sin2θ1

(9)

Q=cos2θ1

(10)

式中，M1與N1分別表示蠶繭圖像中感興趣區(qū)域的左、右邊界。

最后，通過式(11)、(12)得到蠶繭融合圖像I的像素點與蠶繭圖像左圖L與右圖R之間的關系。感興趣區(qū)域與權重變化如圖4所示。

圖4 改進的三角函數(shù)權重變化圖

I(x,y)=Q×L(x,y)+T×R(x,y)

(11)

(x,y)∈C

(12)

對橢圓重疊區(qū)域分別采用三角函數(shù)權重算法與改進的三角函數(shù)權重算法進行融合，結果如圖5所示。由于本文進行融合的區(qū)域為橢圓的重疊區(qū)域，其寬度小于圖像的重疊區(qū)域，因此，通過三角函數(shù)權重算法得到的權重最大值并非為1,使得蠶繭融合圖像在橢圓邊界處的亮度呈跳躍變化，橢圓邊界線清晰可見，無法獲得自然過渡的蠶繭表面。但改進的三角函數(shù)權重算法將圖像重疊區(qū)域改為感興趣區(qū)域，使其權重值由0到1連續(xù)變化，保證了橢圓邊界線區(qū)域平滑過渡，得到高質(zhì)量的蠶繭融合圖像。

圖5 改進前后三角函數(shù)權重算法的融合結果對比圖

2.4 圖像融合方法描述

圖像融合方法主要包括以下步驟。

步驟1：獲取2張不同角度的蠶繭原始圖像后，對其進行展開處理，得到蠶繭圖像作為待拼接圖像。

步驟2：利用SURF算法對2張不同角度的蠶繭待拼接圖像進行配準，再采用RANSAC算法篩除誤匹配對，根據(jù)最終匹配對的距離得出蠶繭圖像右圖相對于左圖的移動距離(dx,dy)。

步驟3：采用最小二乘擬合算法分別對2張待拼接圖像中的蠶繭表面進行橢圓擬合，并輸出其等效橢圓的位置方程。

步驟4：將蠶繭圖像左圖作為參考圖像，根據(jù)配準得出的平移距離(dx,dy)對右圖進行平移，得到蠶繭圖像融合的數(shù)學模型，由此獲取2個等效橢圓重疊區(qū)域的點集。

步驟5：根據(jù)2個等效橢圓在蠶繭融合圖像中的位置方程，得出橢圓重疊區(qū)域的最大寬M1N1,并將M1N1所在區(qū)域作為感興趣區(qū)域。

步驟6：在感興趣區(qū)域內(nèi)利用改進的三角函數(shù)權重算法進行融合處理，得到自然平滑的蠶繭融合圖像。

3 實驗結果與分析

圖像融合評價方法一般分為主觀評價與客觀評價。主觀評價主要依靠人眼評價融合圖像的質(zhì)量，客觀評價通過某種特定算法來提供量化的評價值[15-16]。為確保本文方法的有效性與準確性，同時采用主觀評價與客觀評價來評估蠶繭融合圖像質(zhì)量。

3.1 蠶繭圖像融合質(zhì)量主觀評估

蠶繭圖像融合試驗平臺是CPU為2.4 GHz，內(nèi)存為4GB，操作系統(tǒng)為Windows10計算機，軟件平臺由Visual Studio 2017和Opencv2.4.9組成。選取圖6所示的2組表面特征不同的蠶繭圖像，分別采用漸入漸出算法、三角函數(shù)權重算法與本文基于橢圓重疊區(qū)域的蠶繭圖像融合方法進行融合，結果如圖7、8所示。

圖6 融合前的蠶繭圖像

圖7 第1組蠶繭圖像融合結果

比較可知，通過漸入漸出算法得出的蠶繭融合圖像在高緯度區(qū)域存在明顯的蠶繭邊界線，同時蠶繭圖像中的黑色背景導致融合圖中蠶繭表面區(qū)域亮度變暗。采用三角函數(shù)權重算法緩解了這一問題，但圖像高緯度區(qū)域的蠶繭邊界線仍然無法消除，無法獲得表面平滑過渡且無明顯拼接縫的蠶繭融合圖像。而本文方法得出的蠶繭融合圖像中的蠶繭表面區(qū)域自然平滑，接近理想的蠶繭表面圖像。

圖8 第2組蠶繭圖像融合結果

3.2 蠶繭圖像融合質(zhì)量客觀指標評估

客觀評價指標可分為有參考圖像與無參考圖像2類[17]。由于蠶繭的特殊性，現(xiàn)實中無法直接獲取整張完整的蠶繭表面圖像，因此，蠶繭圖像融合質(zhì)量客觀評價指標的選取可參照無參考圖像的評價指標。無參考圖像的評價指標又可分為基于單一圖像與基于源圖像2類，基于單一圖像的評價指標有信息熵、標準差與平均梯度等，用于反映融合圖像包含的信息量與灰度值分布情況，基于原圖像的評價指標通常采用互信息[18]。

蠶繭融合圖像的清晰度與質(zhì)量對后續(xù)疵點檢測至關重要，圖像越清晰質(zhì)量越好，疵點面積計算越準確，因此，為在客觀數(shù)據(jù)上反映本文算法的優(yōu)越性，采用信息熵、平均梯度、空間頻率、標準差與互信息作為客觀評價指標對蠶繭融合圖像進行融合效果評估[15-16]。信息熵反映蠶繭融合圖像中所包含的信息量，平均梯度用于衡量圖像的清晰程度，空間頻率表示圖像灰度值的變化率，標準差用于度量圖像中信息豐富程度。以上4個指標值越大，則表示蠶繭融合圖像越清晰，信息量越大且整體質(zhì)量越好?；バ畔⒂糜诤饬啃Q繭融合圖像與原圖像之間的相似程度，其值越大表示融合效果越好。評價結果如表1所示。

表1 3種方法下蠶繭融合圖像客觀指標均值對比

根據(jù)2組實驗結果得出，本文方法得到的信息熵均值比漸入漸出算法提高了0.50%，比三角函數(shù)權重算法提高了0.42%。平均梯度均值比漸入漸出算法提高了2.23%，但相比于三角函數(shù)權重算法卻降低了0.98%。空間頻率均值比漸入漸出算法提高了2.78%，但比三角函數(shù)權重算法降低了2.67%。標準差均值比漸入漸出算法提高了3.92%，比三角函數(shù)權重算法提高了1.92%。綜上分析，利用本文方法得到的蠶繭融合圖像的平均梯度與空間頻率比采用漸入漸出算法大，卻略小于三角函數(shù)權重算法，但本文方法得到的蠶繭融合圖像信息熵與標準差在3種算法中最大。結合以上4種基于單一圖像的評價指標結果可以得出，本文方法得到的蠶繭融合圖像綜合質(zhì)量最佳且包含的信息量最大，更利于后續(xù)蠶繭疵點檢測。

本文方法的互信息在3種算法中最大，其均值比漸入漸出算法提高了2.15%，相比于三角函數(shù)權重算法提高了0.82%，表明本文方法得到的蠶繭融合圖像與蠶繭源圖像的相似度更大，融合效果更好。

4 結 論

一般的圖像融合算法適用于常規(guī)的矩形圖像，對蠶繭圖像融合的效果不佳。為解決這一問題，本文在蠶繭圖像配準的基礎上，結合蠶繭表面的形態(tài)特征建立蠶繭圖像融合的數(shù)學模型，并根據(jù)橢圓重疊區(qū)域的最大寬,設立感興趣區(qū)域代替蠶繭圖像的原本重疊區(qū)域進行融合處理。與漸入漸出算法和三角函數(shù)權重算法相比，本文算法得到的蠶繭融合圖像在主觀評價上得到明顯改善，無明顯拼接痕跡?？陀^評價可反映蠶繭圖像的融合效果與蠶繭融合圖像質(zhì)量，根據(jù)互信息得出本文算法的融合效果較其他2種算法更好。雖然第2組蠶繭融合圖像的平均梯度與空間頻率次于三角函數(shù)權重算法，但客觀指標中信息熵與標準差都高于漸入漸出算法和三角函數(shù)權重算法。由于4種指標無優(yōu)先級，綜合分析得出本文方法得到的蠶繭融合圖像的圖像質(zhì)量較高，圖像包含信息更豐富。