基于圖像拼接技術的動態(tài)目標重建*

蔡睿潔，馮祖仁，張 婕

(1西安交通大學系統(tǒng)工程研究所機械制造系統(tǒng)工程國家重點實驗室，西安 710049;2 中國兵器工業(yè)第203研究所，西安 710065)

0 引言

直瞄式制導武器在作戰(zhàn)的過程中，進入觀瞄跟蹤視場的導彈光標，往往在一定時間內(nèi)，大面積遮住所要打擊的目標，嚴重時約有一半的目標完全被導彈光標遮擋，同時遮擋目標的時間也比較長，導致了大量目標信息的喪失，這種強光干擾現(xiàn)象直接影響了自動跟蹤的可靠性與準確性，使其難以順利實現(xiàn)。

該研究涉及圖像圖形學、最優(yōu)估計、最優(yōu)控制、模式識別等眾多學科，是計算機圖形學和計算機視覺中的一個研究熱點。但這方面的算法多適用于靜態(tài)目標丟失小部分信息的情形，應用于動態(tài)目標大面積丟失信息情況的研究比較少。之前多個科研院所均致力于此項研究，但都由于軟硬件技術等原因，沒有完全解決這一問題。

本方案首先通過閾值判決分離出高亮度的光斑信息，再采用角點檢測算法來進行特征提取，最終利用射影幾何技術實現(xiàn)圖像的恢復和重建。

1 基本原理

1.1 閾值分割

圖像分割處理的過程就是把數(shù)字圖像劃分成互不相交的區(qū)域的過程，鑒于圖像背景與導彈光標往往存在較大的灰度差，文中采用了較簡便的閾值統(tǒng)計方法計算灰度閾值。以平均灰度為基準乘以系數(shù)作為灰度閾值，此方法與固定閾值相比，這種算法得到的閾值與每次實驗的灰度信息有關，在一定程度上消除了外部環(huán)境因素引起的灰度誤差。

在動態(tài)計算導彈光標尺寸時，統(tǒng)計灰度大于閾值的像素點，其橫坐標、縱坐標各自平均值作為光標質心，將光標近似為正方形計算得到光標半徑約為R=則導彈光標處理區(qū)域為:x0－R≤x≤x0+R，y－0R≤y≤y0+R。導彈光標處理區(qū)域的大小，將隨著每場圖像導彈光標的大小實時同步的進行調(diào)整變化，最大限度的保留未被導彈光標遮擋的背景和目標信息，有利于提高匹配效率，減小匹配帶來的誤差形變，增強圖像的真實效果和可信度。

1.2 Harris角點檢測

Harris算子是 C.Harris和 M.J.Stephens在 1988年提出的一種點特征提取算子。這種算子受信號處理中自相關函數(shù)的啟發(fā)，給出與自相關函數(shù)相聯(lián)系的矩陣M。M陣的特征值是自相關函數(shù)的一階曲率，如果兩個曲率值都高，那么就認為該點是角點［1］。

Harris方法提取角點的過程可以分成以下幾步:

1)首先對要處理的灰度圖像中的每個像素點，計算其在水平方向和垂直方向上的梯度以及二者的乘積，這樣可以得到3幅新的圖像，3幅圖像中的每個像素對應的屬性值分別代表Ix、Iy和IxIy。然后對3幅圖像進行高斯濾波，再計算原圖像上對應的每個像素點的興趣值，即R值。

2)選取局部極值點。Harris方法認為，特征點是局部范圍內(nèi)的極大興趣值對應的像素點。因此，在計算完各像素的興趣值后，要提取原始圖像中所有局部興趣值最大的點。實際操作中，可依次從以每個像素為中心的窗口區(qū)域中提取最大值，如果中心點像素的興趣值就是最大值，則該像素點就是特征點。

3)根據(jù)需要提取一定數(shù)目的特征點。局部極值點的數(shù)目往往很多，可以對所有的極值點排序，根據(jù)要求選取興趣值最大的若干個像素點作為最后的結果。另外，也可以通過設置興趣值的門限，選取期望的角點，此時選取的角點數(shù)目是不確定的。

Harris算子作為一種有效的點特征提取算子，具有計算簡單，提取的點特征均勻而且合理、穩(wěn)定等優(yōu)點［2］。圖1所示為一幅飛機圖像的角點提取。

圖1 Harris算法角點提取圖

文中的算法中采用Harris角點檢測法，實現(xiàn)對相鄰兩場圖像的特征提取。檢測上一場已經(jīng)恢復處理過的圖像角點，將它作為匹配時的模板信息，檢測當前場的圖像角點作為對應的待匹配信息。使用角點檢測算法主要是為了提取目標特征點，對目標實現(xiàn)定位跟蹤，獲得了相鄰兩場的目標圖像及相應的角點，從而通過建立匹配關系，獲取位置變換式。

1.3 角點匹配

文中采用歸一化相關算法實現(xiàn)當前圖像與參考圖像的灰度匹配。如下式:

式中:R(x，y)為相關系數(shù);f(i+x，j+y)為實時圖像中搜索區(qū)各點的灰度值;s(i，j)為模板圖像的灰度值;(x，y)為實時圖像與模板之間的偏移量;M為模板的大小。

以下分別為上一場已經(jīng)過恢復處理的圖像角點提取狀況以及當前場彈標遮擋時的角點提取狀況。

圖2 上一場已恢復圖像角點提取狀況

圖3 當前場彈標遮擋時角點提取狀況

如圖2、圖3所示:對剛剛采入的當前場圖像進行角點提取時，往往會提取出導彈光標附近的角點信息，這些角點作為虛假信息不能夠參與匹配運算，只能在剩余的角點中計算出與上場角點相匹配的位置信息。

若以圖2作為待匹配圖像，圖3作為模板圖像，以上兩場圖像共建立了6組對應角點對，其對應關系見表1。

表1 角點匹配對照表

表中“*”表示對應點位于導彈光標遮擋區(qū)域，無法進行匹配運算。

由表1可見:每個待匹配點都有唯一的模板特征點與之對應，但一個模板特征點卻可能與多個待匹配點建立匹配對應關系，這種匹配關系并不是一一對應的。例如圖2中的2號和3號兩處角點都與圖3中的2號角點具有很高的匹配度。由于本算法處理的是移動目標，而恢復處理后的圖像又往往存在失真，所以即使是相互匹配的角點在圖像中的相對位置也可能存在差異，也就是角點檢測時可能會出現(xiàn)一致性較差的情況，如果直接利用角點對的位置關系進行圖像填充恢復，必然造成嚴重的形變失真，這就要求在圖像恢復算法中引入仿射變換模型以實現(xiàn)恢復過程的預測與矯正。

1.4 圖像恢復

由于文中所要處理的是目標移動、攝像器材也移動的情形，無法直接利用上一場同一位置的像素填充本場像素。必須利用角點的對應匹配關系，建立起兩場圖像間的變換關系模型，擬合出模型的各項參數(shù)，最終逐個填充被遮擋部分的像素點。為了完備的建立起圖像旋轉、縮放、平移變換的模型，可以將方程變換為，這就構成了仿射變換模型。

線性回歸分析是研究剛性變量間相關關系的一種數(shù)學方法，是通過試驗和觀測來尋找那些隱藏在變量之間相關關系的一種數(shù)學方法［3］。

通過線性回歸方法，可以計算出仿射變換中a11、a12、a21、a22、b1、b2等各項參數(shù)，設共匹配了 N 組角點對，其中:(xi，yi)為待恢復像素點坐標，(x0i，y0i)為(xi，yi)在上一場圖像中對應點坐標，可得如下公式［4］:

利用以上公式完全確立了仿射變換模型，明確了兩場圖像各像素間的動態(tài)對應關系，將本場待恢復點的坐標(x，y)代入仿射變換方程:

得對應的上一場圖像的坐標為:

這樣就可以根據(jù)兩場圖像間的對應關系，用上一場已經(jīng)恢復過的像素點替換本場待恢復的像素點，最終實現(xiàn)對導彈光標遮擋區(qū)域的完全恢復。由于已經(jīng)引入了平移旋轉因子，填充部分與原圖像之間的融合度較好，外形輪廓也更加接近。在算法的最后往往會對圖像進行平滑濾波，以便消除圖像間的拼接邊緣。

2 實驗結果

下面的對比分析展示了導彈光標在背景中未遮擋目標、導彈光標大面積遮擋目標等情況下硬件仿真的處理效果，來驗證本算法的有效性與可行性。

1)針對靶板目標，導彈光標大面積遮擋目標

圖4 未處理導彈光標的圖像

圖5 處理導彈光標后的圖像

以上為導彈光標遮擋靶板目標的處理結果對比，對于真實戰(zhàn)場環(huán)境中的目標本算法也有較好的處理結果。

2)針對實際坦克目標，導彈光標大量遮擋目標

圖6 未處理導彈光標的圖像

圖7 處理導彈光標后的圖像

經(jīng)過在核心處理器為DM642的硬件平臺上仿真測試，算法所需時間為12.9 ms，平臺的可視圖像周期為40 ms，本算法運算速度可以滿足系統(tǒng)實時性的要求。

3 結語

從以上所述可以看出:無論針對靶板目標還是實際目標，本算法都能準確實施定位和處理，對于導彈光標遮擋的區(qū)域，能比較準確完備地恢復目標的真實特征。與沒有進行處理的情況相比，應用本算法對動態(tài)目標圖像進行重建，處理后基本消除了導彈光標的影響，明顯減少了目標圖像的失真程度，更有利于目標的識別跟蹤，提高了對動態(tài)目標的跟蹤能力。

［1］仇芝.三維重建的匹配技術［D］.南京:南京理工大學，2005.

［2］李忠新.像鑲嵌理論及若干算法研究［D］.南京:南京理工大學，2004.

［3］王超.基于仿射變換的成像跟蹤器的開發(fā)與研究［D］.武漢:華中科技大學，2005.

［4］閆朝升.數(shù)據(jù)流聯(lián)機分析處理技術的研究［D］.哈爾濱:黑龍江大學，2004.

［5］程關兵.回歸分析在航空發(fā)動機裝配間隙對其性能影響研究上的應用［D］.天津:中國民用航空學院，2004.