一種抗運(yùn)動(dòng)模糊的微掃超分算法

楊 凱，范玉影

（中國航空工業(yè)集團(tuán)公司洛陽電光設(shè)備研究所，洛陽 471099）

0 引言

受限于材料和工藝水平，高分辨紅外探測器制造難度大、成本極高。基于低分辨率紅外探測器，采用先進(jìn)的微掃光機(jī)設(shè)計(jì)和圖像處理算法實(shí)現(xiàn)超分，是獲得高分辨率紅外圖像的有效方法。基于微掃的紅外探測系統(tǒng)可廣泛應(yīng)用于對(duì)空告警、環(huán)境感知、目標(biāo)探測等應(yīng)用領(lǐng)域。

美國戴頓大學(xué)和Wright實(shí)驗(yàn)室在美國空軍支持下，利用20幅低分辨率紅外圖像，取得了提高近5倍的實(shí)驗(yàn)結(jié)果[1]。英國BAE SYSTEMS公司研發(fā)的2×2微掃描系統(tǒng)，使成像像素?cái)U(kuò)大了4倍。德國AEG和STANTRLAS共同研發(fā)的電機(jī)驅(qū)動(dòng)微掃描成像系統(tǒng)，像素由384×288提高到了768×576[2]。浙江大學(xué)計(jì)算機(jī)軟件研究所的首山雄、陳進(jìn)勇將微掃描用于CMOS圖像傳感器[3]。北京理工大學(xué)金偉其等利用電機(jī)驅(qū)動(dòng)平板玻璃旋轉(zhuǎn)方式實(shí)現(xiàn)微掃描成像[4]。吳新社等利用伺服電機(jī)驅(qū)動(dòng)平板透鏡方式實(shí)現(xiàn)微掃描成像，完成了微掃描成像演示實(shí)驗(yàn)，得到分辨率明顯提高的序列圖像[5]。

傳統(tǒng)的超分辨率重構(gòu)算法研究成果很多，然而針對(duì)視頻序列中存在局部運(yùn)動(dòng)的目標(biāo)，傳統(tǒng)超分辨率重構(gòu)過程中會(huì)出現(xiàn)偽影效應(yīng)的問題，在運(yùn)動(dòng)區(qū)域周邊的圖像由于運(yùn)動(dòng)而導(dǎo)致分辨率嚴(yán)重下降[6～8]。為解決該問題，本文開展了微掃超分算法的研究，并在搭建的原理樣機(jī)上進(jìn)行了相關(guān)實(shí)驗(yàn)。

1 微掃超分原理

紅外成像儀在圖像采集過程中，由于相機(jī)本身分辨率的限制以及噪聲的存在，使得捕獲得到的圖像分辨率較低，且噪聲較大，圖像不清晰，因此需要一種方法來提高圖像分辨率。利用微掃裝置帶動(dòng)光學(xué)系統(tǒng)中某片透鏡組在X、Y方向進(jìn)行微位移平移，從而使得最終在焦平面上的光學(xué)圖像產(chǎn)生1/N（N為整數(shù)）像素的平移，得到N×N幀圖像，利用圖像處理平臺(tái)將多幀圖像融合重構(gòu)，最終獲得一幀高分辨率的圖像。

2 抗運(yùn)動(dòng)模糊的微掃超分算法

2.1 算法概述

紅外機(jī)芯輸出的是經(jīng)過非均勻校正的640×512、14bit制冷型中波紅外圖像數(shù)據(jù)，經(jīng)過超分重構(gòu)處理后輸出1280×1024、10bit圖像，整個(gè)處理流程如圖2所示。

圖2 抗運(yùn)動(dòng)模糊的紅外圖像超分辨率重構(gòu)算法流程

1）紅外圖像預(yù)處理：紅外光機(jī)通過微掃器微掃輸出非均勻校正后的640×512、14bit位寬中波紅外圖像，經(jīng)濾波去噪和灰階壓縮后獲得10bit圖像數(shù)據(jù)；

2）超分重構(gòu)處理：經(jīng)過預(yù)處理后連續(xù)4幀平移0.5像素的中波紅外圖像，經(jīng)空域迭代超分重構(gòu)后獲得1280×1024、10bit位寬圖像；

3）紅外圖像的單幀放大與運(yùn)動(dòng)區(qū)域提?。簩?duì)第3幀紅外圖像進(jìn)行單幀放大處理，獲得1280×1024、10bit位寬圖像；采用幀差法（第4幀與第0幀）提取圖像上的運(yùn)動(dòng)區(qū)域；

4）將2）與3）中獲得的圖像進(jìn)行融合，運(yùn)動(dòng)區(qū)域外的部分為全局超分圖像，運(yùn)動(dòng)區(qū)域?yàn)閱螏糯髨D像，兩部分的邊界進(jìn)行漸變處理；若3）未檢測出運(yùn)動(dòng)區(qū)域，則直接輸出超分辨率圖像作為最終結(jié)果；

5）將4）中獲得的圖像進(jìn)行濾波和增強(qiáng)處理，最終獲得1280×1024、8bit抗運(yùn)動(dòng)模糊超分紅外圖像。

由于上述流程中其余算法均為常規(guī)方法，本文只針對(duì)特有的空域迭代超分辨算法和運(yùn)動(dòng)區(qū)域處理部分展開論述。

2.2 運(yùn)動(dòng)區(qū)域處理

采用幀差法進(jìn)行運(yùn)動(dòng)區(qū)域提取，兩幀圖像逐點(diǎn)相減，背景部分由于沒有相對(duì)運(yùn)動(dòng)相減后灰度近似為0，而運(yùn)動(dòng)區(qū)域相減會(huì)獲得較大的灰度數(shù)據(jù)；將幀差圖像采用OTSU進(jìn)行閾值分割將目標(biāo)區(qū)域與背景區(qū)域進(jìn)行分割，對(duì)分割后的二值圖像通過腐蝕處理去除圖像上的噪點(diǎn)等小區(qū)域，再進(jìn)行膨脹處理擴(kuò)充目標(biāo)區(qū)域邊界；最后進(jìn)行連通域分析獲取圖像上目標(biāo)區(qū)域的特征，以此特征進(jìn)行目標(biāo)區(qū)域的篩選合并，最終獲得圖像上的運(yùn)動(dòng)區(qū)域。

1）幀差

由于微掃器的影響，連續(xù)的第1、2、3、4幀之間存在0.5像素的偏移，不利于幀差檢出運(yùn)動(dòng)區(qū)域，故采用第4幀和第0幀（上一組4幀圖像的第4幀）進(jìn)行幀差。

2）累計(jì)直方圖

累計(jì)直方圖是為后續(xù)最大類間方差估計(jì)做準(zhǔn)備，分為兩步。第一步是統(tǒng)計(jì)整幅圖像中各個(gè)灰階出現(xiàn)的次數(shù)，即直方圖統(tǒng)計(jì)h（i），i=0，…2N-1，其中N為數(shù)據(jù)位寬。第二步計(jì)算小于等于某個(gè)灰階像素總數(shù)H（i），其中：

3）OSTU

對(duì)幀差圖像中目標(biāo)和背景區(qū)域的分割采用最大類間方差法（OSTU），對(duì)圖像I（x，y），前景和背景的分割閾值記作T，前景像素占整幅圖像的比例記為ω0，其平均灰度μ0；背景像素占整幅圖像的比例為ω1，其平均灰度μ1。

從L個(gè)灰度級(jí)遍歷，即當(dāng)灰度值取T，前景和背景的方差σ最大，其表達(dá)式如下所示，則T為最佳閾值。

遍歷所有的灰階，即I=0，…，1023，獲得這一組σ，其中當(dāng)σ取最大值即Max（σ）時(shí)灰度值為I=T，即T為所求的閾值。

4）二值化處理

采用OTSU獲得的閾值T，遍歷全圖每個(gè)像素，采用式(3)進(jìn)行處理。

其中i=0，…319，j=0，…255。

5）腐蝕膨脹處理

在膨脹腐蝕運(yùn)算均采用方形的結(jié)構(gòu)元素，假定結(jié)構(gòu)元素的大小為；為了加快膨脹腐蝕的運(yùn)算可將大小的結(jié)構(gòu)元素分解成水平()與豎直()兩個(gè)一維的結(jié)構(gòu)元素，首先用水平結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)處理，將水平結(jié)構(gòu)元素的處理結(jié)果作為輸入再用豎直結(jié)構(gòu)元素進(jìn)行處理，最終得到形態(tài)學(xué)處理結(jié)果。

圖3 結(jié)構(gòu)元素分解

二值圖像上為1的區(qū)域可以視為線段，圖像上像素為1的點(diǎn)可以分類為：線段起點(diǎn)、線段組成點(diǎn)和線段終點(diǎn)，從線段起點(diǎn)開始到線段終點(diǎn)為止為一個(gè)處理單元，已知線段起點(diǎn)的坐標(biāo)為，線段終點(diǎn)坐標(biāo)為。

圖4 像素點(diǎn)類型示意圖

以水平結(jié)構(gòu)元素為例：

對(duì)于膨脹操作而言，當(dāng)確定線段的起點(diǎn)與終點(diǎn)只需要將i1-r≤i≤i1，i2≤i≤i2+r（i1-r≥0，i2+r≤n，n為圖像的列數(shù)）范圍內(nèi)的像素置為1，即完成了圖像的膨脹。

豎直結(jié)構(gòu)元素的腐蝕膨脹與水平一致。通過該方式，只需要對(duì)圖像元素進(jìn)行一次遍歷即可獲得水平/豎直的腐蝕膨脹結(jié)果，加快了計(jì)算速度。

6）連通域處理

原始紅外圖像在進(jìn)行二值化、腐蝕等處理的過程中由于噪聲干擾，原本為一體的運(yùn)動(dòng)目標(biāo)可能會(huì)被分割為多個(gè)小的運(yùn)動(dòng)單元，該算法通過計(jì)算兩個(gè)區(qū)域的形心距離，選擇合適的距離閾值，若形心距離大于距離閾值，則認(rèn)為是兩個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)，若形心距離小于距離閾值，則認(rèn)為是同一個(gè)運(yùn)動(dòng)目標(biāo)，將進(jìn)行兩個(gè)區(qū)域的合并。對(duì)有效區(qū)域合理的合并，可提高運(yùn)動(dòng)目標(biāo)檢測的準(zhǔn)確性，降低后續(xù)數(shù)據(jù)處理的難度。

此外噪聲干擾也會(huì)導(dǎo)致出現(xiàn)一些小區(qū)域的誤檢出，因此除了區(qū)域合并以外，本部分也會(huì)通過對(duì)連通區(qū)域長、寬和面積的分析，剔除部分不滿足條件的區(qū)域，降低誤檢率。

將連通域分析后獲得的區(qū)域特征數(shù)組M[N]，判斷每個(gè)連通域是否滿足如下判據(jù)中的任意一項(xiàng)，若滿足則認(rèn)為該區(qū)域?yàn)闊o效區(qū)域，將其剔除。

剔除后獲得新的區(qū)域特征數(shù)組M'[N']，以數(shù)組中的第i個(gè)元素M'[i]（i=0，…，N'-2）為基準(zhǔn)，依次與M'[j]（j=i+1，…，N'-1）進(jìn)行比較，求取兩個(gè)連通域之間的形心。

2.3 靜態(tài)區(qū)域的超分重構(gòu)

靜態(tài)區(qū)域的超分重構(gòu)采用空域迭代超分辨率重構(gòu)方法，采用2×2微掃描工作模式時(shí)，如圖1所示。假設(shè)重構(gòu)后圖像為p（i，j）（1≤i≤2h，1≤j≤2w），根據(jù)微掃描技術(shù)所得到的四幅低分辨率圖像分別為：f（i，j），g（i，j），h（i，j），k（i，j）（1≤i≤h，1≤j≤w）。

圖1 基于微掃的圖像超分辨率成像原理

初始邊界值估計(jì)以及條件約束如式(6)所示。

為了消除初始邊界值估計(jì)時(shí)引入誤差的累積與傳遞導(dǎo)致的圖像顆粒噪聲，計(jì)算時(shí)會(huì)引入一定的低分辨率圖像。改進(jìn)后重構(gòu)圖像的灰度表達(dá)式如式(7)所示，其中α=0.3。

2.4 運(yùn)動(dòng)區(qū)域圖像與靜態(tài)超分圖像融合

采用4bit寬度數(shù)據(jù)描述靜態(tài)超分圖像和運(yùn)動(dòng)單幀放大圖像的融合權(quán)值以運(yùn)動(dòng)區(qū)域邊框?yàn)榻缇€，隨著向運(yùn)動(dòng)區(qū)域內(nèi)部延伸，增大運(yùn)動(dòng)區(qū)域權(quán)值，同時(shí)減小靜態(tài)區(qū)域權(quán)值；而向靜態(tài)區(qū)域延伸時(shí)，增大靜態(tài)區(qū)域權(quán)值而同時(shí)減小運(yùn)動(dòng)區(qū)域權(quán)值，從而使得運(yùn)動(dòng)區(qū)域和靜態(tài)區(qū)域平滑過渡。

通過對(duì)運(yùn)動(dòng)區(qū)域和靜態(tài)區(qū)域兩部分的圖像加權(quán)融合即可獲得最終抗運(yùn)動(dòng)模糊的高分辨率圖像。

3 實(shí)驗(yàn)裝置及結(jié)果

為驗(yàn)證算法的抗運(yùn)動(dòng)模糊和分辨率提升的有效性，本文搭建了基于制冷性中波紅外探測器的微掃超分系統(tǒng)，探測器分辨率640×512，像元尺寸15um。在壓電陶瓷微掃器的驅(qū)動(dòng)下，探測器靶面上的圖像以2×2的方式進(jìn)行掃描，相鄰兩幀圖像間的偏移量為7.5um。采用基于FPGA+DSP的嵌入式實(shí)時(shí)處理平臺(tái)進(jìn)行抗運(yùn)動(dòng)模糊的超分圖像融合。實(shí)驗(yàn)裝置如圖5所示，實(shí)際成像效果如圖6所示。

圖5 集成微掃器的紅外光機(jī)（上）與圖像處理平臺(tái)（下）

圖6 紅外微掃超分系統(tǒng)實(shí)際成像效果圖

3.1 抗運(yùn)動(dòng)模糊測試

如圖7所示，當(dāng)未加運(yùn)動(dòng)去模糊功能時(shí)，運(yùn)動(dòng)水杯邊緣有鋸齒和模糊現(xiàn)象；當(dāng)加入運(yùn)動(dòng)去模糊功能時(shí)，運(yùn)動(dòng)水杯邊緣平滑，無明顯鋸齒和模糊。

圖7 抗運(yùn)動(dòng)模糊測試

3.2 超分能力測試

將微掃超分系統(tǒng)的紅外鏡頭對(duì)準(zhǔn)MRTD測試靶標(biāo)，使得靶標(biāo)盤中的1周靶與1.4周靶在成像的視場中心，靶標(biāo)的溫差從零逐漸增大，直到觀察者能以50%概率分辨出四條帶圖案。根據(jù)系統(tǒng)設(shè)計(jì)參數(shù)，1周靶對(duì)應(yīng)整個(gè)系統(tǒng)無超分時(shí)的理論分辨率。實(shí)驗(yàn)結(jié)果如圖8和9所示。

圖8 1.4周靶標(biāo)觀測圖（正片溫差0.1度可分辨）

圖9 1.4周靶靶標(biāo)觀測圖（負(fù)片溫差0.25度可分辨）

4 結(jié)語

為解決現(xiàn)有紅外微掃超分系統(tǒng)的運(yùn)動(dòng)偽影和模糊問題，本文提出了一種抗運(yùn)動(dòng)模糊的微掃超分重構(gòu)算法。通過運(yùn)動(dòng)區(qū)域單幀放大圖像和全局靜態(tài)場景的超分圖像融合來獲得無運(yùn)動(dòng)模糊的高分辨率圖像。實(shí)驗(yàn)證明，該算法可有效解決運(yùn)動(dòng)模糊問題并且提升系統(tǒng)空間能力達(dá)40%。該算法可廣泛應(yīng)用于對(duì)空告警、環(huán)境感知等應(yīng)用領(lǐng)域。