一種基于寬度學(xué)習(xí)的高精度光譜重建方法

楊艷紅，萬曉霞，薛智爽，劉段，邢海峰

（1.武漢大學(xué) 圖像傳播與印刷包裝研究中心，武漢 430072；2.湖北廣彩印刷有限公司，湖北廣水 432721）

數(shù)碼相機可以非常容易地獲取被攝物體圖像的RGB 響應(yīng)值，但是獲得的顏色與設(shè)備和光照條件相關(guān)，為了使顏色能夠在不同的媒介間保真?zhèn)鬟f，需要使用更為精確的顏色表征方法。光譜反射率是決定物體顏色的本質(zhì)屬性，是一種更為準(zhǔn)確的表征方法，獲取到物體的光譜反射率，即可準(zhǔn)確還原物體在不同光照和不同觀察者條件下的真實顏色[1]。近年來，直接從數(shù)碼相機響應(yīng)值進行光譜重建的方法受到越來越多研究者的關(guān)注，它具有低成本、快響應(yīng)、高分辨率等特點，而且可以有效避免光學(xué)帶通濾波器多光譜系統(tǒng)中存在圖像幾何失真等的固有問題[2]，在遙感、電影電視、出版印刷、文物修復(fù)和藝術(shù)品研究、在線商品展示等多個領(lǐng)域都有廣泛應(yīng)用。

光譜重建算法是多光譜成像技術(shù)的核心。目前，基于訓(xùn)練樣本的光譜重建方法已經(jīng)成為基于數(shù)碼相機光譜重建研究的主流方法，傳統(tǒng)方法包括偽逆法、主成分分析法、核算法、回歸法、R 矩陣法等[3]。Shen等[4]針對傳統(tǒng)最小二乘法過擬合的問題，提出采用偏最小二乘法求解光譜估計矩陣的全局光譜重建算法，重建精度優(yōu)于維納估計和普通的多項式回歸，但仍有很大的提高空間。Amiri 等[5]對全局加權(quán)形式的非線性回歸方法進行了研究，雖然加權(quán)非線性回歸方法光譜重建精度優(yōu)于其他方法[6]，但是色度誤差較大，需要解決，經(jīng)測試得出不同加權(quán)形式對光譜重建的光譜精度和色度精度的影響不同，但整體精度還有待提高。隨著計算機視覺技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的光譜重建技術(shù)逐漸得到關(guān)注和研究，在圖像分類、目標(biāo)識別和圖像超分辨率等領(lǐng)域有重要應(yīng)用。在NTIRE 2018 和NTIRE 2020 光譜重建挑戰(zhàn)賽中，排名領(lǐng)先的從RGB 三通道圖像進行光譜重建的方法都采用了基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型法來進行光譜重建[7-8]。此類方法對數(shù)據(jù)集提出了更大的需求，當(dāng)數(shù)據(jù)規(guī)模龐大時，深度學(xué)習(xí)模型權(quán)重調(diào)整耗時，容易陷入局部最優(yōu)解；而傳統(tǒng)簡單的神經(jīng)網(wǎng)絡(luò)在小數(shù)據(jù)集上應(yīng)用時容易“過擬合”，使用小樣本的此類方法的應(yīng)用穩(wěn)健性較差。

寬度學(xué)習(xí)系統(tǒng)（broad learning system，BLS）是在深度學(xué)習(xí)的快速發(fā)展和應(yīng)用中應(yīng)運而生的，相對于深度學(xué)習(xí)的多層復(fù)雜耦合結(jié)構(gòu)，寬度學(xué)習(xí)通過特征映射和增強映射的方式在寬度上構(gòu)造網(wǎng)絡(luò)，結(jié)構(gòu)更為精簡，訓(xùn)練速度更快，且具有很好的特征提取和逼近能力，準(zhǔn)確率高，適用于數(shù)據(jù)特征不多但對預(yù)測實時性要求較高的系統(tǒng)[9]?；诖?，文中提出一種基于寬度學(xué)習(xí)的光譜重建算法，并采用十次十折交叉驗證的實驗方法，將文中所提算法（New）與Shen 的偏最小二乘算法（SHEN）以及Amiri 和Fairchild 的全局加權(quán)非線性回歸算法（A-F）進行對比。為評估新方法的性能，分別計算光譜均方根誤差和光譜擬合優(yōu)度誤差作為光譜精度評價指標(biāo)，計算CIE DE1976 和CIE DE2000 作為色度精度評價指標(biāo)。

1 原理

1.1 光譜重建基本原理

假設(shè)數(shù)碼相機的光電轉(zhuǎn)換函數(shù)為理想線性化模型，則其成像過程的數(shù)學(xué)模型可表示為式（1）[10]。

式中：d為一個像素點的K×1 維響應(yīng)值向量；K為成像系統(tǒng)的通道數(shù)，對于三色數(shù)碼相機來說，K=3；r為一個像素點的N×1 維光譜向量；M為包含了l(λ)、t(λ)、f i(λ)和s(λ)在內(nèi)的K×N維系統(tǒng)整體靈敏度函數(shù)矩陣。光譜重建算法實質(zhì)就是實現(xiàn)上述成像模型的反向求解，具體如式（3）所示，即實現(xiàn)由多通道響應(yīng)信號d到對應(yīng)光譜信息r的計算，確保對于給定的任意三維通道響應(yīng)值d，均能重建得到其對應(yīng)光譜數(shù)據(jù)r，其中f( )代表光譜重建所采用的具體方法。

1.2 基于寬度學(xué)習(xí)的光譜重建算法

基于BLS 的光譜重建方法的整體設(shè)計思路為：首先，將數(shù)碼相機獲得的三維響應(yīng)值進行多項式拓展，為了提升重建的精度，大多方法通常會采用多項式拓展項數(shù)的方法，這種方法已在很多研究中被證實是有效的[11]。然后，將拓展后的設(shè)備響應(yīng)值作為輸入數(shù)據(jù)，通過一些特征映射和稀疏表示轉(zhuǎn)化為隨機特征，作為網(wǎng)絡(luò)的特征節(jié)點，這些特征節(jié)點通過非線性激活函數(shù)進一步連接，形成增強節(jié)點。最后，所有映射的特征和增強節(jié)點直接連接到輸出端，即訓(xùn)練樣本的光譜矩陣，其中該輸出層的權(quán)重將通過系統(tǒng)方程的快速偽逆或迭代梯度下降訓(xùn)練算法來確定[12]，訓(xùn)練過程見圖1。測試過程只需按步驟直接應(yīng)用訓(xùn)練好的權(quán)重矩陣即可通過設(shè)備響應(yīng)值預(yù)測出其真實的光譜反射率，下面是基于BLS 的光譜重建方法的詳細(xì)描述，網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 基于寬度學(xué)習(xí)的光譜重建網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Framework of spectral reconstruction network based on BLS

式中：Wm為連接特征節(jié)點和增強節(jié)點層與輸出層的權(quán)重。這里使用嶺回歸近似可以計算得出：

由此得到整個網(wǎng)絡(luò)的權(quán)重Wm。

最后測試樣本的響應(yīng)值作為輸入，通過訓(xùn)練好的權(quán)重生成相應(yīng)節(jié)點即可估計出重建的光譜反射率，公式為：

2 實驗與分析

本研究采用廣泛應(yīng)用于彩色成像設(shè)備顏色特性化的多項式模型作為相機響應(yīng)值拓展的參考模型，d經(jīng)多項式模型擴展為dex，樣本集輸入為N個拓展響應(yīng)值的集合，矩陣表示為：

生成特征節(jié)點。對拓展后的響應(yīng)值進行特征映射，對于n個特征映射，每個映射生成k個節(jié)點，用方程形式可以表示為：

式中：Zi為特征節(jié)點，且Zi∈RN×k；Wei和βei分別是隨機產(chǎn)生的權(quán)重系數(shù)矩陣和偏置向量；Z(n)為n個Zi串聯(lián)成的矩陣。為了獲得輸入數(shù)據(jù)的稀疏表示，減少新生成特征節(jié)點的線性相關(guān)程度，使得新生成的節(jié)點不至于過于“浪費”，可通過線性反向最優(yōu)化求解對隨機初始化的權(quán)重矩陣Wei進行微調(diào)[13]，公式為：

2.1 實驗設(shè)置

模擬實驗采用孟塞爾亞光彩色譜（Munsell matt colors，MMC）數(shù)據(jù)集和Agfa IT8.7/2 （IT8.2）數(shù)據(jù)集[14]。 MMC 數(shù) 據(jù) 集 是 由 Jouni Hiltunen 用Perkin-Elmer lambda 9 UV/VIS/NIR 分光光度計從孟塞爾彩色亞光圖集的1 269 塊色塊上測量的，測量了380～800 nm 的光譜數(shù)據(jù)，采樣間隔為1 nm。IT8.2數(shù)據(jù)集是根據(jù)IT8.7 標(biāo)準(zhǔn)設(shè)計的，由Elzbieta Marszalec 用Minolta 分光光度計CM-2002 測得，測量了289 個色塊400～700 nm 的光譜數(shù)據(jù)，以10 nm 為間隔。實驗中為了統(tǒng)一取樣范圍和間隔，在MMC 中同樣取出400～700 nm 范圍，采樣間隔為10 nm 的數(shù)據(jù)。CIE L*a*b*色度圖中2 個光譜數(shù)據(jù)集的色度坐標(biāo)見圖2，由CIE 1931 標(biāo)準(zhǔn)觀察者和CIE D65 標(biāo)準(zhǔn)照明體計算得出。

圖2 數(shù)據(jù)集的色度坐標(biāo)分布Fig.2 Chromaticity coordinates distributions of datasets

基于式（2）中的成像模型，忽略真實相機系統(tǒng)的非線性因素，對數(shù)據(jù)集的相機響應(yīng)進行了模擬。模擬成像裝置采用Nikon D7200 相機傳感器的光譜靈敏度函數(shù)，光源采用CIE 標(biāo)準(zhǔn)光源D65，相機光譜靈敏度函數(shù)和光源的光譜分布如圖3。彩色數(shù)碼相機的響應(yīng)值通常是三維的，表示為[r g b]，在實驗過程中，我們發(fā)現(xiàn)僅僅是三維重建，寬度學(xué)習(xí)系統(tǒng)重建的效果并不理想，而將響應(yīng)值拓展為二階項數(shù)之后，重建效果則明顯加強，重建為三階則幾乎不再提升，故本研究選擇二階多項式模型[1 r g b rg rb gb r2 g2 b2]來處理輸入數(shù)據(jù)。由于寬度學(xué)習(xí)系統(tǒng)的訓(xùn)練過程中需要尋找隨機系數(shù)矩陣，可能會導(dǎo)致測試結(jié)果的微小差異，為了更可靠、更公平地測試模型，使用了十次十折交叉驗證的實驗方法來評估所提出的方法。將MMC 樣本集和IT8.2 樣本集分別隨機劃分為大約10 個大小相等的子集，在這10 個子集中，一個子集被保留為測試模型的驗證數(shù)據(jù)，其余9 個子集被用作每個折疊測試的訓(xùn)練數(shù)據(jù)，相當(dāng)于每個樣本隨機劃分循環(huán)驗證了100 次，計算100 次測試指標(biāo)的平均數(shù)參與最終的對比評價[15]。

圖3 整體系統(tǒng)光譜靈敏度函數(shù)Fig.3 Spectral sensitivity functions of the whole system

2.2 結(jié)果與分析

表1 2 種樣本在不同算法下的光譜重建精度比較Tab.1 Comparison of spectral reconstruction precision between 2 different samples under different algorithms

圖4 MMC 中部分測試樣本3 種方法光譜重建擬合曲線Fig.4 Spectral reconstruction fitting curves of some test samples in MMC by 3 methods

3 結(jié)語

文中針對數(shù)碼相機的多光譜成像技術(shù)，將寬度學(xué)習(xí)系統(tǒng)應(yīng)用于光譜重建，在重建的過程中采取了多項式拓展的方式以適應(yīng)于寬度學(xué)習(xí)系統(tǒng)，提出一種新的全局訓(xùn)練的光譜重建方法。該方法網(wǎng)絡(luò)結(jié)構(gòu)簡單，訓(xùn)練速度快，準(zhǔn)確率高，重建結(jié)果在光譜精度和色度精度上都取得了較好的效果。與2 種現(xiàn)有的基于全局訓(xùn)練的方法相比，文中方法的重建效果無論是在光譜誤差還是色度誤差方面都表現(xiàn)更佳，說明寬度學(xué)習(xí)系統(tǒng)在相對較少的訓(xùn)練樣本的學(xué)習(xí)下，可以很好地適用于光譜反射率重建，在數(shù)碼相機的光譜成像領(lǐng)域有很好的應(yīng)用前景。