基于光源估計的多攝系統(tǒng)白平衡一致性轉換方法

黃浩，廖寧放，趙長明，李玉梅

（北京理工大學 光電學院 顏色科學與工程國家專業(yè)實驗室, 北京 100081）

彩色數(shù)字相機通過對光信號進行處理，最終成像，為了獲得準確的色彩，白平衡和顏色校正起著重要作用. 多攝成像系統(tǒng)以其特有優(yōu)勢被廣泛應用[1-3]，但不同攝像頭使用的相機模組光學特性多有不同，對不同攝像頭的成像顏色一致性提出挑戰(zhàn).

白平衡作為相機成像中的關鍵性技術，國內(nèi)外進行了大量研究，在早期的白平衡算法中，以灰度世界法[4]和完美反射法[5]為主；為了減少色塊對圖像增益的影響，又提出了標準加權法[6]和利用邊緣檢測模型的邊緣白點白平衡方法[7]；為了較為準確地估計光源的色度信息，又提出了光源色差估計法[8]，對圖像的色彩偏差有較好的校正效果. 目前隨著圖像信號處理（image signal processing，ISP）技術和人工智能的發(fā)展，新型的白平衡算法不斷出現(xiàn)，包括光源色溫估計法[9]、神經(jīng)網(wǎng)絡白平衡算法[10]、光源復合白平衡算法[11]、多幀比較法[12]和儀器輔助法[13]等.

現(xiàn)有的多攝成像系統(tǒng)多使用多個不同光學特性的相機模組，但使用相同的白平衡算法，當固定機位拍攝同一場景時，由于不同相機模組視場角等的差異，導致用于白平衡算法校正的統(tǒng)計點有較大差異，例如視場角的差異會導致像面成像內(nèi)容不同，一些極端景物的統(tǒng)計點會導致其中某個相機模組的白平衡出現(xiàn)誤判，導致算法估計的光源不同，不同相機的圖像顏色出現(xiàn)差異. 為了保證多攝成像系統(tǒng)的白平衡一致性，在拍攝同一場景，切換相機后，白平衡不出現(xiàn)明顯的跳變，需要找到不同相機模組之間的白平衡結果轉換關系，將多攝系統(tǒng)主攝像頭的白平衡計算結果提供給其他幾顆攝像頭.

為解決上述問題，本文提出了基于光源估計的白平衡一致性轉換方法，使用決策點轉換方法、查找表方法、分類決策點轉換多種方法進行白平衡決策點轉換. 為比較不同算法的轉換精度，提出了色度比例差異、白點色差和全色塊色差三個指標，并在多種驗證光源下對轉換算法進行分析和討論.

1 基本原理

以手機三攝像頭成像系統(tǒng)為例，如圖1 所示，原始相機模組為主攝廣角相機，參考相機模組為長焦和超廣角相機，在影像系統(tǒng)工作過程中，僅主攝廣角相機運行白平衡算法，長焦和超廣角不運行白平衡算法，通過轉換關系，將主攝廣角白平衡算法計算得到的白平衡決策點轉換給長焦和超廣角相機，節(jié)省運行功耗的同時，可最大程度保證多攝成像系統(tǒng)的顏色一致性.

圖1 手機三攝像頭成像系統(tǒng)成像示意圖Fig. 1 The imaging diagram of mobile phone triple camera imaging system

將光譜特性已知的環(huán)境光加入到式（4）中參與計算，可得到基于光源估計的多攝系統(tǒng)白平衡一致性轉換方法，為了盡可能減少算法實際工程化應用過程中調(diào)試人員的工作量，轉換方法使用32 種標準黑體光源和12 種CIE 標準光源參與計算. 黑體發(fā)光的顏色與它的溫度有密切關系，根據(jù)普朗克公式可以計算出對應于某一溫度的光譜功率分布，如下式所示

按麥勒德（ μrd）等間距，將32 種不同色溫下黑體光譜功率分布模擬的光源作為已知光源納入計算，色溫分別為1 515，1 563，1 613，1 667，1 724，1 786，1 852，1 923，2000，2 083，2 174，2 273，2 381，2 500，2 632，2 778，2 941，3 125，3 333，3 571，3 846，4 167，4 545，5 000，5 556，6 250，7 143，8 333，10 000，12 500，16 667，25 000 K，為了兼顧常用的商業(yè)、辦公和家居場景，加入12 種CIE 典型熒光燈光源，即CIE 標準F1～F12 光源，根據(jù)色度學公式計算各個色溫下光源的三刺激值以及色品坐標，在CIE 1931 色度圖上繪制出44 種光源的色品坐標如圖2 所示.

圖2 1931-xy 色度空間上的光源特性Fig. 2 Light source in CIE 1931-xy chromaticity space

決策點轉換算法(M32)使用32 種黑體模擬光源，可分別仿真計算得原始相機和參考相機在32 種光源下，拍攝色卡時，色卡第20 個色塊的 [R/G,B/G]通道比值，以此作為該相機在該環(huán)境光下的理論白平衡決策點，并將色溫按照25 000 K 為最大值進行歸

分類決策點轉換算法(C LF)考慮到不同光源類型的發(fā)光機理不同，對32 種模擬光源和12 種CIE 熒光燈光源，參照式（8）分別計算轉換關系，得到兩個轉換矩陣，由于熒光燈特殊的發(fā)光機理會出現(xiàn)不同于連續(xù)光譜的光譜類型，實際使用過程中，可通過額外的光譜傳感器或者其他類型硬件傳感器，對拍攝場景的實際光源進行區(qū)分，例如現(xiàn)在手機影像系統(tǒng)多配有光譜傳感器，可對拍攝光的光譜特性進行檢測. 當環(huán)境光是連續(xù)光譜或LED 光源時，使用32 種模擬光源計算得到的轉換矩陣進行白平衡決策點轉換，當環(huán)境光是熒光燈光源類型時，則使用CIE 熒光燈光源計算得的轉換矩陣. 最終的轉換矩陣為根據(jù)光源類型，j可分為連續(xù)光譜或LED 光源和熒光燈光源兩類.

單位變換(I)將式（6）中的轉換矩陣變?yōu)閱挝痪仃嚕缦滤?，這表示將使用原始相機模組的白平衡決策點作為參考相機模組的決策點，進行白平衡校正，從而與其他轉換方法進行對比.

2 實驗與分析

2.1 實驗條件

實驗使用索尼IMX582、三星HMX、佳能5DM4三顆相機模組對算法進行驗證，使用Newport 單色儀對三個相機模組各通道的光譜靈敏度進行測量，測量結果如圖3 所示，由圖可知，三個相機模組除G通道外，R通道和B通道的光譜靈敏度均顯著不同，這會導致在拍攝同一場景時，其相機白平衡決策點[R/G,B/G]響應不同. 利用SpectralLight QC（SPL）燈箱中的7 種光源和Image Engineering（IE）燈箱中的D65光源計算三個相機模組的 [R/G,B/G]響應，如圖4 所示，同一光源下，佳能5DM4 的響應與其余兩顆模組相比，差異較大，這與圖3 中的光譜靈敏度差異結果一致，即佳能5DM4 的光譜靈敏度曲線較其他兩顆模組有明顯的不同. 由圖4 還可觀察得到，即使是色溫相近的情況下，相機之間的響應差異也會有明顯不同，例如 IE D65 和SPL D65 光源，即使色溫同樣在6 500 K 左右，但三個模組之間的響應仍有較大差異.實驗使用IMX582 作為原始相機模組，三星HMX 和佳能5DM4 作為參考相機模組，使用上節(jié)介紹的轉換方法，根據(jù)硬件特性，將原始相機模組的白平衡計算結果轉換給參考相機模組.

圖3 相機光譜靈敏度響應曲線Fig. 3 Spectral sensitivities of the cameras

圖4 3 個相機在8 種光源下在[R/G, B/G]色度空間的色度分布Fig. 4 Chromaticity distribution of three cameras in [R/G, B/G] color space under eight light sources

為充分驗證在實際應用中，轉換算法在各個光源下的穩(wěn)定性，驗證實驗使用的光源包括Spectral-Light QC 燈箱中的人造標準光源，CIE 標準光源，商場中的多種室內(nèi)光源，以及北京夏季在上午9 點，中午12 點，和下午4 點的戶外自然光，共21 種光源，與上述44 種光源（黑體模擬光源和CIE 標準光源）不同，驗證光源均為相機系統(tǒng)實際拍攝過程中的典型場景光源，如表1 所示，使用柯尼卡美能達CL-500A測量每個光源的光譜功率分布.

表1 實驗中使用的驗證光源Tab. 1 Verification light source used in experiment

2.2 評價方法

2.2.1 色度比例差異

2.2.2 CIEDE2000 白點色差

CIEDE2000(ΔE00)色差公式[16]是由CIE 推薦并被廣泛使用的色差公式. 將圖像數(shù)據(jù)轉換到sRGB 空間，再轉換到CIE L*a*b*空間，然后在CIEDE2000 顏色空間進行色差計算. 根據(jù)顏色特性化原理，利用色卡數(shù)據(jù)，使用最小二乘法可計算得到 3×3的顏色校正矩陣TRGB2sRGB， 從而將傳感器的RGB 數(shù)據(jù)SRGB經(jīng)過白平衡校正之后，轉換到sRGB 空間，得到SsRGB，再通過TsRGB2L*a*b*轉換到CIE L*a*b*空間[14]，如下式所示

將色卡的第20 個色塊定義為圖像白點，由上式可計算得到經(jīng)過轉換算法之后的參考模組第20 個色塊的SL*a*b*,c和 經(jīng)過實際仿真計算得到的SL*a*b*,ref，其計算過程如下

2.2.3 CIEDE2000 全色塊色差

與E2直接計算色差不同，E3.1和E3.2對各個驗證光源下每個色塊的色差大小進行分類統(tǒng)計，分類標準通過觀察者實驗得到，使用Imatest 圖像分析軟件對市場上高端手機實拍圖片進行CIEDE2000 色差計算，并組織10 名色覺正常的觀察者，進行觀察者實驗，根據(jù)色差大小的感知差異，將色差分為4 個等級，分別為無差異、低差異、中差異和高差異，如表2 所示，分類可以滿足移動設備影像的應用需求.

表2 根據(jù)色差大小劃分等級Tab. 2 The classification of color difference

2.3 實驗結果與討論

已知三個相機模組的光譜靈敏度，使用表1 中的21 種驗證光源，通過計算和仿真可以得到各個模組在每種光源下色卡中每個色塊的響應，使用上述評價標準對轉換方法進行分析和討論，結果如表3～表6 所示.

表3 三星HMX 相機模組的色度比例差異(E1)數(shù)據(jù)Tab. 3 The chromaticity ratio difference(E1) data of Samsung HMX

表4 佳能5DM4 相機模組的色度比例差異(E1)數(shù)據(jù)Tab. 4 The chromaticity ratio difference(E1) data of Canon 5DM4

表5 三星HMX 和佳能5DM4 相機模組的CIEDE2000 白點色差(E2)數(shù)據(jù)Tab. 5 The CIEDE2000 white point color difference (E2) data of Samsung HMX and Canon 5DM4

表6 三星HMX 和佳能5DM4 相機模組的CIEDE2000 全色塊色差(E3.1 和E3.2)數(shù)據(jù)Tab. 6 The CIEDE2000 full-color color difference (E3.1&E3.2) data of Samsung HMX and Canon 5DM4

索尼、三星和佳能相機模組具有較高的市場占有率，制造工藝不同，選用三個不同品牌的相機模組進行算法驗證，實驗結果可認為適用于較大范圍的商用相機模組. 結果表明，在所有轉換方法中，分類白點轉換方法(C LF)優(yōu)于其他幾種轉換方法，其次是查找表方法(L UT)方法，組織移動影像行業(yè)的專業(yè)測試人員和普通用戶進行主觀觀察評價，轉換結果可以滿足商用使用需求. 分類白點轉換方法(C LF)通過將連續(xù)光譜和不連續(xù)光譜的光源進行區(qū)分，可以提升整體的數(shù)據(jù)穩(wěn)定性，這說明光譜類型會很大程度影響到轉換精度，在移動影像設備算法實際使用過程中，可以進一步對光源類型進行統(tǒng)計分析，例如手機設備在成像過程中，當拍攝環(huán)境光的亮度很高時，此時多為戶外場景，場景的光源多為自然光，可以單獨建立自然光的轉換關系，以提升戶外的白平衡的轉換精度，解決大部分拍攝場景. 查找表方法(L UT)方法在不依賴外部傳感器進行光源分類，僅使用仿真光源進行算法計算的情況下，算法表現(xiàn)也較為穩(wěn)定，可以滿足使用需求，目前很多移動影像設備由于成本的限制，并不配有環(huán)境光傳感器，此類設備更適合使用查找表方法，上面的查找表方法在每種色溫下僅使用一種黑體模擬光源進行轉換矩陣的計算，如每種色溫根據(jù)使用場景增加光源數(shù)據(jù)，可進一步提升算法的轉換精度.

通過數(shù)據(jù)分析，發(fā)現(xiàn)經(jīng)過白平衡轉換方法轉換后，三 星HMX 在E1和E2中 的 最 大 值 以 及 在E3.1和E3.2中的色差分布要明顯優(yōu)于佳能5DM4，數(shù)據(jù)整體表現(xiàn)更好，從圖3 可以觀察到，與佳能5DM4 相比，三星HMX 各個通道的光譜響應更接近索尼IMX582，這說明參考模組的光譜響應與原始模組越接近，轉換精度越好. 移動影像成像模組的光譜靈敏度影響因素主要包括：光學鏡頭各波段光譜透過率曲線、紅外截止濾光片的各波段光譜透過率曲線、相機模組的R、G、B各顏色通道的各波段光譜透過率曲線和光電傳感器光電轉換效率曲線，實際多攝成像系統(tǒng)硬件選型和光學設計時，可以通過優(yōu)化光學鏡頭的鍍膜工藝、各模塊的光譜透過率、盡可能選用同一品牌的光電傳感器等措施來修正模組最終的光譜響應，從而減小多攝系統(tǒng)不同模組之間的光譜靈敏度差異，進而提高轉換算法的精度，提升白平衡的一致性.

3 結 論

針對多攝成像系統(tǒng)的白平衡一致性問題，提出基于光源估計的白平衡一致性轉換方法，基于相機的成像原理，使用決策點轉換方法、查找表方法、分類決策點轉換多種方法將原始相機的白平衡決策點轉換給參考相機. 使用索尼IMX582、三星HMX 和佳能5DM4 三顆相機模組進行的算法驗證，以索尼IMX582 為原始相機模組，其他兩顆為參考相機模組，完成三者的白平衡一致性轉換，并使用色度比例差異、白點色差和全色塊色差三個指標，在多種光源下對白平衡一致性進行評價. 結果表明本文提出的轉換方法可有效地提升多攝相機的白平衡一致性，分類決策點轉換方法可提供較好的轉換結果，當移動設備等多攝成像系統(tǒng)無環(huán)境光傳感器時，可使用查找表法. 轉換算法在實際工程化應用過程中，僅需測量相機模組的光譜響應，使用已知光源進行轉換算法的計算，應用方便且節(jié)省調(diào)試人力. 從不同相機模組的轉換結果差異可得，相機的光譜靈敏度響應越接近，最后的轉換結果越好，從而可以指導硬件的設計和選型.