基于雙目立體視覺的3D物體顏色測量方法研究

圣延聰，崔桂華，吳自然

基于雙目立體視覺的3D物體顏色測量方法研究

圣延聰，崔桂華?，吳自然

(溫州大學(xué)電氣與電子工程學(xué)院，浙江溫州 325035)

傳統(tǒng)的物體顏色測量方法，均是針對平面物體而言的，不適用于3D物體尤其是表面不規(guī)則的3D物體表面的顏色測量．隨著3D彩色打印技術(shù)的飛速發(fā)展，亟需一種快速的直接的3D物體顏色測量方法．鑒于此，提出了一種基于雙目立體視覺的3D物體顏色測量方法．在標(biāo)準(zhǔn)LED燈箱中，首先使用雙目相機采集標(biāo)準(zhǔn)棋盤格圖像進行相機幾何參數(shù)的標(biāo)定，利用標(biāo)定后的相機參數(shù)重建物體的3D圖像，再采集標(biāo)準(zhǔn)色卡圖像進行相機顏色特征化處理，建立3D圖像RGB顏色值與CIE XYZ三刺激值之間的數(shù)學(xué)模型，然后采集被測物圖像并從重建的3D圖像中提取物體像素點的空間幾何信息和顏色信息，實現(xiàn)3D物體的空間位置和顏色的測量．實驗中，采用低端網(wǎng)絡(luò)雙目相機和DigiEye 240色卡，訓(xùn)練具有20項三階多項式的相機特征化模型，模型訓(xùn)練誤差為3.5 CIELAB色差單位，用ColorChecker 24色卡作為測試目標(biāo)物，測試誤差為5.7 CIELAB色差單位，略大于訓(xùn)練誤差3.5．實驗結(jié)果表明，該方法具有一定的測量精確度，可以測量傳統(tǒng)顏色測量儀器無法測量的3D物體的顏色．

雙目立體視覺；立體匹配；顏色測量

雙目立體視覺通過模仿人眼視覺系統(tǒng)原理，用雙攝像機從不同的角度，獲取同一三維場景的兩幅數(shù)字圖像，通過立體匹配算法計算兩幅圖像像素間的視差來重建該場景的幾何形狀與空間位置[1]．目前，雙目立體視覺在工業(yè)測量領(lǐng)域已經(jīng)發(fā)揮了巨大作用[2]，但其在顏色測量領(lǐng)域的應(yīng)用甚少．隨著3D打印制造技術(shù)的快速發(fā)展，采用新的方法能及時準(zhǔn)確地測量3D物體的顏色信息顯得尤為重要．

在圖像重建的過程中，主要問題是解決相機標(biāo)定和立體匹配算法帶來的誤差．張氏平面標(biāo)定法[3]既克服了需要高精度三維標(biāo)定物的缺點，又解決了自標(biāo)定法魯棒性差的難題．根據(jù)優(yōu)化的方法不同，雙目立體視覺算法可分為：局部算法[4]、非局部算法[5]、全局算法[6]和半全局算法[7-8]．半全局塊匹配算法（Semi-Global Block Matching，SGBM）將文獻[7-8]中基于互信息[9]的匹配代價計算法修改為基于BT[10]的匹配代價計算法，該算法的核心是通過選取每個像素點的視差，構(gòu)成一張視差圖，設(shè)置一個和視差圖相關(guān)的全局能量函數(shù)，使這個能量函數(shù)最小化，以達到求解每個像素最優(yōu)視差的目的．Mei[11]等人提出的AD-Census立體匹配算法，將局部算法和半全局算法相結(jié)合，構(gòu)造每個像素的支持區(qū)域，視差圖中弱紋理區(qū)域和非連續(xù)區(qū)域都得到了明顯改善．

常用的顏色測量方法有目視評價法、接觸式儀器測量法和數(shù)碼測色法[12]．傳統(tǒng)的顏色測量方法多采用接觸式測量方式，可以用來測量一定尺寸、平整的物體表面的顏色特性或光譜反射特性數(shù)據(jù)，測量3D物體時，曲率較大的物體表面會穿過測量儀器孔徑切面，導(dǎo)致出現(xiàn)漏光、不規(guī)則漫反射以及陰影等現(xiàn)象，對精確測量顏色的信息產(chǎn)生較大的影響．現(xiàn)有的數(shù)碼測色法只是采用單個相機捕獲物體表面外觀信息，無法獲取更復(fù)雜的物體3D信息．

本文提出一種基于雙目立體視覺的3D物體顏色測量方法，是對數(shù)碼測色法的一種改進，解決了數(shù)碼測色法無法測量3D物體的問題，可以有效地減少接觸式和數(shù)碼顏色測量帶來的誤差，既可以用于物體外形尺寸的測量，又可以用于物體表面顏色的測量．

1 雙目3D圖像重建

1.1 雙目立體視覺概述

雙目立體視覺系統(tǒng)由兩個水平放置的數(shù)碼相機組成，單個相機成像模型可以抽象為針孔相機模型，完成世界坐標(biāo)系中點到像素坐標(biāo)系中點的轉(zhuǎn)換．

1.1.1 針孔相機模型

針孔相機模型描述的是單個相機拍攝物體的坐標(biāo)變換過程，包括像素坐標(biāo)系、歸一化坐標(biāo)系、相機坐標(biāo)系和世界坐標(biāo)系，建立坐標(biāo)系的根本目的是建立三維空間點與二維圖像像素點之間的聯(lián)系．像素坐標(biāo)系是以二維圖像為基本建立的直角坐標(biāo)系，描述了每一個像素點在圖像中的位置；歸一化坐標(biāo)系并不是實際存在的坐標(biāo)系，該坐標(biāo)系是相機坐標(biāo)系中Z軸歸一化為1的投影平面；相機坐標(biāo)系是以相機的視角去描述圖像在三維空間中的坐標(biāo)位置，通常以相機中心為原點；世界坐標(biāo)系即真實世界中的絕對坐標(biāo)系，描述了所有物體在實際空間中的坐標(biāo)位置．

圖1 4個坐標(biāo)系關(guān)系圖

1.1.2 雙目立體匹配原理及方法

圖2 雙目立體視覺原理圖（a）和極線約束圖（b）

1.1.3雙目模型

圖4 雙目相機幾何模型圖

1.2 3D圖像重建

圖5表示3D圖像重建流程，所用的儀器設(shè)備如下：雙目相機選用金乾象K4A418-D寬動態(tài)雙目相機；攝像頭選用4.3 mm無畸變鏡頭；燈箱選用的是標(biāo)準(zhǔn)LED燈箱；標(biāo)準(zhǔn)色卡為DigiEye 240色卡（如圖6）；驗證色卡為ColorChecker 24色卡（如圖7）；標(biāo)定板選用棋盤格大小為9 × 6、方格尺寸為25 mm × 25 mm的標(biāo)準(zhǔn)標(biāo)定板（如圖8）．從相機參數(shù)可以看出，本實驗采用的雙目相機由兩個普通的網(wǎng)絡(luò)相機構(gòu)成，其成像質(zhì)量和相機曝光參數(shù)控制等均與高端相機有一定差距，但兩個相機較好地固定在一個支架上，形成一個完整的雙目相機，適合于本課題的探索性實驗工作．

圖5 3D圖像重建流程

圖6 DigiEye 240色卡

圖7 ColorChecker 24色卡

1.2.1 圖像采集

1）編寫圖像采集代碼，代碼中設(shè)置圖像亮度、對比度、飽和度、色相、增益和曝光量，控制相機的拍照參數(shù)保持不變．

2）將標(biāo)定板置于標(biāo)準(zhǔn)LED燈箱，如圖9所示，光源設(shè)置為D65光源，雙目相機位于燈箱外，調(diào)節(jié)雙目相機基線，雙目相機畫面分割成左右大小為640 × 480像素的圖像，保持鏡頭中心正對棋盤格，拍攝左右標(biāo)定圖片．

3）旋轉(zhuǎn)標(biāo)定板，改變標(biāo)定板與雙目相機之間距離，拍攝左右標(biāo)定圖片共16對．

4）在相同的位置，拍攝重建的DigiEye 240色色卡和ColorChecker 24色色卡．

圖8 標(biāo)準(zhǔn)棋盤格（9 × 6）

圖9 圖像采集

1.2.2 雙目相機標(biāo)定

本文采用由張氏平面標(biāo)定法改進的雙目立體視覺標(biāo)定方法，將16對棋盤格圖像經(jīng)過角點檢測、單目標(biāo)定、雙目標(biāo)定、相機校正、相機校正映射以及重映射等步驟，使左、右圖像的同名點位于同一高度，計算出的均方根和平均對極線誤差可以反映標(biāo)定誤差的大小．

1.2.3 立體校正

立體校正主要包括兩方面：畸變校正和極線校正．通過去畸變、相機校正映射以及重映射等步驟，使左右校正圖像的同名點位于同一高度，提高立體匹配算法精度．

1.2.4 立體匹配

雙目立體視覺中最為關(guān)鍵的技術(shù)是圖像的匹配．本文采用的立體匹配算法包括SGBM和AD-Census，兩種算法的輸入均為立體校正后的DigiEye 240色卡左、右圖像，如圖10所示．

圖10 輸入的左圖和右圖

1）SGBM算法

SGBM算法流程如圖11所示．匹配代價計算包括水平方向梯度濾波、BT代價計算、代價融合和像素塊代價計算，代價聚合采用全局立體匹配，視差計算采用贏家通吃算法，視差優(yōu)化包括唯一性檢查、亞像素插值和左右一致性檢查．

圖11 SGBM算法流程圖

I）匹配代價計算

SGBM算法的匹配代價計算主要包含以下步驟：輸入圖像經(jīng)過水平方向的梯度濾波處理后，計算BT代價[10]，輸入圖像直接計算BT代價；將上面兩步的代價值進行融合（相加）；對上述步驟得到的代價值進行成塊計算．

II）代價聚合

SGBM算法的能量函數(shù)為：

III）視差計算

在SGBM算法中，視差計算采用贏家通吃算法，每個像素選擇最小聚合代價值所對應(yīng)的視差值作為最終視差．

IV）視差優(yōu)化

在文獻[8]中，SGM算法作者Hirschmuller H提出了視差優(yōu)化的概念，左右圖像經(jīng)過以上I）、II）、III）、IV）4個步驟，得到圖12所示的SGBM算法視差圖．圖12中黑色部分表示無法匹配的區(qū)域，正上方表示匹配錯誤（由于弱紋理導(dǎo)致），沒有實際意義，灰色部分（DigiEye 240色卡）表示視差連續(xù)區(qū)域，距雙目相機越近的位置越亮，反之越暗．

2）AD-Census算法

AD-Census算法流程如圖13[11]所示，其中代價計算包括絕對差代價計算、Census代價計算和代價融合，代價聚合為十字交叉域代價聚合，視差優(yōu)化包括離群點檢測、迭代局部投票、視差填充、非連續(xù)區(qū)視差調(diào)整、子像素優(yōu)化和中值濾波等．

I）代價計算

初始代價計算采用的是絕對差A(yù)D[13]和Census[14]變換結(jié)合的方法．AD法在重復(fù)紋理區(qū)域比Census法表現(xiàn)更好，Census法在弱紋理區(qū)域比AD法表現(xiàn)更好，而AD-Census法在兩種場景下都是表現(xiàn)最好的．

II）代價聚合

AD-Census算法代價聚合采用的是十字交叉域代價聚合方法[15]，主要分為兩步．

i）十字交叉域構(gòu)造

圖13 AD-Census算法流程圖

圖14 像素p的支持區(qū)域

ii）代價聚合

圖15 兩種支持區(qū)域的構(gòu)造方法

iii）掃描線優(yōu)化

iv）視差優(yōu)化

在文獻[13]中，視差優(yōu)化分為多個后處理步驟，得到圖16所示的AD-Census算法視差圖．圖16中不僅出現(xiàn)了弱紋理區(qū)域無法匹配的現(xiàn)象，灰色部分（DigiEye 240色卡）也出現(xiàn)了無法匹配的區(qū)域（黑色部分），該視差圖誤差較大．

本文采用了兩種生成視差圖方法，綜合比較兩種算法，最后采用SGBM算法生成了視差圖（見圖12）．

1.2.5 視差轉(zhuǎn)點云

圖16 AD-Census算法視差圖

圖17 視差轉(zhuǎn)點云

1.2.6 點云可視化

打開生成的pcd文件（如圖18），點擊色塊點云，可得到240個色塊不同的RGB值．

2 顏色測量

通過雙目立體視覺重建出DigiEye 240色卡3D點云圖（如圖18）和ColorChecker 24色卡3D點云圖（如圖19），分別得到240個色塊RGB值和24個色塊RGB值，采用如圖20所示的流程進行相機特征化和顏色測量．

圖18 DigiEye 240色卡3D點云圖

圖19 ColorChecker 24色卡3D點云圖

圖20 相機特征化及顏色測量流程圖

2.1 測量XYZ三刺激值

實驗中采用X-Rite便攜式分光光度計Ci64UV，測量DigiEye 240色卡和ColorChecker 24色卡每個色塊在D65標(biāo)準(zhǔn)光源和CIE 1964標(biāo)準(zhǔn)色度觀察者、包含鏡面反射（SPIN）和去除鏡面反射（SPEX）條件下的三刺激值XYZ[16]．

2.2 3D相機顏色特征化

多項式回歸模型的基本公式為：

將測得的DigiEye 240色卡SPIN和SPEX三刺激值分別代入式（11），選定3至20項多項式，計算預(yù)測XYZ值與實測XYZ值之間的平均CIELAB[16]色差，利用非線性規(guī)劃最小化平均色差，獲取對應(yīng)的多項式系數(shù)，結(jié)果如表1所示．

表1中4（2）、7（2）和11（2）分別表示項數(shù)是4、7和11，但是項數(shù)中參數(shù)發(fā)生變化．從表1中可以看出隨著項數(shù)的遞增，SPIN和SPEX的平均色差逐漸減??；當(dāng)項數(shù)相同時，SPIN的平均色差小于或等于SPEX的平均色差；當(dāng)項數(shù)為20時，SPIN和SPEX的平均色差達到最小，約為3.5．由此可得出包含鏡面反射得到的模型要略優(yōu)于排除鏡面反射得到的模型的結(jié)論．

表1 平均色差

3 驗證性實驗

將ColorChecker 24色卡3D圖像的24個色塊RGB值代入20項SPIN訓(xùn)練模型，可以得到預(yù)測顏色XYZ，并與實測的XYZ計算CIELAB色差及平均色差值，結(jié)果如表2所示．

表2 ColorChecker 24色卡色差及平均色差

從表2可以看出，測量24色卡時平均色差為5.7，略大于3.5．造成平均色差過大的原因是第3行第1列、第3行第4列、第4行第6列等色塊色差過大．這可能與雙目相機傳感器分辨率、鏡頭質(zhì)量、位置、拍照參數(shù)以及光照不均勻等因素有關(guān)，更換高端相機有可能進一步改善測量精度，這需要進一步驗證和改進．

4 結(jié) 語

本文提出了一種新的基于雙目立體視覺的3D物體顏色測量方法．該方法利用經(jīng)過參數(shù)標(biāo)定和顏色特征化的雙目相機采集被測物圖像，并利用立體視覺理論重建被測物的3D圖像，除了可提取物體表面像素點的空間幾何信息外，還可以提取顏色信息，可以用于3D物體顏色的測量．實驗中，對比了3項到20項的多項式回歸模型的轉(zhuǎn)換精度，確定了20項多項式為最佳且最穩(wěn)定的相機特征化模型，模型訓(xùn)練誤差約為3.5 CIELAB色差單位．以相同方法重建ColorChecker 24色卡3D圖像，檢驗顏色測量模型的誤差為5.7 CIELAB色差單位，略大于3.5．本文通過實驗驗證了該方法的可行性，后續(xù)將展開更深入的研究，以提高該方法測量像素點的空間坐標(biāo)幾何信息和顏色信息的精度．

[1] 黃鵬程, 江劍宇, 楊波. 雙目立體視覺的研究現(xiàn)狀及進展[J]. 光學(xué)儀器, 2018, 40(4): 81-86.

[2] 劉建偉, 梁晉, 梁新合, 等. 大尺寸工業(yè)視覺測量系統(tǒng)[J]. 光學(xué)精密工程, 2010, 18(1): 126-134.

[3] Zhang Z. A Flexible New Technique for Camera Calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[4] Zhu S, Li Z. Local Stereo Matching Using Combined Matching Cost and Adaptive Cost Aggregation [J]. KSII Transactions on Internet & Information Systems, 2015, 9(1): 224-241.

[5] Yang Q. Stereo Matching Using Tree Filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(4): 834-846.

[6] Wang D, Lim K B. Obtaining Depth Map from Segment-based Stereo Matching Using Graph Cuts [J]. Journal of Visual Communication and Image Representation, 2011, 22(4): 325-331.

[7] Hirschmuller H. Accurate and Efficient Stereo Processing by Semi-global Matching and Mutual Information [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/1467526.

[8] Hirschmuller H. Stereo Processing by Semiglobal Matching and Mutual Information [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(2): 328-341.

[9] Kim J. Visual Correspondence Using Energy Minimization and Mutual Information [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/1238463.

[10] Birchfield S, Tomasi C. A Pixel Dissimilarity Measure That Is Insensitive to Image Sampling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(4): 401-406.

[11] Mei X. On Building an Accurate Stereo Matching System on Graphics Hardware [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/6130280.

[12]金肖克, 李啟正, 張聲誠, 等. 織物顏色測量方法的分類與發(fā)展[J]. 紡織導(dǎo)報, 2012(9): 103-105.

[13] Wang L. How Far Can We Go with Local Optimization in Real-time Stereo Matching [EB/OL]. [2020-12-20]. https://ieeexplore.ieee.org/abstract/document/4155719.

[14] Zabih R, Woodfill J. Non-parametric Local Transforms for Computing Visual Correspondence [EB/OL]. [2020- 12-20]. https://link.springer.com/chapter/10.1007/BFb0028345.

[15] Zhang K, Lu J, Lafruit G. Cross-based Local Stereo Matching Using Orthogonal Integral Images [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7): 1073-1079.

[16] Commission Internationale de l’éclairage. Colorimetry [M]. Vienna: Central Bureau of the CIE, 2004: 16-20.

[17] Hong G, Luo M R, Rhodes P. A Study of Digital Camera Colorimetric Characterization Based on Polynomial Modeling [J]. Color Research and Applications, 2001, 26(1): 76-84.

Study of Color Measurement Method Based on Binocular 3D Stereo Vision

SHENG Yancong, CUI Guihua, WU Ziran

(College of Electrical and Electronic Engineering, Wenzhou University, Wenzhou, China 325035)

Traditional color measurement methods are aimed at planar objects, and are not suitable for color measurement of 3D objects, especially those with irregular 3D surfaces. With the rapid development of 3D color printing technology, a fast and direct 3D object color measurement method is urgently needed. Therefore, a color measurement method based on binocular 3D stereo vision was proposed. In a standard LED lighting cabinet, a binocular camera was first used to collect a standard checkerboard images to compute the camera parameters for reconstructing 3D images of objects; then a standard color chart was used for the camera color characterization to establish a mathematical model between 3D image RGB values and CIE XYZ tristimulus values; finally, the spatial geometric and color information of an object pixel from the reconstructed 3D image was extracted for measuring the geometrical dimension and color of the 3D object. In the experiment, a third order polynomial with twenty terms was trained from a low-profile network binocular camera and a DigiEye 240 color chart, the training error being about 3.5 CIELAB units; then a ColorChecker 24 color chart was used as test target, the average color difference of testing being about 5.7 CIELAB units, slightly greater than 3.5. The experimental results show that the proposed method has certain measurement accuracy, and can measure 3D objects that cannot be measured by traditional color measuring instruments.

Binocular Stereo Vision; Stereo Matching; Color Measurement

TP3

A

1674-3563(2022)01-0051-12

10.3875/j.issn.1674-3563.2022.01.007

本文的PDF文件可以從www.wzu.edu.cn/wzdxxb.htm獲得

2020-12-26

國家自然科學(xué)基金(61775170)；溫州市重大科技創(chuàng)新攻關(guān)工業(yè)項目(ZG2019017)；溫州市工業(yè)科技項目(ZG2020049)

圣延聰(1994― )，男，安徽蕪湖人，碩士研究生，研究方向：計算機視覺．

通訊作者，gcui@wzu.edu.cn

(編輯：王一芳)

(英文審校：黃璐)