單鏡頭運(yùn)動(dòng)顆粒三維定位方法

金娜，周騖，胡嘉睿，蔡小舒

?

單鏡頭運(yùn)動(dòng)顆粒三維定位方法

金娜，周騖，胡嘉睿，蔡小舒

(上海理工大學(xué)能源與動(dòng)力工程學(xué)院，上海市動(dòng)力工程多相流動(dòng)與傳熱重點(diǎn)實(shí)驗(yàn)室，上海，200093)

在光學(xué)離焦測(cè)距原理的基礎(chǔ)上，提出一種采用單鏡頭雙相機(jī)的運(yùn)動(dòng)顆粒三維定位方法，搭建圖像法顆粒測(cè)量裝置，并就圖像離焦模糊度與顆粒深度位置關(guān)系進(jìn)行理論和試驗(yàn)研究。系統(tǒng)采用分光棱鏡連接1個(gè)鏡頭和2個(gè)相機(jī)，使用信號(hào)發(fā)生器實(shí)現(xiàn)兩相機(jī)的同步拍攝，通過接圈調(diào)節(jié)相機(jī)與鏡頭的距離，獲取同一時(shí)刻同一物體不同模糊程度的2張照片，根據(jù)模糊度的對(duì)比獲得顆粒的深度。試驗(yàn)中選取2個(gè)圖像傳感器與鏡頭距離的差值為4.2 mm，采用靜止圓點(diǎn)進(jìn)行離焦測(cè)距系統(tǒng)試驗(yàn)驗(yàn)證，相對(duì)誤差在10%以內(nèi)，并采用該系統(tǒng)對(duì)電解食鹽水產(chǎn)生的氣泡進(jìn)行三維離焦測(cè)距試驗(yàn)。研究結(jié)果表明：該方法可行性良好；該裝置可解決單鏡頭拍攝顆粒場(chǎng)的離焦二義性問題，實(shí)現(xiàn)無參考物條件下運(yùn)動(dòng)顆粒場(chǎng)的深度重構(gòu)。

運(yùn)動(dòng)顆粒；單鏡頭雙相機(jī)；離焦測(cè)距；空間定位；離焦二義性

顆粒相流動(dòng)廣泛存在于科學(xué)研究與工程領(lǐng)域中，例如旋風(fēng)分離器中的顆粒三維旋轉(zhuǎn)流動(dòng)以及柴油機(jī)中的燃料噴霧等，由于其瞬態(tài)及空間三維特性，使顆粒粒徑、速度、體積分?jǐn)?shù)、流量等參數(shù)的測(cè)量具有很大難度。目前，用于顆粒場(chǎng)測(cè)量的方法主要基于粒子的多普勒效應(yīng)[1]與粒子成像[2]。前者包括激光多普勒測(cè)速儀(LDV)[3]和相位多普勒粒子分析儀(PDPA)[4]，其中PDPA利用信號(hào)頻率測(cè)量速度，利用信號(hào)相位測(cè)量粒徑，但是這2種方法均對(duì)粒子球形度要求較高[5]。粒子成像技術(shù)應(yīng)用最廣的是粒子圖像測(cè)速儀(PIV)，其三維信息的獲取又分為雙目視覺法和全息法。雙目視覺法通過2套成像系統(tǒng)不同角度的成像對(duì)一定空間內(nèi)的粒子進(jìn)行三維定位，其匹配算法復(fù)雜，設(shè)備價(jià)格昂 貴[6]。數(shù)字全息粒子測(cè)速儀(DHPIV)將數(shù)字全息與PIV技術(shù)相結(jié)合，可以獲得瞬時(shí)的三維流動(dòng)結(jié)構(gòu)和速度場(chǎng)，然而，被測(cè)物體的空間定位精確度低且數(shù)字全息圖像重建復(fù)雜[7]。簡(jiǎn)單的單鏡頭背光成像方式可以提供豐富的三維顆粒場(chǎng)信息[8]，但是位于景深范圍外的顆粒成像會(huì)產(chǎn)生離焦模糊現(xiàn)象，影響測(cè)量結(jié)果。而該模糊信息暗含了顆粒的深度位置信息，若能對(duì)顆粒的深度信息進(jìn)行提取，則一方面可以實(shí)現(xiàn)顆粒粒徑和體積分?jǐn)?shù)的精確測(cè)量，另一方面可以獲取顆粒場(chǎng)的三維空間分布。周燁鋒等[9?12]通過圖像的模糊程度提取物體深度的信息，不需要解決立體視覺或雙目相機(jī)中的點(diǎn)匹配問題。PENTLAND[13]通過改變相機(jī)孔徑參數(shù)獲得2幅模糊程度不同的圖像來恢復(fù)深度，在針孔孔徑下會(huì)引入大量噪聲，且去卷積算法產(chǎn)生的衍射效應(yīng)降低整體效率。ZHOU等[14]通過使用一對(duì)編碼孔徑，使其拍攝圖像場(chǎng)景頻率互補(bǔ)的2張圖像恢復(fù)物體深度，獲得了高質(zhì)量的深度信息，但對(duì)設(shè)備要求高。如上所述的離焦測(cè)距裝置需要改變成像系統(tǒng)參數(shù)獲取前后2張同一物體不同模糊度的照片，只能解決靜態(tài)物體的離焦測(cè)距問題。為此，本文作者基于離焦測(cè)距光學(xué)原理，提出一種單鏡頭雙相機(jī)的運(yùn)動(dòng)顆粒三維定位裝置，采用分光棱鏡連接該鏡頭和2個(gè)相機(jī)，通過調(diào)節(jié)相機(jī)與鏡頭之間的距離，獲取同一時(shí)刻同一物體不同模糊程度的2張照片，根據(jù)模糊度的對(duì)比獲得顆粒的深度信息。采用靜止顆粒對(duì)系統(tǒng)進(jìn)行離焦測(cè)距試驗(yàn)驗(yàn)證，其相對(duì)誤差在10%以內(nèi)，通過誤差分析提出系統(tǒng)精度的改進(jìn)措施，并對(duì)電解水運(yùn)動(dòng)氣泡進(jìn)行三維定位測(cè)量，驗(yàn)證方法的可行性。

1 單鏡頭雙相機(jī)運(yùn)動(dòng)顆粒三維定位原理

1.1 離焦測(cè)距原理

物體成像的實(shí)質(zhì)是物體上無數(shù)的點(diǎn)光源發(fā)出光線，通過鏡頭被傳感器接收。點(diǎn)光源經(jīng)由透鏡的成像過程如圖1所示[15]。圖1中：為物點(diǎn)，其與鏡頭主平面距離即物距為；鏡頭焦距為；像點(diǎn)′位于最佳成像平面上，該平面與透鏡主平面的距離即像距為。若實(shí)際成像平面偏離最佳成像面，則采集的圖像會(huì)存在一定程度的離焦模糊。圖1中，2個(gè)離焦面D1和D2到凸透鏡主平面的距離分別為1和2，物點(diǎn)在成像面D1和D2上分別對(duì)應(yīng)成像的彌散圓半徑為1和2。

圖1 離焦模糊成像過程

根據(jù)遠(yuǎn)心鏡頭成像原理，有

或

其中式(2)所適用條件為顆粒最佳成像位置處于兩相機(jī)傳感器平面的同側(cè)，式(3)所適用條件為顆粒的最佳成像位置處于兩相機(jī)傳感器平面的中間。所以，只需獲得2張粒子離焦圖像的模糊半徑比即可采用式(2)或式(3)對(duì)運(yùn)動(dòng)顆粒進(jìn)行空間定位。

圖2所示為同一顆粒相同物距時(shí)在不同成像面上獲得的離焦半徑不同的2幅圖像M1和M2，先利用均值濾波對(duì)其進(jìn)行去噪處理，然后采用梯度算法得到灰度梯度圖像，再利用最大類間差法獲取梯度圖像的閾值，并采用該閾值對(duì)梯度圖像進(jìn)行二值化，得到最終處理結(jié)果如圖2中N1和N2所示。

(a) 離焦程度較小的圖像M1；(b) 離焦程度較大的圖像M2；(c) M1的處理結(jié)果N1；(d) M2的處理結(jié)果N2

定義2幅梯度圖像邊緣過渡區(qū)面積分別為1和2，隨著圖像由聚焦圖像逐漸模糊，由小變大，由圖像矩不變?cè)韀16]，與圖像的離焦半徑成正比，即

其中：為常數(shù)，則有

代入式(2)或式(3)即可得到目標(biāo)的物距，實(shí)現(xiàn)顆粒的空間定位。

1.3 離焦二義性判定

(a); (b); (c); (d) ; (e)

對(duì)于圖3(a)和圖3(e)所示2種情況，應(yīng)采用式(2)計(jì)算物距，對(duì)圖3(c)所示情況則應(yīng)采用式(3)來計(jì)算。圖3(b)與圖3(d)所示為2種臨界情況，此時(shí)清晰成像面分別與成像平面D1與D2重合。當(dāng)清晰成像面與成像平面D1重合即1=0時(shí)，物點(diǎn)在成像平面D2上成像的彌散圓半徑記為，根據(jù)圖1中的幾何關(guān)系可得到其計(jì)算公式為

同理，當(dāng)2=0時(shí)，物點(diǎn)在成像平面D1上成像的彌散圓半徑為

其中：為遠(yuǎn)心鏡頭物方焦點(diǎn)處的光闌直徑。

在實(shí)際測(cè)量過程中，對(duì)相機(jī)1拍攝獲得的圖像進(jìn)行處理，若其離焦半徑小于，且相機(jī)2上對(duì)應(yīng)圖像的離焦半徑小于，即對(duì)應(yīng)圖3(c)所示的情況，則采用式(3)進(jìn)行計(jì)算，否則采用式(2)。由此可解決模糊圖像的離焦二義性問題。

2 單鏡頭雙相機(jī)運(yùn)動(dòng)顆粒三維定位系統(tǒng)

本文作者研制的單鏡頭雙相機(jī)運(yùn)動(dòng)顆粒三維定位系統(tǒng)示意圖如圖4所示，系統(tǒng)使用LED光源以背光方式照明測(cè)量區(qū)域中的運(yùn)動(dòng)顆粒，光線經(jīng)鏡頭收集后被半透半反分光棱鏡分成光強(qiáng)相同的2束，分別進(jìn)入2個(gè)相機(jī)，實(shí)現(xiàn)雙相機(jī)從同一視場(chǎng)方向?qū)︻w粒進(jìn)行成像。其中相機(jī)1與分光棱鏡的距離保持不變，即1不變，相機(jī)2與分光棱鏡之間的距離可以通過添加接圈進(jìn)行調(diào)節(jié)。采用信號(hào)發(fā)生器實(shí)現(xiàn)兩相機(jī)的同步觸發(fā)，對(duì)同一時(shí)刻拍攝到的相同顆粒不同離焦模糊程度的圖像進(jìn)行處理，從而獲得運(yùn)動(dòng)顆粒的三維位置信息。

圖4 單鏡頭雙相機(jī)系統(tǒng)示意圖

初步試驗(yàn)結(jié)果表明：兩相機(jī)與分光棱鏡之間距離的差別(即2?1)過小時(shí)2幅圖像模糊度差別不明顯，過大則測(cè)量區(qū)域變化較大，最適宜的像距差值隨鏡頭參數(shù)的變化將有所不同。經(jīng)嘗試性試驗(yàn)發(fā)現(xiàn)，本裝置在該差值為5 mm左右時(shí)可獲得成像模糊度差值較明顯且測(cè)量區(qū)域接近的2幅圖像?？紤]到實(shí)驗(yàn)室現(xiàn)有的接圈尺寸，本文試驗(yàn)中選擇雙相機(jī)對(duì)應(yīng)的像距差值為 4.2 mm。光學(xué)成像系統(tǒng)的其他光學(xué)參數(shù)及幾何長(zhǎng)度的物理示意圖如圖5所示，圖5中，為焦距，1為鏡頭長(zhǎng)度，2為鏡頭前端面到前主平面距離，3為鏡頭前端面到后主平面距離，4為分光棱鏡光路長(zhǎng)度，5為分光棱鏡到相機(jī)1成像平面距離，6為分光棱鏡到相機(jī)2成像平面的距離。

圖5 系統(tǒng)光學(xué)參數(shù)示意圖

圖5所示參數(shù)的具體數(shù)值如表1所示，由此可計(jì)算出鏡頭后主平面到相機(jī)1和相機(jī)2成像平面的距離1和2，分別為264.4 mm和268.6 mm。

表1 系統(tǒng)光學(xué)參數(shù)數(shù)值

3 單鏡頭雙相機(jī)系統(tǒng)離焦測(cè)距試驗(yàn)

3.1 圓點(diǎn)標(biāo)定板離焦測(cè)距試驗(yàn)

為驗(yàn)證上述系統(tǒng)與處理算法的可行性，采用此裝置對(duì)圓點(diǎn)標(biāo)定板進(jìn)行離焦測(cè)距試驗(yàn)。圖6所示為圓點(diǎn)標(biāo)定板在4組不同距離時(shí)2個(gè)相機(jī)分別獲得的離焦圖像，利用第1節(jié)所述原理對(duì)4組圖像進(jìn)行分析，得到粒子與鏡頭前端面距離，如表2所示。與真實(shí)值相比較可見測(cè)量結(jié)果變化趨勢(shì)合理，其相對(duì)誤差在10%以內(nèi)。分析誤差發(fā)現(xiàn)：1) 由于本裝置中鏡頭的像方遠(yuǎn)心度不為0°，導(dǎo)致不同成像平面上成像大小發(fā)生變 化，使測(cè)量結(jié)果產(chǎn)生一定偏差，若選用物像雙側(cè)遠(yuǎn)心鏡頭有望進(jìn)一步提高測(cè)量精度；2) 在提取顆粒過渡區(qū)面積時(shí)，采用OTSU法獲得的梯度圖像閾值易受圖像大小及圖像整體對(duì)比度的影響，需要進(jìn)一步深入考慮；3) 通過理論分析發(fā)現(xiàn)，在本文的測(cè)量條件下，算法的計(jì)算精度為5%左右；4) 在計(jì)算2張圖像模糊半徑的比值時(shí)，只利用了圖像的邊緣寬度信息，而忽略了模糊圖像邊緣灰度信息[17]，在后續(xù)研究中應(yīng)進(jìn)行考慮，以實(shí)現(xiàn)模糊半徑的更精確測(cè)量。

u/mm：(a) 39.80；(b) 40.50；(c) 41.00；(d) 42.00

表2 靜止圓點(diǎn)離焦測(cè)距

3.2 運(yùn)動(dòng)顆粒離焦測(cè)距試驗(yàn)

為驗(yàn)證該方法對(duì)運(yùn)動(dòng)顆粒測(cè)距的可行性，對(duì)上升過程中的電解食鹽水氣泡進(jìn)行拍攝，獲得如圖7所示的2張含不同大小和位置的氣泡圖片。從圖7可見有3種位置情況下的顆粒圖像，正方形框中的顆粒在相機(jī)2中的成像比在相機(jī)1中的成像清晰，橢圓形框中顆粒成像模糊度相反，而菱形框中顆粒在相機(jī)1與相機(jī)2上成像模糊度相近。由于實(shí)驗(yàn)裝置中1＜2，即相機(jī)2的成像平面距離鏡頭較遠(yuǎn)，其拍攝到的圖像中最清晰粒子位置到鏡頭前端距離應(yīng)較近。故重構(gòu)正方形與橢圓形框中粒子空間位置時(shí)應(yīng)使用式(2)，而重構(gòu)菱形框中粒子空間位置時(shí)應(yīng)使用式(3)?；谏鲜雠袛啵貥?gòu)氣泡三維空間深度信息，如圖8所示。以鏡頭前端面為基準(zhǔn)面，所識(shí)別出的氣泡深度為0.90 mm，與實(shí)際產(chǎn)生電解食鹽水氣泡的銅絲所得深度1.07 mm較符合，證明了該測(cè)量方法和裝置的可行性。

(a) 相機(jī)1采集的離焦圖像；(b) 相機(jī)2采集的離焦圖像

圖8 運(yùn)動(dòng)氣泡空間位置重構(gòu)

4 結(jié)論

1) 基于單鏡頭雙相機(jī)的離焦測(cè)距方法和裝置解決了模糊圖像的離焦二義性問題，可以實(shí)現(xiàn)運(yùn)動(dòng)顆粒在無參照物情況下的三維定位。

2) 本試驗(yàn)條件下對(duì)靜止顆粒的離焦測(cè)距試驗(yàn)相對(duì)誤差在10%以內(nèi)，并實(shí)現(xiàn)了運(yùn)動(dòng)氣泡的三維定位，證明了測(cè)量方法和裝置的可行性，為顆粒的多參數(shù)三維場(chǎng)測(cè)量奠定了基礎(chǔ)。

3) 該測(cè)量裝置采用1個(gè)鏡頭和2個(gè)相機(jī)，保證拍攝視角的一致性，避免了雙目視覺中空間點(diǎn)匹配問題，算法簡(jiǎn)單；若將分光棱鏡和2個(gè)圖像傳感器集成，即形成1個(gè)雙圖像傳感器相機(jī)，則裝置及操作會(huì)更為 簡(jiǎn)便。

[1] 劉友, 楊曉濤, 馬修真. 基于激光多普勒測(cè)速的流場(chǎng)測(cè)試技術(shù)[J]. 激光與紅外, 2012, 42(1): 18?21. LIU You, YANG Xiaotao, MA Xiuzhen. Technique of flow field measurement based on laser Doppler velocimetry[J]. Laser and Infrared, 2012, 42(1): 18?21.

[2] 張曉艷. 平面二維瞬時(shí)流速場(chǎng)數(shù)字圖像測(cè)速技術(shù)研究[D]. 太原: 太原理工大學(xué)水利科學(xué)與工程學(xué)院, 2005: 4?10. ZHANG Xiaoyan. Study of digital image velocimetry for simultaneous flow field in two dimensional plane[D]. Taiyuan: Taiyuan University of Technology. School of Water Conservancy Science and Engineering, 2005: 4?10.

[3] 沈熊. 激光測(cè)速技術(shù)(LDV)誕生50周年啟示[J]. 實(shí)驗(yàn)流體力學(xué), 2014, 28(6): 51?55. SHEN Xiong. A historical review for the 50th anniversary of laser doppler velocimetry[J]. Journal of Experiments in Fluid Mechanics, 2014, 28(6): 51?55.

[4] 賈衛(wèi)東, 李萍萍, 邱白晶, 等. PDPA 在噴嘴霧化特性試驗(yàn)研究中的應(yīng)用[J]. 中國農(nóng)村水利水電, 2008(9): 70?72. JIA Weidong, LI Pingping, QIU Baijing, et al. Application of phase doppler particle analyzer in reek spray nozzle’s characteristic experiment[J]. China Rural Water and Hydropower, 2008(9): 70?72.

[5] KASHDAN J T, SHRIMPTON J S, WHYBREW A. A digital image analysis technique for quantitative characterisation of high-speed sprays[J]. Optics and Lasers in Engineering, 2007, 45(1): 106?115.

[6] 王建華, 馮帆, 梁偉, 等. 雙目立體視覺測(cè)量系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 艦船電子工程, 2012, 32(4): 107?109. WANG Jianhua, FENG Fan, LIANG Wei, et al. Design and implementation of measurement system based on binocular stereo vision[J]. Ship Electronic Engineering, 2012, 32(4): 107?109.

[7] 申功炘,張永剛,曹曉光,等. 數(shù)字全息粒子圖像測(cè)速技術(shù)(DHPIV)研究進(jìn)展[J]. 力學(xué)進(jìn)展, 2007, 37(4): 563?574. SHEN Gongxin, ZHANG Yonggang, CAO Xiaoguang, et al. Advances in DHPIV[J]. Advances in Mechanics, 2007, 37(4): 563?574.

[8] CHEN Xiaozhen, ZHOU Wu, CAI Xiaoshu, et al. In-line imaging measurements of particle size, velocity and concentration in a particulate two-phase flow[J]. Particuology, 2014, 13(1): 106?113.

[9] 周燁鋒, 邱慧娟, 李卓. 基于遠(yuǎn)心光學(xué)系統(tǒng)散焦圖像的距離估計(jì)[J]. 紅外與激光工程, 2006, 35(Suppl): 534?537. ZHOU Yefeng, QIU Huijuan, LI Zhuo. Depth estimation based on defocus image of the telecentric lens[J]. Infrared and Laser Engineering, 2006, 35(Suppl): 534?537.

[10] 程鴻, 章權(quán)兵, 宮炎焱. 一種新的基于散焦圖像的深度恢復(fù)算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2010, 27(2): 271?273. CHENG Hong, ZHANG Quanbing, GONG Yanyan. A new depth recovery algorithm based on defocus image[J]. Computer Applications and Software, 2010, 27(2): 271?273.

[11] BAILEY S W, ECHEVARRIA J I, BODENHEIMER B, et al. Fast depth from defocus from focal stacks[J]. Visual Computer, 2015, 31(12): 1697?1708.

[12] LEE E, CHAE E, CHEONG H, et al. Depth-based defocus map estimation using off-axis apertures[J]. Optics Express, 2015, 23(17): 21958?21971.

[13] PENTLAND A P. A new sense for depth of field[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(4): 523?531.

[14] ZHOU C, NAYAR S. What are good apertures for defocus deblurring?[C]// Proceedings of IEEE International Conference on Computational Photography. San Francisco, USA: IEEE, 2009: 1?8.

[15] 田濤, 潘俊民. 基于矩保持法的散集圖像深度估計(jì)[J]. 上海交通大學(xué)學(xué)報(bào), 2000, 34(7): 917?920. TIAN Tao, PAN Junmin. Depth estimation from defocus based on moment-preserving[J]. Journal of Shanghai Jiaotong University, 2000, 34(7): 917?920.

[16] KUNDUR D, HATZINAKOS D. Blind image deconvolution[J]. Signal Processing Magazine, IEEE, 1996, 13(3): 43?64.

[17] 張仕玲, 孫旭. 基于 Matlab 的圖像清晰度評(píng)價(jià)方法研究[J]. 通信技術(shù), 2012, 44(12): 7?9. ZHANG Shiling, SUN Xu. Image evaluation based on east wavelet transform[J]. Communications Technology, 2012, 44(12): 7?9.

Method of three-dimensional positioning for moving particles with single lens

JIN Na, ZHOU Wu, HU Jiarui, CAI Xiaoshu

(Shanghai Key Laboratory of Multiphase Flow and Heat Transfer in Power Engineering, School of Energy and Power Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

Based on the optical principles of depth from defocus(DFD), a method with a single lens and two image sensors was proposed to determine the three-dimensional positions of moving particles and an imaging system was established for measurement of particle locations. The theoretical and experimental analyses were carried out to explore the relationship between defocus blur degree of image and particle depth. A dispersion prism was used to connect a lens and two cameras, and synchronous measurement was realized with a signal generator. Two images with different defocus blur degrees could be captured for the same particle by adjusting the distances between the two image sensors and the lens. The depth information could be extracted from these two images. The distance difference between two image sensors and the lens was adopted as 4.2 mm. The validation experiments of the measurement system were carried out using static particles, in which the relative measurement errors were within 10%. And the three-dimensional defocus distance test was carried out for bubbles produced by electrolysis of salt water using the system. The results show that this method well feasible, and the problem of position blur in DFD with single lens can be solved using this setup, which indicates that DFD without

can be realized.

moving particles; single-lens double-camera; depth from defocus; spatial orientation; ambiguity of defocus

10.11817/j.issn.1672-7207.2016.09.045

TH7

A

1672?7207(2016)09?3246?06

2015?09?07；

2015?11?25

國家自然科學(xué)基金資助項(xiàng)目(51206112，51327803)；上海市自然科學(xué)基金資助項(xiàng)目(12ZR1446900)；上海市教委科研創(chuàng)新項(xiàng)目(12YZ110) (Projects(51206112, 51327803) supported by the National Natural Science Foundation of China; Project(12ZR1446900) supported by the Natural Science Foundation of Shanghai Municipality; Project(12YZ110) supported by the Innovation Project of Scientific Research of Shanghai Municipal Education Commission)

周騖，博士，副教授，從事顆粒與流場(chǎng)在線測(cè)量方法研究；E-mail: zhouwu@usst.edu.cn

(編輯 劉錦偉)