基于機(jī)器視覺的輸電鐵塔聯(lián)結(jié)板加工特征測(cè)量方法

高立鵬,徐振佳,劉寶華,張穆勇

(1.河北省送變電有限公司電力保障分公司,河北 石家莊 051130;2.北華航天工業(yè)學(xué)院機(jī)電工程學(xué)院,河北 廊坊 065000)

0 引言

隨著電網(wǎng)快速發(fā)展,特高壓、超高壓輸電技術(shù)被廣泛應(yīng)用,對(duì)輸電設(shè)備的安全性和可靠性要求越來越高。鐵塔作為輸變電系統(tǒng)重要的組成部分之一,主要起支撐導(dǎo)線、地線和保障電氣絕緣的作用。為了充分發(fā)揮鐵塔的支撐作用,必須消除其加工制造過程中各種質(zhì)量缺陷,以保證電網(wǎng)運(yùn)行的安全性和可靠性[1-4]。因此需對(duì)鐵塔構(gòu)件加工過程中的幾何尺寸進(jìn)行嚴(yán)格的過程檢測(cè),防止不合格品的發(fā)生,減少對(duì)塔身建造工序的影響。聯(lián)結(jié)板是輸電角鋼塔的基本構(gòu)件,屬于平面形狀不規(guī)則多孔板類零件,在實(shí)際生產(chǎn)檢驗(yàn)過程中,采用游標(biāo)卡尺、盒尺、卡板等測(cè)量工具進(jìn)行人工抽檢,工作量大、效率低,無法進(jìn)行全面檢測(cè),且檢測(cè)結(jié)果受人的主觀因素影響,易出現(xiàn)不合格品漏檢等。近年來,由于機(jī)器視覺具有非接觸、響應(yīng)快、精度高等特點(diǎn),逐漸應(yīng)用于汽車白車身檢測(cè)、機(jī)械零部件形位尺寸測(cè)量方面,視覺測(cè)量技術(shù)得到了快速的發(fā)展[5-7]。本文以輸電鐵塔的聯(lián)結(jié)板為對(duì)象,研究了聯(lián)結(jié)板加工特征的機(jī)器視覺測(cè)量方法,以促進(jìn)鐵塔制造行業(yè)自動(dòng)化水平的提高和行業(yè)的快速發(fā)展。

1 聯(lián)結(jié)板視覺測(cè)量的數(shù)學(xué)建模

視覺成像就是將三維空間的物體,通過光學(xué)變換,投射到二維的像平面內(nèi)。基于視覺的測(cè)量就是用像平面內(nèi)的元素來反映物理空間中的形狀和位置等信息,其實(shí)質(zhì)就是通過坐標(biāo)系變換,完成世界坐標(biāo)系物體的空間特征信息在像素坐標(biāo)系的表征和解算[8]。各坐標(biāo)系的變換關(guān)系如圖1所示。

圖1 坐標(biāo)系之間的關(guān)系

根據(jù)成像的原理分別建立像素坐標(biāo)系(Ofuv)、圖像坐標(biāo)系(Oxy)、攝像機(jī)坐標(biāo)系(OcXcYcZc)和世界坐標(biāo)系(OwXwYwZw)。其中,像素坐標(biāo)系和圖像坐標(biāo)系為平面坐標(biāo)系,攝像機(jī)坐標(biāo)系和世界坐標(biāo)系為空間坐標(biāo)系,攝像機(jī)坐標(biāo)系中的軸Zc為攝像機(jī)的光軸,視覺測(cè)量坐標(biāo)系及其原理如圖2所示。

圖2 視覺測(cè)量坐標(biāo)系及其原理

空間中的物點(diǎn)P,映射在圖像平面內(nèi)為p,用(u,v)、(x p,y p)、(Xcp,Ycp,Zcp)、(Xwp,Ywp,Zwp)分別表示物點(diǎn)P在像素坐標(biāo)系、圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系的坐標(biāo)。

1.1 像素坐標(biāo)系和圖像坐標(biāo)系的變換

由圖2可知,物點(diǎn)P在像素坐標(biāo)系和圖像坐標(biāo)系的變換為仿射變換,即將圖像坐標(biāo)通過縮放和平移,變換成方便計(jì)算機(jī)處理的像素坐標(biāo),則有

式中:(u0,v0)為圖像坐標(biāo)系中原點(diǎn)在像素坐標(biāo)系中的坐標(biāo);dx、dy分別為圖像坐標(biāo)系中單位像素的物理尺寸。

方程式組(1)的齊次矩陣方程可表示為

1.2 攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系的轉(zhuǎn)換

由圖2可知,點(diǎn)P在攝像機(jī)坐標(biāo)系下的空間坐標(biāo)為(Xcp,Ycp,Zcp),通過透射變換將空間的三維坐標(biāo)變換為圖像坐標(biāo)系下的二維坐標(biāo)(x p,y p),在理想透視變換的情況下,其投射關(guān)系的齊次矩陣方程為

式中:f為攝像機(jī)的焦距;ρ為齊次方程求解系數(shù)。

1.3 世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的變換

世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的映射為同一物點(diǎn)在不同的空間坐標(biāo)系的剛體變換,其變換關(guān)系為剛體的旋轉(zhuǎn)和平移,則其齊次矩陣方程可表示為

式中:R為3×3階旋轉(zhuǎn)矩陣;T為3×1階平移矩陣。

1.4 世界坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系

根據(jù)物點(diǎn)P的投影過程,將式(3)和式(4)代入式(2),則有以下運(yùn)算過程

式中:a x=f/dx為u軸的尺度因子;a y=f/dy為v軸尺度因子;M1為內(nèi)參矩陣,只與攝像機(jī)的內(nèi)部參數(shù)有關(guān);M2為外參矩陣,由攝像機(jī)坐標(biāo)系和世界坐標(biāo)系決定;M為3×4階投影矩陣。

通過上述變換,每一個(gè)空間的物點(diǎn)都可以映射到像素坐標(biāo)系進(jìn)行表示。但在變換中,由于從三維空間變換到二維空間,即從空間域投射到面域,物體的深度信息出現(xiàn)多義性。例如空間中垂直于像素平面的多個(gè)點(diǎn),對(duì)應(yīng)于像素平面中的一個(gè)點(diǎn)。因此需要增加約束,才能正確表達(dá)空間的位置。

在輸電鐵塔聯(lián)結(jié)板的測(cè)量方案中,待測(cè)構(gòu)件的加工特征在一個(gè)平面內(nèi),因此可以通過增加構(gòu)件的測(cè)量放置位置約束來實(shí)現(xiàn),即將世界坐標(biāo)系中的Zw軸與攝像機(jī)的光軸(Zc軸)平行或重合,將待測(cè)構(gòu)件布置在世界坐標(biāo)系的OwXwYw平面內(nèi),在測(cè)量過程中,Zw和Zc為常量,進(jìn)而實(shí)現(xiàn)了式(5)中從(Xw,Yw)?(u,v)的單映射,即像素坐標(biāo)系中點(diǎn)和構(gòu)件中點(diǎn)一一對(duì)應(yīng),消除了測(cè)量過程中的多義性,從而實(shí)現(xiàn)輸電鐵塔聯(lián)結(jié)板的測(cè)量。

2 聯(lián)結(jié)板加工特征測(cè)量方法

2.1 攝像機(jī)的標(biāo)定

攝像機(jī)標(biāo)定采用張正友法,即利用標(biāo)準(zhǔn)的棋盤格標(biāo)定板進(jìn)行攝像機(jī)內(nèi)外參數(shù)和畸變系數(shù)的標(biāo)定,其核心思想是采用小孔成像的基本原理,利用標(biāo)準(zhǔn)標(biāo)定板和圖像中的角點(diǎn),計(jì)算出圖像和模板中的單映性矩陣,進(jìn)而求得攝像機(jī)的內(nèi)參矩陣、外參矩陣和畸變系數(shù)矩陣,其標(biāo)定原理詳見文獻(xiàn)[9]。內(nèi)參矩陣M1和外參矩陣M2構(gòu)成投影矩陣M,用于還原聯(lián)結(jié)板中的物理尺寸,畸變系數(shù)矩陣用于圖像的畸變矯正。

2.2 圖像的處理

在視覺測(cè)量中,數(shù)字圖像的處理是關(guān)鍵環(huán)節(jié),其流程如圖3所示。

圖3 圖像處理流程圖

1)圖像的初級(jí)處理,即圖像預(yù)處理,為圖像處理做準(zhǔn)備工作,其輸入的是圖像,輸出的也是圖像。主要包括圖像濾波和圖像增強(qiáng)等技術(shù)[10]。

圖像濾波用來消除或者削弱圖像的噪聲,常見的濾波方法由均值濾波、中值濾波和高斯濾波,可以根據(jù)不同的特性進(jìn)行相應(yīng)的濾波。

圖像增強(qiáng)是在工程檢測(cè)中,進(jìn)行灰度化處理,雖然丟失了色彩信息,但使圖像運(yùn)算變得簡(jiǎn)單高效。通過直方圖均衡化增強(qiáng)處理后,圖像的細(xì)節(jié)更加明顯,以便于特征的提取。

2)圖像的中級(jí)處理,即圖像分割,輸入為圖像,輸出為符號(hào)集,是圖像中目標(biāo)區(qū)域的邊緣集合,而不是整個(gè)圖像。包括圖像的閾值處理、連通域提取等。

閾值處理是指在原始圖像中,像素在給定的數(shù)值以上或以下,賦予確定的值。例如,在一幅8位的灰度圖像中,把超過100的像素點(diǎn)被設(shè)定為255,把低于100以下的設(shè)定為0,這就是一種閾值處理方法,形成了一個(gè)二進(jìn)制的影像。常見的閾值處理方法有二值化閾值處理、反二值化處理、截?cái)嚅撝堤幚?、超閾值處理以及低閾值處理?)圖像的高級(jí)處理,也叫做圖像理解或模式識(shí)別。其輸入為圖像分割后的符號(hào)集合,輸出為可以理解的物體、特征等。在輸電鐵塔聯(lián)結(jié)板加工特征測(cè)量中,主要包括:邊緣提取、直線的檢測(cè)與測(cè)量、圓特征的檢測(cè)與測(cè)量、角度的測(cè)量等。

邊緣提取是指包括聯(lián)結(jié)板的輪廓線和加工特征的邊緣的提取,利用Canny算子進(jìn)行邊緣檢測(cè),即計(jì)算圖像灰度變化的梯度和方向,求解出梯度值變化最大的點(diǎn),并記錄其位置和方向[10]。

直線的檢測(cè)與測(cè)量是利用Hough 變換進(jìn)行直線的檢測(cè),把所有直線的兩個(gè)端點(diǎn)保存成一個(gè)數(shù)組,計(jì)算兩個(gè)點(diǎn)的坐標(biāo)并計(jì)算向量,然后求出的向量長(zhǎng)度就是直線長(zhǎng)度。

圓特征的檢測(cè)與測(cè)量是圖像分割后,進(jìn)行漫水填充,去除構(gòu)件外輪廓。利用霍夫變換進(jìn)行圓特征檢測(cè),把所有的圓心坐標(biāo)和半徑保存成一個(gè)數(shù)組,以圓特征面積為準(zhǔn)則,進(jìn)行去重和消除錯(cuò)誤的識(shí)別。

角度的測(cè)量是針對(duì)兩條直線,計(jì)算其交點(diǎn)和其向量夾角,實(shí)現(xiàn)角度的測(cè)量。

3 聯(lián)結(jié)板測(cè)量實(shí)驗(yàn)與結(jié)果分析

利用本文提出的方法對(duì)實(shí)驗(yàn)構(gòu)件的機(jī)械加工特征進(jìn)行測(cè)量,將加工的孔特征分布在4個(gè)區(qū)域,并將測(cè)量結(jié)果與游標(biāo)卡尺的測(cè)量記過進(jìn)行對(duì)比,以驗(yàn)證本文提出方法的有效性。

3.1 測(cè)量實(shí)驗(yàn)條件

在實(shí)驗(yàn)室的環(huán)境中搭建了測(cè)量平臺(tái)。視覺測(cè)量系統(tǒng)硬件如圖4所示,其主要參數(shù)見表1。在Python3.8+Opencv4.6的環(huán)境下,開發(fā)了測(cè)量軟件。被測(cè)構(gòu)件如圖5所示,在實(shí)驗(yàn)構(gòu)件上加工了4組10個(gè)孔,分成3類,分別是?14.5 mm、?19.5 mm、?29 mm,其編號(hào)如圖5所示,孔徑以游標(biāo)卡尺的測(cè)量結(jié)果為基準(zhǔn),其尺寸見表2中的基準(zhǔn)尺寸。

表1 __系統(tǒng)硬件及其主要參數(shù)

表2 孔徑特征測(cè)量值及其誤差

圖4 測(cè)量實(shí)驗(yàn)系統(tǒng)

圖5 待測(cè)構(gòu)件

3.2 系統(tǒng)標(biāo)定

按照張正友法對(duì)系統(tǒng)進(jìn)行了標(biāo)定,采用12×9的棋盤格,角點(diǎn)間真實(shí)的物理距離為20±0.01 mm。通過采集不同角度12張標(biāo)定板圖像,進(jìn)行內(nèi)外參矩陣和畸變系數(shù)矩陣的求解。采集的圖像如圖6所示。

圖6 攝像機(jī)標(biāo)定圖像

計(jì)算出的相機(jī)內(nèi)參矩陣M1和畸變系數(shù)dist分別為

dist=[-0.109 0 0.155 1]單位像素代表的真實(shí)物理距離dpi=0.235 8 mm。

3.3 測(cè)量結(jié)果

采用本文提出的方法,對(duì)實(shí)驗(yàn)樣件進(jìn)行了測(cè)量,測(cè)量結(jié)果見表2。

3.4 誤差分析

將實(shí)驗(yàn)樣件聯(lián)結(jié)板的孔徑基準(zhǔn)尺寸和系統(tǒng)的測(cè)量值進(jìn)行對(duì)比,如表2所示。5號(hào)孔徑相對(duì)誤差最大1.03%,其絕對(duì)誤差為0.15 mm。7號(hào)孔徑的絕對(duì)誤差最大,其值為0.26 mm,其相對(duì)誤差為0.90%,均滿足國(guó)標(biāo)GB/T 2694-2018《輸電線路鐵塔制造技術(shù)條件》的要求。

綜合考慮10 個(gè)孔徑的平均相對(duì)誤差為0.67%,3 類孔徑的相對(duì)誤差分別為0.77%、0.76%和0.56%,均在一倍的標(biāo)準(zhǔn)差內(nèi),說明對(duì)于不同大小的孔徑,系統(tǒng)的測(cè)量精度無明顯差別。

考查最左邊的1號(hào)孔徑和7號(hào)孔徑的平均相對(duì)誤差為0.91%,最右邊的4號(hào)、6號(hào)和10號(hào)孔徑的平均誤差為0.39%。發(fā)現(xiàn)左邊孔徑的測(cè)量誤差明顯大于右邊孔徑,導(dǎo)致這種現(xiàn)象出現(xiàn)的原因是待測(cè)工件成像時(shí)其形心與攝像機(jī)的光軸不重合,以及光軸與待測(cè)物體表面不垂直造成的。

綜合測(cè)量實(shí)驗(yàn)過程和實(shí)驗(yàn)樣件孔徑特征的測(cè)量結(jié)果,本文提出方法的測(cè)量結(jié)果有效、可靠,能夠滿足GB/T 2694-2018《輸電線路鐵塔制造技術(shù)條件》的要求。

4 結(jié)論

聯(lián)結(jié)板是輸電鐵塔的重要構(gòu)件之一,在對(duì)聯(lián)結(jié)板的結(jié)構(gòu)特征進(jìn)行分析基礎(chǔ)上,建立了基于機(jī)器視覺的聯(lián)結(jié)板機(jī)械加工特征的視覺測(cè)量系統(tǒng)和算法。

1)采用實(shí)驗(yàn)環(huán)境中配置的視覺測(cè)量系統(tǒng)和50分度的游標(biāo)卡尺相比,孔徑大小的偏差在0.3 mm以內(nèi)。提高攝像機(jī)的分辨率,孔徑的精度可進(jìn)一步提高。

2)本文提出的測(cè)量方法可以取得較高的測(cè)量精度,能夠滿足國(guó)家標(biāo)準(zhǔn)要求,具有較高的工程價(jià)值。