鐵路貨車裝載超限的無人機(jī)視覺檢測(cè)技術(shù)

汪怡然，阮欣培，李鵬舜，李少爽，劉雪勇，楊 岳

（1.中南大學(xué) 交通運(yùn)輸工程學(xué)院， 長沙 410075；2.中南大學(xué) 信息科學(xué)與工程學(xué)院，長沙 410075）

鐵路是國民經(jīng)濟(jì)基礎(chǔ)性行業(yè)，保證鐵路生產(chǎn)安全和運(yùn)輸效率意義重大。而在實(shí)際運(yùn)輸過程中，由于貨車裝載超限，經(jīng)常影響鄰線行車安全，甚至導(dǎo)致列車脫軌[1]。因此，需要一種簡便有效的超限檢測(cè)方法，幫助貨檢員精準(zhǔn)確定貨物超限位置和等級(jí)，以便有針對(duì)性地調(diào)整貨物裝載狀態(tài)，制定更合理的運(yùn)輸方案。

目前，鐵路貨車的裝載超限檢測(cè)大多依靠人工測(cè)量完成，這種檢測(cè)方式不僅速度慢、精度差，而且存在著一定的安全隱患[2]。國內(nèi)外嘗試采用紅外[3]、激光[4]、雷達(dá)和光學(xué)理論測(cè)算[5]技術(shù)，研制出各種地面式[6]、手持式[7]和車載式檢測(cè)設(shè)備，但這些檢測(cè)設(shè)備價(jià)格昂貴且需要特殊布置的測(cè)量場(chǎng)景；測(cè)量精度依賴于所搭建機(jī)械的結(jié)構(gòu)精度，不容易控制。另外，現(xiàn)有的檢測(cè)手段僅能針對(duì)普通貨物列車進(jìn)行檢測(cè)，對(duì)于使用特殊條件運(yùn)輸?shù)某挢浳锪熊嚐o法按照需要調(diào)整檢測(cè)標(biāo)準(zhǔn)。

針對(duì)上述缺陷，本文研究了一種高精度、低成本的超限檢測(cè)方法，通過無人機(jī)獲取貨車裝載的單目多視角圖像，以此為基礎(chǔ)進(jìn)行貨車裝載外形的三維重建，并將貨車裝載的三維模型與超限檢定模型進(jìn)行比對(duì)，實(shí)現(xiàn)鐵路貨車貨物裝載的全面精確檢測(cè)。

1 研究方案

無人機(jī)視覺檢測(cè)技術(shù)通過人工操控或依照無人機(jī)飛行姿態(tài)模型，確定無人機(jī)的飛行軌跡，利用無人機(jī)針對(duì)待檢貨車拍攝多視角圖像。基于拍攝到的圖像，在圖形工作站中還原貨車等比例的三維實(shí)物模型，并與超限檢定模型嵌套比對(duì)，根據(jù)模型三視圖和三維透視圖的顯示情況，確定超限位置并判定超限等級(jí),具體方案如圖1所示。

圖 1 貨車裝載超限的無人機(jī)視覺檢測(cè)技術(shù)方案

2 無人機(jī)飛行姿態(tài)模型

為了獲取貨車裝載的三維實(shí)物模型，無人機(jī)必須在不同方位獲取待檢測(cè)貨車的多個(gè)圖像。無人機(jī)的拍攝位置與拍攝圖像張數(shù)將直接影響三維實(shí)物模型重建的速度與精度。若拍攝的圖像過多，處理速度會(huì)大幅下降；若圖像過少，則檢測(cè)精度不高。為確定最佳拍攝位置，獲得最優(yōu)的檢測(cè)結(jié)果，提出以下無人機(jī)飛行姿態(tài)模型。

2.1 模型假設(shè)與參數(shù)設(shè)置

（1）無人機(jī)拍攝時(shí)不能沿曲線移動(dòng)，只能以“直上直下”的形式變換拍攝位置；

（2）定義一個(gè)長方體，該長方體能將鐵路建筑限界剛好完全包裹。若此長方體的8個(gè)頂點(diǎn)皆位于拍攝范圍內(nèi)，則整列貨車一定可以被完全拍入圖像中。

設(shè)相機(jī)機(jī)位坐標(biāo)為（x0,y0, z0），光軸與車輛橫中心線所在平面夾角為α，與水平面的夾角為 β。

2.2 目標(biāo)函數(shù)

（1）為確認(rèn)空間點(diǎn)位于圖像的拍攝范圍，需要完成空間坐標(biāo)向圖像坐標(biāo)的維度轉(zhuǎn)換。用一個(gè)點(diǎn)O作為原點(diǎn)，使得實(shí)物上的點(diǎn)Q以及無人機(jī)相機(jī)的坐標(biāo)分別表示為相對(duì)于點(diǎn)O的坐標(biāo)（xw,yw, zw）,（x0,y0, z0）。利用相機(jī)外參數(shù)矩陣可得：

式（1）中，（xc,yc, zc）表示空間點(diǎn)在相機(jī)坐標(biāo)系OcXcYcZc中的坐標(biāo)，cMw是外參數(shù)矩陣。

（2）根據(jù)小孔成像原理，利用相機(jī)內(nèi)參數(shù)矩陣Min，將空間點(diǎn)轉(zhuǎn)換為其在圖像中的像素點(diǎn)位(u,v)：

若a,b, c,d為圖像4個(gè)邊界距主點(diǎn)坐標(biāo)的距離，要使得實(shí)物上的點(diǎn)Q在拍攝范圍內(nèi)，應(yīng)有如下關(guān)系：

2.3 精度約束

根據(jù)三維模型重建原則，所提供的相鄰兩張圖像的重合率不應(yīng)該低于60%。若每張圖像的拍攝范圍表示為像素點(diǎn)的積分，則相鄰兩張圖像的共同拍攝區(qū)域可表示為：

進(jìn)而得到重合面積約束：

3 相機(jī)內(nèi)參標(biāo)定

無人機(jī)飛行姿態(tài)模型的求解關(guān)鍵在于求出無人機(jī)相機(jī)的內(nèi)外參數(shù)矩陣，其中，外參數(shù)可以通過坐標(biāo)系轉(zhuǎn)換求得，而內(nèi)參數(shù)需要借助MATLAB相機(jī)標(biāo)定工具箱和靶標(biāo)進(jìn)行標(biāo)定。

3.1 標(biāo)定實(shí)驗(yàn)環(huán)境

在此次對(duì)攝像機(jī)內(nèi)參數(shù)的標(biāo)定實(shí)驗(yàn)中，采用基于平面標(biāo)定板的相機(jī)標(biāo)定方法[8]。在這種標(biāo)定方法中，標(biāo)定所用的靶標(biāo)應(yīng)滿足下列要求：

（1）相對(duì)于周邊環(huán)境，特征圖案應(yīng)易于識(shí)別，構(gòu)圖簡單，易于視覺系統(tǒng)能夠快速進(jìn)行圖像處理；

（2）圖案應(yīng)包含足夠的信息，如點(diǎn)、線或區(qū)域。

在攝像機(jī)標(biāo)定過程中，由于攝像機(jī)固定不動(dòng)，平面靶標(biāo)按不同姿態(tài)擺置，所以，攝像機(jī)的內(nèi)部參數(shù)始終不變，發(fā)生變化的只是外部參數(shù)。標(biāo)定實(shí)驗(yàn)可以多次采集平面靶標(biāo)圖像，然后計(jì)算出攝像機(jī)內(nèi)參數(shù)。這種標(biāo)定方法不僅對(duì)設(shè)備要求低，操作也比較簡單，也不需要高精度的標(biāo)定板，具有很強(qiáng)的魯棒性，實(shí)用性比較強(qiáng)。

3.2 標(biāo)定過程與結(jié)果

本次實(shí)驗(yàn)采用MATLAB相機(jī)標(biāo)定工具箱[9]，并根據(jù)實(shí)際情況對(duì)標(biāo)定工具箱內(nèi)部程序進(jìn)行適當(dāng)修改，實(shí)現(xiàn)棋盤格標(biāo)定。靶面尺寸為2/3 inch，標(biāo)定靶標(biāo)為黑白棋盤格標(biāo)定板，方格子數(shù)目為12×9，方格尺寸為30 mm×30 mm。標(biāo)定流程如圖2所示。

圖 2 相機(jī)參數(shù)標(biāo)定流程

（1）將攝像機(jī)水平放置并保證Z軸垂直，采集不同姿態(tài)的標(biāo)定板圖像。最后的標(biāo)定效果與采集圖像數(shù)量有關(guān)，為了獲取更詳細(xì)的鏡頭畸變信息，在保證標(biāo)定圖像質(zhì)量的前提下，采集圖像時(shí)應(yīng)讓棋盤占據(jù)盡可能多的畫面，這樣可提高最后標(biāo)定結(jié)果的精度。

（2）通過Extract grid corners命令對(duì)多組平面標(biāo)靶角點(diǎn)及網(wǎng)格點(diǎn)進(jìn)行提取。每張圖像以距離自己最遠(yuǎn)的頂點(diǎn)為起點(diǎn)，然后按照相同的順序，依次手動(dòng)選取標(biāo)定板網(wǎng)格的4個(gè)角點(diǎn)，程序會(huì)根據(jù)所選角點(diǎn)對(duì)其他角點(diǎn)進(jìn)行預(yù)測(cè)定位。根據(jù)角點(diǎn)預(yù)測(cè)結(jié)果，觀察角點(diǎn)預(yù)測(cè)匹配是否最佳，對(duì)于匹配比較差的圖像，可以添加畸變系數(shù)進(jìn)行調(diào)整。

（3）通過優(yōu)化算法，對(duì)自動(dòng)提取的平面標(biāo)靶中的網(wǎng)格點(diǎn)進(jìn)行優(yōu)化，最后提取亞像素的網(wǎng)格坐標(biāo)。

（4）依次對(duì)12幅圖像進(jìn)行角點(diǎn)提取，通過網(wǎng)格點(diǎn)坐標(biāo)計(jì)算攝像機(jī)內(nèi)參數(shù)變化矩陣，對(duì)計(jì)算結(jié)果進(jìn)行偏差估計(jì)并且使其可視化。

標(biāo)定過程中，圖像角點(diǎn)提取的誤差過大，將會(huì)嚴(yán)重影響標(biāo)定精度?？梢酝ㄟ^如圖3所示的誤差分析圖，找出誤差主要來源的圖像序號(hào)，再重新提取角點(diǎn)或直接剔除圖像，以提高標(biāo)定精度。

圖 3 相機(jī)標(biāo)定像素誤差分析圖

經(jīng)過相機(jī)標(biāo)定實(shí)驗(yàn)，得主點(diǎn)坐標(biāo)為 [1 236.222 56 1 626.530 88]，焦距坐標(biāo)為[2 809.399 64 2 809.402 52]，從而確定相機(jī)內(nèi)參數(shù)如下：

獲得相機(jī)內(nèi)參數(shù)后，即可求解無人機(jī)飛行姿態(tài)模型，獲取無人機(jī)最佳飛行軌跡和拍攝位置。

4 貨車實(shí)物裝載的三維模型重建

4.1 三維重建原理

由無人機(jī)拍攝所得的各張圖像投影中心出發(fā)，經(jīng)過一對(duì)同名點(diǎn)的兩條直線會(huì)在空間中交會(huì)于一點(diǎn)，即該點(diǎn)在真實(shí)場(chǎng)景中的三維坐標(biāo)。通過圖像間對(duì)應(yīng)像素間的視差，可反推出圖像中目標(biāo)物體的空間幾何形狀和位置，從而實(shí)現(xiàn)三維模型的重構(gòu)。以圖4為例，假設(shè)在兩張圖像上有一對(duì)同名點(diǎn)，位于左片的PL點(diǎn)和位于右片的PR點(diǎn)，則由兩張圖像的投影中心出發(fā)分別經(jīng)過這一對(duì)同名點(diǎn)的兩條直線在空間中交會(huì)于P，可以恢復(fù)出真實(shí)場(chǎng)景中物體表面上某一點(diǎn)的三維坐標(biāo)[10]。

根據(jù)以上初步的配合比（02號(hào)）中水膠比和砂率按《水工混凝土試驗(yàn)規(guī)程》（SL352-2006）規(guī)定進(jìn)行調(diào)整，水膠比增減0.05、砂率相應(yīng)增減1%，得出01和03號(hào)調(diào)整后的配合比進(jìn)行試配，如表6共3個(gè)配合比進(jìn)行試配，表7為3組配合比試配后得出各項(xiàng)混凝土性能指標(biāo)。

圖 4 三維重建原理圖

4.2 C64貨車模型重建

此處，采用1臺(tái)縮小版的C64敞車模型進(jìn)行有關(guān)試驗(yàn)，其上搭載布袋和木箱模擬貨物，檢測(cè)貨車裝載超限情況。使用無人機(jī)環(huán)繞模型拍攝了110張圖像后，導(dǎo)入三維重建軟件PhotoScan中。系統(tǒng)將匹配出每張圖像的拍攝視角和相機(jī)機(jī)位，并獲得敞車模型點(diǎn)云。完成后續(xù)操作即可得到重建的敞車裝載三維模型，重建結(jié)果與實(shí)物效果對(duì)比如圖5所示。

圖 5 貨車裝載實(shí)物與重建結(jié)果

5 基于3ds Max的限界檢測(cè)與判定

5.1 建立超限檢定模型

預(yù)先繪制用于超限判定的超限檢定模型?？紤]到鐵路上將貨車超限劃分為3個(gè)等級(jí)，因此需要根據(jù)規(guī)定尺寸，分別繪制3個(gè)檢定模型。如圖6所示，得到的檢定模型和實(shí)物模型表面顏色各不相同，為后期的超限檢測(cè)判定提供了方便。繪制模型時(shí)，尺寸可根據(jù)需求調(diào)整，從而更好地適應(yīng)不同運(yùn)輸條件下的貨車裝載超限檢測(cè)。

5.2 檢測(cè)與判定

將重建得到的三維貨車模型導(dǎo)入3ds Max中，用旋轉(zhuǎn)工具調(diào)整三維模型的角度，在材質(zhì)編輯器中調(diào)整模型的透明度和顏色，根據(jù)實(shí)際情況設(shè)置3ds Max中的系統(tǒng)單位。

圖 6 限界標(biāo)準(zhǔn)模型

（1）為了充分展現(xiàn)利用三維模型進(jìn)行檢測(cè)的優(yōu)勢(shì)，使得判定結(jié)果更為直觀，需要將超限檢定模型和貨車模型按照同一基準(zhǔn)嵌套，利用三維視圖實(shí)現(xiàn)超限檢測(cè)判定。正常情況下，載貨貨車應(yīng)被三級(jí)限界層層包裹；若貨物超限，則會(huì)突出相應(yīng)的限界輪廓線，根據(jù)突出情況即可判定超限等級(jí)。由圖7可見，此處貨物超出了代表機(jī)車車輛限界的藍(lán)色輪廓，整體判定為一級(jí)超限。超限的具體數(shù)值，可在三視圖中使用測(cè)距功能量取，通過讀取俯視圖的y坐標(biāo)差可得出超寬的具體數(shù)值，通過讀取正視圖的z坐標(biāo)差可得出超高的具體數(shù)值。

圖 7 整體超限判定

（2）通過透視圖觀察，可得到準(zhǔn)確的超限位置和超限量。若貨物未超出限界，則對(duì)應(yīng)檢定模型表面顏色均一、光滑；若貨物超限，則表面會(huì)有灰色部分顯現(xiàn)。如圖8所示，此處由于貨物屬于一級(jí)超限，僅有機(jī)車車輛限界表面顯現(xiàn)出灰色部分。這些灰色區(qū)域也就是需要進(jìn)行調(diào)整的貨物位置。

5.3 檢測(cè)精度

如表1所示，量取重建敞車模型的相應(yīng)數(shù)據(jù)，所得結(jié)果與手測(cè)值基本一致，誤差在±2 mm左右，精度高，檢測(cè)結(jié)果可信。

圖 8 裝載超限分析

表 1 貨物裝載檢測(cè)精度

6 結(jié)束語

針對(duì)鐵路貨車裝載狀態(tài)，用無人機(jī)飛行姿態(tài)模型對(duì)航拍位置進(jìn)行規(guī)劃，運(yùn)用無人機(jī)航拍和三維重建技術(shù)實(shí)現(xiàn)超限檢測(cè)，大幅度提升了鐵路貨物裝載超限檢測(cè)的靈活性，降低了檢測(cè)成本。本文所提出的超限檢測(cè)手段相比于現(xiàn)有檢測(cè)方法主要有以下優(yōu)勢(shì)：

（1）無人機(jī)視覺檢測(cè)技術(shù)不同于傳統(tǒng)的平面檢測(cè)方式，通過重建出待檢測(cè)貨車的三維模型實(shí)現(xiàn)超限檢測(cè)，操作簡便，判定結(jié)果更為直觀，精度較高。

（2）超限檢定模型可根據(jù)不同運(yùn)輸條件靈活調(diào)整，比現(xiàn)有檢測(cè)手段的適用范圍廣，檢測(cè)成本低。

（3）能夠準(zhǔn)確判定貨物超限等級(jí)、類型和裝載位置，便于貨檢員有針對(duì)性地?fù)Q裝整理。

未來可以依據(jù)無人機(jī)飛行姿態(tài)模型預(yù)定義飛行軌跡，實(shí)現(xiàn)自動(dòng)化的超限檢測(cè)；根據(jù)鐵路各運(yùn)行區(qū)段的限界要求，建立超限檢定模型數(shù)據(jù)庫，將能更好地發(fā)揮無人機(jī)視覺檢測(cè)技術(shù)的優(yōu)越性。