基于人機(jī)交互和目標(biāo)檢測(cè)的端子圖像測(cè)量系統(tǒng)設(shè)計(jì)與研究

郭芳，王媛媛

基于人機(jī)交互和目標(biāo)檢測(cè)的端子圖像測(cè)量系統(tǒng)設(shè)計(jì)與研究

郭芳，王媛媛

（濰坊工程職業(yè)學(xué)院 信息工程系，山東 濰坊 262500）

：為了解決當(dāng)前線束端子截面難以用人眼方式完成品質(zhì)檢查問(wèn)題，基于軟件設(shè)計(jì)開(kāi)發(fā)和圖像測(cè)量分析技術(shù)，開(kāi)發(fā)出一套端子圖像測(cè)量分析軟件系統(tǒng)。首先，根據(jù)人工檢查流程做軟件需求分析和功能流程設(shè)計(jì)，形成標(biāo)準(zhǔn)化的工業(yè)軟件架構(gòu)和框架模塊。然后，結(jié)合相機(jī)軟體控制開(kāi)發(fā)和圖像采集分析，實(shí)現(xiàn)圖像測(cè)量任務(wù)集，達(dá)到對(duì)端子圖像目標(biāo)各個(gè)維度的測(cè)量目的。最后，將圖像測(cè)量模塊整合到軟件系統(tǒng)中，并且集成進(jìn)用戶登錄管理、加密狗管理、數(shù)據(jù)庫(kù)管理和報(bào)告管理，達(dá)到符合商業(yè)化落地標(biāo)準(zhǔn)的工業(yè)軟件系統(tǒng)。實(shí)驗(yàn)測(cè)試結(jié)果顯示，本系統(tǒng)有利于減輕人工肉眼檢查的負(fù)擔(dān)，為線束端子品質(zhì)檢查提高了精準(zhǔn)度和效率。

人機(jī)交互；目標(biāo)檢測(cè)；端子測(cè)量；軟件架構(gòu)；框架功能

電線線束的品質(zhì)檢測(cè)關(guān)系很多重要領(lǐng)域和行業(yè)，比如供電行業(yè)、汽車車身電子系統(tǒng)和其他用電設(shè)備，因此，線束中的端子截面測(cè)量業(yè)務(wù)非常重要。目前絕大部分廠家都還只是依靠品質(zhì)人員的肉眼完成端子測(cè)量工作，不僅測(cè)量準(zhǔn)確度有限，效率和穩(wěn)定性也不能保證。

在端子測(cè)量方面，國(guó)內(nèi)研究人員已經(jīng)取得了一定研究成果，如侯守明[1]針對(duì)傳統(tǒng)壓接端子檢測(cè)靠品檢人員目測(cè)判斷，精準(zhǔn)度低且耗時(shí)費(fèi)力的問(wèn)題，設(shè)計(jì)了C-V模型，通過(guò)能量函數(shù)來(lái)控制演化曲線[1]，實(shí)現(xiàn)線束端子斷面輪廓的自動(dòng)測(cè)量。但是該技術(shù)僅停留在算法層的實(shí)驗(yàn)室階段，沒(méi)有以標(biāo)準(zhǔn)化工業(yè)軟件作為載體，缺乏落地基礎(chǔ)和推廣性?；ㄆ鎇2]通過(guò)對(duì)端子截面外形特征分析，研究制定具體檢測(cè)方案，確定視覺(jué)選型；以LabVIEW搭配IMAQVision建立軟件系統(tǒng)[2]。但是，該技術(shù)使用了商業(yè)視覺(jué)軟件LabVIEW和IMAQVision，缺乏實(shí)際推廣性，而且商業(yè)軟件缺乏底層靈活性，在復(fù)雜多變的工業(yè)需求場(chǎng)景下，往往不能同時(shí)滿足測(cè)量需求。王彥朝[3]從圖像采集、測(cè)量、標(biāo)定角度來(lái)完成對(duì)端子截面測(cè)量；通過(guò)視覺(jué)選型設(shè)計(jì)，采用亞像素檢測(cè)，可以解決一定場(chǎng)景下的端子測(cè)量任務(wù)，但未考慮亞像素角點(diǎn)測(cè)量耗時(shí)大，且缺乏系統(tǒng)的標(biāo)準(zhǔn)軟件作為測(cè)量功能的載體，在特定的場(chǎng)景中，算法測(cè)量效果一般會(huì)有所下降。

本研究當(dāng)中的測(cè)量對(duì)象是端子截面，根據(jù)品質(zhì)檢查流程，開(kāi)發(fā)出標(biāo)準(zhǔn)工業(yè)軟件系統(tǒng)，根據(jù)各種型號(hào)的端子截面特征，開(kāi)發(fā)出端子截面測(cè)量算法工具集。本文結(jié)合人機(jī)交互軟件工程與目標(biāo)檢測(cè)工具集，設(shè)計(jì)并開(kāi)發(fā)了一套線束端子截面測(cè)量軟件系統(tǒng)。本文解決兩個(gè)問(wèn)題：實(shí)現(xiàn)端子截面測(cè)量，解決肉眼難以精準(zhǔn)測(cè)量的問(wèn)題；實(shí)現(xiàn)工業(yè)級(jí)軟件系統(tǒng)，解決品質(zhì)人員操作復(fù)雜和產(chǎn)出不穩(wěn)定問(wèn)題。

1 端子測(cè)量系統(tǒng)設(shè)計(jì)

首先本課題組在實(shí)際工廠中收集各種常見(jiàn)型號(hào)的端子樣品，收集當(dāng)下品質(zhì)人員檢查端子的流程和標(biāo)準(zhǔn)。根據(jù)這些信息，展開(kāi)系統(tǒng)需求分析，并反復(fù)與廠家品檢負(fù)責(zé)人員討論確認(rèn)，迭代優(yōu)化整體解決方案。本文系統(tǒng)流程設(shè)計(jì)如圖1所示。基于標(biāo)準(zhǔn)件，完成系統(tǒng)校準(zhǔn)，得到不同放大倍數(shù)下物理尺寸和像素尺寸的映射關(guān)系。接著，基于DirectShow開(kāi)發(fā)相機(jī)控制驅(qū)動(dòng)，達(dá)到系統(tǒng)對(duì)相機(jī)的控制，為采集圖像做好準(zhǔn)備。最后結(jié)合圖像測(cè)量算法和人機(jī)交互軟件功能，形成多種端子測(cè)量工具，得到測(cè)量結(jié)果，生成測(cè)量報(bào)告。待識(shí)別原圖如圖2所示，圖像中為端子截面，需要對(duì)高度、寬度等一系列指標(biāo)進(jìn)行測(cè)量。

1.1 基于工業(yè)軟件系統(tǒng)的人機(jī)交互

為了系統(tǒng)可以準(zhǔn)確測(cè)量端子橫截面，首先進(jìn)行系統(tǒng)校準(zhǔn)，目的是為了把不同放大倍率下的圖像像素坐標(biāo)與物理尺寸進(jìn)行統(tǒng)一，并形成映射計(jì)算關(guān)系。如圖3所示，在1.5放大倍數(shù)下，將標(biāo)準(zhǔn)件放在相機(jī)視野內(nèi)，調(diào)整廣源和相機(jī)焦距，達(dá)到圖像清晰為止。本系統(tǒng)開(kāi)發(fā)出的測(cè)量工具，經(jīng)過(guò)人機(jī)交互調(diào)整，放在4cm到6cm處，可見(jiàn)2cm距離對(duì)應(yīng)395像素，同理推廣到1倍、0.75放大倍數(shù)上，從而完成校準(zhǔn)，接著基于DirectShow開(kāi)發(fā)相機(jī)設(shè)置函數(shù)功能，如圖4所示。增益作為相機(jī)關(guān)鍵參數(shù)，代表放大系數(shù)，當(dāng)不想調(diào)節(jié)曝光時(shí)間時(shí)，調(diào)整增益；增益越大，噪點(diǎn)越大。白平衡的目的就是在不同情況下，相機(jī)拍攝的圖像白色區(qū)域始終為白色，這需要對(duì)紅色、綠色和藍(lán)色道進(jìn)行調(diào)整，本系統(tǒng)同時(shí)保留自動(dòng)白平衡和手動(dòng)調(diào)整白平衡的接口。本研究設(shè)計(jì)的自動(dòng)白平衡原理為：先計(jì)算各通道的顏色均值，然后計(jì)算通道增益，最后調(diào)整各個(gè)通道顏色值，達(dá)到白平衡調(diào)整目的。

圖1 系統(tǒng)框架

圖2 待測(cè)量圖像

圖3 系統(tǒng)校準(zhǔn)

圖4 相機(jī)設(shè)置

圖5 測(cè)量工具

如圖5所示，進(jìn)行端子截面測(cè)量，本系統(tǒng)以控件形式開(kāi)發(fā)出測(cè)量工具，控件支持手動(dòng)調(diào)整，將控件兩端放置在端子截面的兩端，即待測(cè)目標(biāo)的兩側(cè)，由于控件工具實(shí)時(shí)獲取所在坐標(biāo)像素，即實(shí)時(shí)完成起止坐標(biāo)位置的像素差，完成計(jì)算測(cè)量同時(shí)顯示測(cè)量結(jié)果于端子截面上，以文本形式顯示測(cè)量結(jié)果。如圖6所示，本系統(tǒng)對(duì)端子截面各項(xiàng)參數(shù)完成測(cè)量，數(shù)據(jù)記錄在后臺(tái)，系統(tǒng)自動(dòng)提取后臺(tái)測(cè)量結(jié)果，并且生成測(cè)量報(bào)告，并且軟件系統(tǒng)支持報(bào)告修改和微調(diào)，保存后可以打印。

1.2 目標(biāo)檢測(cè)與測(cè)量

在實(shí)際落地場(chǎng)景中，需要采集大量端子樣本圖像用于學(xué)習(xí)研究和測(cè)試，本課題組采集了1000幀端子圖像，涵蓋各種型號(hào)。首先采用基于OpenCV的目標(biāo)檢測(cè)，這種方式可以檢測(cè)出大部分端子目標(biāo)，少部分情況，檢測(cè)到的效果會(huì)有一定程度的受到影響，這種案例較少，針對(duì)這種問(wèn)題可采取人工介入的一種方式，就可以保證檢測(cè)效率以及檢測(cè)質(zhì)量。

為了增強(qiáng)端子圖像特性，進(jìn)行直方圖均衡化處理[4-5]：

其中，,代表圖像高、寬，histo()代表像素灰度值是的像素個(gè)數(shù)。

其中，histo代表輸出直方圖，histi代表輸入圖的直方圖，和分別代表圖像處理前后的灰度級(jí)，并以此建立一個(gè)均衡化映射關(guān)系[6-7]：

隨后，對(duì)式(3)進(jìn)行轉(zhuǎn)化，得到值：

其中，值代表經(jīng)過(guò)均衡化后的像素灰度映射值。

再對(duì)輸出的直方圖進(jìn)行圖像矩陣化處理[8-10]：

其中，代表像素值，代表輸入像素值[8-10]。

在完成直方圖的均衡化處理之后，再檢測(cè)端子，本研究其中利用開(kāi)源視覺(jué)庫(kù)函數(shù)[11]檢測(cè)到并保存到目標(biāo)外接的矩形大小，得到測(cè)量值。完成測(cè)量后，進(jìn)行數(shù)據(jù)后臺(tái)存儲(chǔ)。本系統(tǒng)先建立深軟件框架結(jié)構(gòu)，集成測(cè)量工具，完善測(cè)量機(jī)制，達(dá)到精確測(cè)量的目的，同時(shí)形成自動(dòng)測(cè)量。圖像采集完成后自動(dòng)測(cè)量，提高了測(cè)量工程效率及質(zhì)量。

本方法在圖像直方圖均衡化基礎(chǔ)上，展開(kāi)圖像測(cè)量工作，各個(gè)測(cè)量任務(wù)主要是通過(guò)開(kāi)發(fā)測(cè)量控件完成。每個(gè)控件采用人機(jī)交互式的軟件工程開(kāi)發(fā)實(shí)現(xiàn)，比如距離測(cè)量，取距離測(cè)量控件起點(diǎn)和終點(diǎn)的像素差值，計(jì)算出距離值。

如圖7所示，本系統(tǒng)對(duì)端子截面目標(biāo)測(cè)量準(zhǔn)確。如圖8所示，本系統(tǒng)對(duì)端子截面目標(biāo)的夾角角度測(cè)量準(zhǔn)確。

圖7 自動(dòng)測(cè)量結(jié)果

圖8 自動(dòng)測(cè)量結(jié)果

2 實(shí)驗(yàn)與討論

本文系統(tǒng)基于QT平臺(tái)開(kāi)發(fā)實(shí)現(xiàn)，測(cè)量工具基于opencv開(kāi)發(fā)實(shí)現(xiàn)。

如圖9所示，本系統(tǒng)界面，功能有：“距離測(cè)量工具”“面積測(cè)量工具”“角度測(cè)量工具”“計(jì)數(shù)測(cè)量工具”“系統(tǒng)校準(zhǔn)”“相機(jī)控制”“報(bào)告編輯生成”和“用戶管理”。待識(shí)別的圖像，如圖9中部所示，待識(shí)別的端子邊緣有一定模糊度，對(duì)測(cè)量工作有一定的影響。

本研究根據(jù)品質(zhì)檢查流程，開(kāi)發(fā)出標(biāo)準(zhǔn)工業(yè)軟件系統(tǒng)，根據(jù)各種型號(hào)的端子截面特征，開(kāi)發(fā)出端子截面測(cè)量算法工具集；結(jié)合人機(jī)交互軟件工程與目標(biāo)檢測(cè)工具集，設(shè)計(jì)并開(kāi)發(fā)了一套線束端子截面測(cè)量軟件系統(tǒng)。如圖10所示，可見(jiàn)本研究測(cè)量正確且穩(wěn)定，圖中檢出各項(xiàng)測(cè)量結(jié)果。

便于對(duì)比類似計(jì)數(shù)，驗(yàn)證本系統(tǒng)先進(jìn)性，將對(duì)照組1, 2進(jìn)行對(duì)比，依次采用文獻(xiàn)[1], [2]的技術(shù)，在系統(tǒng)內(nèi)進(jìn)行測(cè)試對(duì)比研究效果。文獻(xiàn)[1]設(shè)計(jì)了C-V模型，通過(guò)能量函數(shù)來(lái)控制演化曲線，實(shí)現(xiàn)線束端子斷面輪廓的自動(dòng)測(cè)量。該研究成果解決了一定量的測(cè)量問(wèn)題，但輪廓演化方式的初始演化線需要人工選擇才能達(dá)到良好效果[1]。如圖11所示，端子目標(biāo)雖然檢測(cè)正確，但測(cè)量沒(méi)成功，不能較好的完成端子測(cè)量。文獻(xiàn)[2]通過(guò)對(duì)端子截面外形特征分析，研究制定具體檢測(cè)方案，確定視覺(jué)選型；以LabVIEW搭配IMAQVision建立軟件系統(tǒng)，缺乏實(shí)際推廣性，而且商業(yè)軟件缺乏底層靈活性，在復(fù)雜多變的工業(yè)需求場(chǎng)景下，往往不能同時(shí)滿足測(cè)量需求。如圖12所示，當(dāng)檢測(cè)有誤時(shí)，導(dǎo)致測(cè)量不出結(jié)果。

圖9 系統(tǒng)界面圖及待測(cè)量圖像

圖10 本文算法測(cè)量結(jié)果

圖11 文獻(xiàn)[1]的測(cè)量結(jié)果

圖12 文獻(xiàn)[2]的測(cè)量結(jié)果

3 結(jié)束語(yǔ)

便于解決當(dāng)前端子圖像特征難以用人工測(cè)量的方式，穩(wěn)定高效輸出的問(wèn)題，本文分別從軟件系統(tǒng)、端子樣本圖像、測(cè)量工具集出發(fā)，設(shè)計(jì)軟件操作流程、測(cè)量算法工具集，并集成開(kāi)發(fā)出標(biāo)準(zhǔn)化的工業(yè)軟件系統(tǒng)，建立起一套健壯的端子圖像測(cè)量機(jī)制。為端子圖像測(cè)量的準(zhǔn)確性以及穩(wěn)定性，提供算法保證以及軟件基礎(chǔ)。

繼續(xù)要解決的問(wèn)題是軟件升級(jí)，提高到無(wú)人工干預(yù)的狀態(tài)，實(shí)現(xiàn)自動(dòng)化及智能化，更好的提高工作效率和端子的品質(zhì)。

[1]侯守明. 基于C-V模型的線束端子斷面測(cè)量系統(tǒng)設(shè)計(jì)[J]. 測(cè)控技術(shù)，2015, 3(5): 23-27

[2] 花奇. 基于LabVIEW的機(jī)器視覺(jué)檢測(cè)系統(tǒng)設(shè)計(jì)及其在硬盤(pán)連接器生產(chǎn)中的應(yīng)用[D]. 南通：南華大學(xué)，2015: 25-32

[3]王彥朝. 基于機(jī)器視覺(jué)的端子高低針檢測(cè)系統(tǒng)研究[D].哈爾濱：黑龍江大學(xué)，2018: 45-52

[4] Choo M. Image contrast enhancement based on genetic algorithm using a variant histogram equalization[J]. The Journal of Image and Cultural Contents, 2018, 14(11): 219-230

[5] Abdoon R S, Khudair O S. Employing histogram equalization enhancement technique to segment different medical images of three organs [J]. Journal of Advanced Microscopy Research, 2018, 13(4): 494-502

[6] 李亮，李棟. 一種基于FPGA的實(shí)時(shí)直方圖均衡化的方法[J]. 自動(dòng)化應(yīng)用，2015, 12(10): 21-23

[7] 陳博洋. 彩色遙感圖像的亮度直方圖局部線性化增強(qiáng)[J]. 光學(xué)精密工程，2018, 25(2): 502-508

[8] 張美玉，王洋洋，侯向輝. 基于ORB和改進(jìn)的RANSAC圖像拼接算法[J]. 計(jì)算機(jī)科學(xué)，2019, 27(S2): 294-298

[9] 蘇金鳳，張貴倉(cāng)，汪凱. 圖像差與加權(quán)核范數(shù)最小化的壓縮圖像融合[J]. 計(jì)算機(jī)工程與科學(xué)，2019, 41(10): 1785-1794

[10]張琳娜，岑翼剛. 鐵軌圖像的低秩矩陣分解缺陷檢測(cè)[J]. 信號(hào)處理，2019, 35(4): 667-675

[11] 向洋. 混合樣本融合邊緣信息的單樣本人臉識(shí)別研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2019, 8(4): 31-36

Application of terminal image measurement system based on human computer interaction and target detection

GUO Fang，WANG Yuan-yuan

(Department of Information Engineering, Weifang Engineering Vocational College, Shandong Weifang 262500, China)

In order to solve the problem that it is difficult to complete the quality inspection of wire harness terminal section by human eyes, this study develops a terminal image measurement and analysis software system based on software design and development and image measurement and analysis technology. First of all, according to the manual inspection process, do software requirements analysis and functional process design to form a standardized industrial software architecture and framework module. Then combined with camera software control development and image acquisition and analysis, the image measurement task set is realized to achieve the measurement purpose of each dimension of terminal image target. Finally, the image measurement module is integrated into the software system, and integrated into the user login management, softdog management, database management and report management, so as to meet the commercial landing standard of industrial software system. The experimental results show that the system can reduce the burden of manual visual inspection, and improve the accuracy and efficiency for the quality inspection of wiring harness terminals.

human computer interaction；target detection；terminal measurement；software architecture；framework function

2020-08-18

濰坊市科技發(fā)展計(jì)劃項(xiàng)目“基于物聯(lián)網(wǎng)的智能交通信息采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)”（2017GX099）；山東省職業(yè)教育與成人教育科學(xué)研究“十二五”規(guī)劃課題“基于職業(yè)能力發(fā)展的中高職課程銜接研究——以計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)為例”（2015zcj108）

郭芳（1983-），女，山東諸城人，講師，碩士，主要從事計(jì)算機(jī)應(yīng)用，通信電子方面研究，303207877@qq.com。

TP391.41

A

1007-984X(2021)01-0047-04