基于圖像識(shí)別的聯(lián)鎖系統(tǒng)自動(dòng)測(cè)試技術(shù)研究

孫志科

（北京全路通信信號(hào)研究設(shè)計(jì)院集團(tuán)有限公司，北京 100070）

1 概述

為提高列車運(yùn)行控制系統(tǒng)中各類安全產(chǎn)品仿真測(cè)試的工作效率，同時(shí)保證測(cè)試質(zhì)量的穩(wěn)定性及測(cè)試結(jié)果的一致性，采用自動(dòng)化測(cè)試技術(shù)代替人工測(cè)試，已經(jīng)成為鐵路信號(hào)安全產(chǎn)品仿真測(cè)試技術(shù)發(fā)展的必然趨勢(shì)。

2 基于通信接口的聯(lián)鎖軟件自動(dòng)測(cè)試工具軟件

聯(lián)鎖軟件是計(jì)算機(jī)聯(lián)鎖產(chǎn)品的核心，它的軟件功能及配置數(shù)據(jù)的正確性直接影響車站的行車安全及運(yùn)輸效率。因此，在研究計(jì)算機(jī)聯(lián)鎖產(chǎn)品自動(dòng)化測(cè)試技術(shù)的初期，各類測(cè)試工具軟件均只將聯(lián)鎖軟件作為被測(cè)對(duì)象，基于通信接口進(jìn)行數(shù)據(jù)交互，其原理如圖1所示。

圖1 基于通信接口的聯(lián)鎖軟件自動(dòng)測(cè)試工具Fig.1 Automatic test tool for interlocking software based on communication interface

通過控顯軟件與聯(lián)鎖軟件之間的通信接口A，測(cè)試工具軟件向聯(lián)鎖軟件輸入各種操作命令，例如：辦理進(jìn)路、單操道岔等；通過I/O接口仿真軟件與聯(lián)鎖軟件之間的通信接口B，測(cè)試工具軟件可以獲得信號(hào)設(shè)備的狀態(tài)信息（例如：區(qū)段狀態(tài)、道岔位置等），同時(shí)獲得聯(lián)鎖軟件輸出的控制命令（例如：開放或關(guān)閉信號(hào)，轉(zhuǎn)換道岔位置等）。通過對(duì)比聯(lián)鎖軟件的輸出與預(yù)期結(jié)果的一致性，測(cè)試工具軟件即可實(shí)現(xiàn)對(duì)聯(lián)鎖軟件功能及配置數(shù)據(jù)的正確性、完整性的自動(dòng)化測(cè)試。

但是，除了聯(lián)鎖軟件以外，計(jì)算機(jī)聯(lián)鎖產(chǎn)品中還包括用于提供操作顯示界面的控顯軟件。即使聯(lián)鎖軟件中的功能邏輯和配置數(shù)據(jù)是正確的，如果控顯軟件存在缺陷，導(dǎo)致操作顯示界面的功能或顯示錯(cuò)誤，仍然會(huì)影響車站運(yùn)輸作業(yè)的安全和效率。因此，對(duì)于操作顯示界面的顯示及操作功能，以及控顯軟件與聯(lián)鎖軟件之間的通信接口，也必須進(jìn)行測(cè)試，確認(rèn)其正確性和完整性。

但是，脫離了聯(lián)鎖軟件的配合，控顯軟件無法單獨(dú)實(shí)現(xiàn)任何顯示和操作功能。因此，要想測(cè)試操作顯示界面，必須同時(shí)運(yùn)行聯(lián)鎖、控顯軟件，而且其測(cè)試方法和操作步驟與測(cè)試聯(lián)鎖軟件時(shí)有很大程度的重疊。

例如：測(cè)試聯(lián)鎖軟件中的進(jìn)路數(shù)據(jù)和相關(guān)的聯(lián)鎖功能時(shí)，需要執(zhí)行辦理、取消進(jìn)路等操作，而測(cè)試控顯界面的區(qū)段鎖閉狀態(tài)顯示及信號(hào)機(jī)顯示功能時(shí)，也需要執(zhí)行同樣的操作。

在人工測(cè)試過程中，測(cè)試工程師通過一次操作，即可同時(shí)完成對(duì)聯(lián)鎖軟件和控顯軟件的測(cè)試。但是很顯然，基于數(shù)據(jù)通信模式的自動(dòng)化測(cè)試工具軟件無法對(duì)操作顯示界面進(jìn)行測(cè)試，這部分測(cè)試工作仍然需要測(cè)試工程師人工完成，對(duì)聯(lián)鎖產(chǎn)品整體的測(cè)試效率提升有限。而采用基于操作顯示界面的自動(dòng)化測(cè)試技術(shù)，則可以通過一次測(cè)試操作同時(shí)完成對(duì)聯(lián)鎖軟件和控顯軟件的測(cè)試，使整體的測(cè)試效率最大化。

3 基于操作顯示界面的自動(dòng)化測(cè)試關(guān)鍵技術(shù)

3.1 概述

實(shí)現(xiàn)基于操作顯示界面的自動(dòng)化測(cè)試需要解決以下2個(gè)方面的問題：

1）計(jì)算機(jī)界面顯示的自動(dòng)識(shí)別，代替測(cè)試工程師完成對(duì)操作顯示界面顯示結(jié)果的識(shí)別；

2）遠(yuǎn)程控制控顯/模擬機(jī)，代替測(cè)試工程師完成控顯和模擬界面的鼠標(biāo)及鍵盤操作。

上述2個(gè)問題中，最關(guān)鍵的、難度最大的是識(shí)別操作顯示界面上顯示的圖形元素的特征，并將識(shí)別結(jié)果與標(biāo)準(zhǔn)圖形進(jìn)行比對(duì)，以確認(rèn)操作界面的實(shí)時(shí)顯示是否與預(yù)期一致。

對(duì)操作顯示界面上顯示的圖像進(jìn)行實(shí)時(shí)識(shí)別，常用的技術(shù)方案有以下3種：

1）基于控件接口的圖像識(shí)別；

2）基于實(shí)時(shí)視頻捕捉及模板匹配的圖像識(shí)別；

3）基于顯示內(nèi)存映射及模板匹配的圖像識(shí)別。

3.2 基于控件接口的圖像識(shí)別技術(shù)

對(duì)于基于Windows操作系統(tǒng)的應(yīng)用程序來說，通過操作系統(tǒng)提供的圖形控件的訪問接口，應(yīng)用程序可以獲得控件在界面上的各類顯示特征及屬性信息，不需要依賴任何復(fù)雜的算法就可以實(shí)現(xiàn)對(duì)控件狀態(tài)的獲取和自動(dòng)操作。

在軟件實(shí)現(xiàn)層面，早期可以通過調(diào)用Win32 SDK提供的一系列API函數(shù)，通過獲取窗口句柄和發(fā)送消息的模式實(shí)現(xiàn)對(duì)標(biāo)準(zhǔn)控件的狀態(tài)識(shí)別及操作。隨著Windows系統(tǒng)的升級(jí)，微軟提供了MSAA、UIA等功能更加完善的接口庫，可以滿足更加復(fù)雜的自動(dòng)化測(cè)試需求，特別是對(duì)于自定義控件的支持得到顯著的加強(qiáng)。

采用基于控件接口的圖像識(shí)別技術(shù)，有以下幾個(gè)方面的優(yōu)點(diǎn)：

1）圖像識(shí)別速度快；

2）有比較豐富的商業(yè)化工具軟件可用（例如：QTP、AccExplorer），可以大幅度降低面向特定需求的測(cè)試工具軟件的開發(fā)難度及成本；

3）可以同時(shí)實(shí)現(xiàn)對(duì)圖形用戶界面的自動(dòng)操作。

但是，采用這種技術(shù)方案也有一些明顯的缺點(diǎn)。

1）對(duì)于非標(biāo)準(zhǔn)控件，特別是自繪制圖形的識(shí)別比較困難。而控顯軟件界面中恰恰包含了大量的自繪制圖形（信號(hào)機(jī)、軌道區(qū)段等）。為了實(shí)現(xiàn)自動(dòng)化測(cè)試，需要在被測(cè)軟件中增加接口代碼，以提供各類自定義控件及自繪制圖形的特征信息接口，在實(shí)際執(zhí)行過程中的風(fēng)險(xiǎn)和阻力較大。

2）需要掌握Windows操作系統(tǒng)的很多底層開發(fā)接口，并且需要被測(cè)軟件的開發(fā)人員提供大量的技術(shù)支持，測(cè)試工具的開發(fā)難度和工作量較大。

3）這種技術(shù)方案的實(shí)現(xiàn)依賴于被測(cè)對(duì)象圖形界面的軟件設(shè)計(jì)方案，一旦被測(cè)對(duì)象所使用的控件發(fā)生變化或者操作系統(tǒng)版本變化，則必須修改測(cè)試工具軟件，軟件維護(hù)成本較高。

4）測(cè)試工具軟件和被測(cè)對(duì)象必須運(yùn)行在同一臺(tái)計(jì)算機(jī)中，如果測(cè)試工具軟件的運(yùn)行出現(xiàn)異常，可能影響被測(cè)對(duì)象的正常運(yùn)行，導(dǎo)致測(cè)試結(jié)果的判定出現(xiàn)錯(cuò)誤。

3.3 基于實(shí)時(shí)視頻捕捉的圖像識(shí)別技術(shù)

用高清數(shù)字?jǐn)z像機(jī)實(shí)時(shí)拍攝控顯機(jī)的顯示界面，通過適當(dāng)?shù)乃惴ㄌ崛‘嬅嬷懈鱾€(gè)圖形元素的特征值，然后與已知的各種圖形元素的特征值（模板）進(jìn)行比對(duì)，從而識(shí)別出當(dāng)前界面中是否存在某個(gè)已知的圖形元素。

這種技術(shù)方案與目前已經(jīng)廣泛應(yīng)用的人臉識(shí)別系統(tǒng)的原理比較類似。

采用基于實(shí)時(shí)視頻捕捉及模板匹配的圖像識(shí)別技術(shù)，有以下幾個(gè)方面的優(yōu)點(diǎn)。

1）測(cè)試主機(jī)及其外圍設(shè)備獨(dú)立于被測(cè)系統(tǒng)，不需要在被測(cè)系統(tǒng)中安裝任何用于圖像識(shí)別或自動(dòng)測(cè)試的軟件，不會(huì)對(duì)被測(cè)系統(tǒng)的正常運(yùn)行產(chǎn)生影響。

2）圖像識(shí)別算法屬于通用算法，經(jīng)過多年的發(fā)展，大部分常用算法已經(jīng)用各種常用編程語言實(shí)現(xiàn)，包括一些開源、免費(fèi)的代碼庫（例如：OpenCV庫），從而降低了圖像識(shí)別功能的開發(fā)難度。

但是，采用這種技術(shù)方案也有一些制約因素。

1）通過數(shù)字?jǐn)z像機(jī)獲取的圖像質(zhì)量不穩(wěn)定，容易受到外界環(huán)境的影響，例如：光線強(qiáng)度和角度的變化、外界振動(dòng)、拍攝角度變化等，導(dǎo)致識(shí)別結(jié)果出現(xiàn)偏差或錯(cuò)誤。

2）雖然很多圖像識(shí)別算法已經(jīng)可以獲得開源、免費(fèi)的源代碼，但是這些算法的調(diào)用接口比較復(fù)雜，需要掌握大量的接口參數(shù)定義及配置組合規(guī)則，才能獲得較好的識(shí)別正確率和識(shí)別速度，軟件開發(fā)的難度和工作量較大。

3）這種方案只解決了對(duì)界面顯示的自動(dòng)識(shí)別需求，不能實(shí)現(xiàn)對(duì)被測(cè)系統(tǒng)的自動(dòng)操作，需要集成其他的技術(shù)方案（例如：驅(qū)動(dòng)機(jī)械手完成鍵盤或鼠標(biāo)操作），開發(fā)工作量和難度較大，且整套自動(dòng)測(cè)試系統(tǒng)的配置成本較高。

3.4 基于顯示內(nèi)存映射及模板匹配的圖像識(shí)別技術(shù)

通過網(wǎng)絡(luò)通信接口（例如：TCP或UDP連接）將測(cè)試主機(jī)與被測(cè)計(jì)算機(jī)連接在一起，利用通用的遠(yuǎn)程控制工具軟件（例如：VNC工具）將被測(cè)計(jì)算機(jī)顯示緩沖區(qū)的內(nèi)存數(shù)據(jù)完整映射到測(cè)試主機(jī)內(nèi)存中，然后運(yùn)用各種圖像識(shí)別算法對(duì)顯示緩沖區(qū)某個(gè)區(qū)域的所有像素點(diǎn)的顏色、排列方式等特征值進(jìn)行提取，并與已知的圖形元素的特征值（模板）進(jìn)行比對(duì)，從而識(shí)別出當(dāng)前區(qū)域是否存在某個(gè)已知的圖形元素。

如圖2所示，事先截取進(jìn)站信號(hào)機(jī)開放各種顯示的圖片，采用適當(dāng)?shù)乃惴ㄓ?jì)算出各個(gè)圖片的像素點(diǎn)分布、顏色、尺寸等方面的特征值，保存在圖片庫中。在測(cè)試過程中，辦理以X信號(hào)機(jī)為始端的側(cè)向接車進(jìn)路后，截取包括X信號(hào)機(jī)圖形在內(nèi)的一個(gè)矩形區(qū)域內(nèi)所有像素點(diǎn)在顯示內(nèi)存中的數(shù)據(jù)，包括像素點(diǎn)的坐標(biāo)、顏色等，再利用適當(dāng)?shù)乃惴ㄓ?jì)算出這個(gè)矩形區(qū)域中圖形元素的各種特征值，與圖片庫中各種信號(hào)顯示圖片的特征值進(jìn)行比對(duì)，發(fā)現(xiàn)與UU燈圖片的特征值一致，說明X信號(hào)機(jī)開放的是UU燈。

圖2 列車信號(hào)機(jī)顯示識(shí)別原理示意Fig.2 Schematic diagram of display and identification principle of train signal

采用基于顯示內(nèi)存映射及模板匹配的圖形識(shí)別技術(shù)，有以下幾個(gè)方面的優(yōu)點(diǎn)。

1）測(cè)試主機(jī)獨(dú)立于被測(cè)對(duì)象，測(cè)試工具軟件的運(yùn)行不會(huì)對(duì)被測(cè)對(duì)象產(chǎn)生影響。

2）基于顯示內(nèi)存映射及模板匹配的圖像識(shí)別算法屬于通用的基礎(chǔ)性算法，已有成熟的商業(yè)化工具軟件可以利用。在此類通用工具軟件的基礎(chǔ)上進(jìn)行二次開發(fā)，即可形成滿足計(jì)算機(jī)聯(lián)鎖產(chǎn)品自動(dòng)測(cè)試需求的專用工具軟件，從而大大降低軟件開發(fā)的難度和工作量。

3）遠(yuǎn)程控制工具軟件在提供被測(cè)計(jì)算機(jī)的顯示內(nèi)存映射的同時(shí)，還可以實(shí)現(xiàn)測(cè)試主機(jī)對(duì)被測(cè)計(jì)算機(jī)的鍵盤和鼠標(biāo)的遠(yuǎn)程控制，是一種更加完整、有效的解決方案。

當(dāng)然，采用這種技術(shù)方案也有一些不足之處。

1）需要在被測(cè)對(duì)象的計(jì)算機(jī)中安裝遠(yuǎn)程控制工具軟件，有可能對(duì)被測(cè)軟件的運(yùn)行產(chǎn)生影響。但此類工具軟件往往已經(jīng)有長(zhǎng)期的應(yīng)用歷史，屬于成熟軟件，其本身對(duì)計(jì)算機(jī)及網(wǎng)絡(luò)通信的資源占用非常少，對(duì)被測(cè)軟件的運(yùn)行產(chǎn)生的影響可以忽略不計(jì)。

2）測(cè)試主機(jī)與被測(cè)對(duì)象通過網(wǎng)絡(luò)連接，對(duì)網(wǎng)絡(luò)通信質(zhì)量要求較高。實(shí)際使用中，可以將測(cè)試主機(jī)與被測(cè)對(duì)象連接在通信質(zhì)量良好的局域網(wǎng)中，以保證測(cè)試的連續(xù)性和實(shí)時(shí)性。

4 基于圖像識(shí)別及遠(yuǎn)程控制技術(shù)的聯(lián)鎖產(chǎn)品自動(dòng)化測(cè)試工具

經(jīng)過綜合對(duì)比可以看出，3.4節(jié)的技術(shù)方案更適合用來開發(fā)計(jì)算機(jī)聯(lián)鎖產(chǎn)品的自動(dòng)化測(cè)試工具軟件。

中國(guó)鐵路總公司于2016年發(fā)布《車站計(jì)算機(jī)聯(lián)鎖操作顯示技術(shù)規(guī)范》（TJ/DW 188-2016），對(duì)計(jì)算機(jī)聯(lián)鎖產(chǎn)品的操作顯示界面做出了全面、詳細(xì)的規(guī)定。只要基于滿足這份技術(shù)規(guī)范的車站制作的標(biāo)準(zhǔn)圖片庫和測(cè)試工具軟件，即可適用于其他符合此規(guī)范的車站，與該站控顯軟件的具體實(shí)現(xiàn)技術(shù)細(xì)節(jié)無關(guān)，使得基于此方案開發(fā)的自動(dòng)測(cè)試工具軟件具有更好的通用性。

圖像識(shí)別及遠(yuǎn)程控制都是成熟的基礎(chǔ)性通用技術(shù)，有成熟的商業(yè)化工具軟件可以使用。經(jīng)過調(diào)研和試用，筆者選擇了由英國(guó)Testplant公司開發(fā)的Eggplant Functional功能自動(dòng)化測(cè)試平臺(tái)作為基礎(chǔ)，進(jìn)行二次開發(fā)。

Eggplant Functional平臺(tái)提供了豐富的基于顯示內(nèi)存映射及模板匹配的圖像識(shí)別功能接口，并且通過VNC工具軟件實(shí)現(xiàn)遠(yuǎn)程控制功能。該平臺(tái)功能豐富，運(yùn)行穩(wěn)定。實(shí)現(xiàn)自動(dòng)化測(cè)試所需的各類常用基礎(chǔ)功能，該平臺(tái)均提供了調(diào)用接口。例如：Excel文件讀寫接口、文本文件讀寫接口、數(shù)據(jù)庫讀寫接口、郵件服務(wù)接口等。

該平臺(tái)提供了一套自定義腳本語言SenseTalk，以及配套的集成開發(fā)環(huán)境。SenseTalk語言的語法接近英語自然語法，使得用戶可以比較快速的開發(fā)出符合自身產(chǎn)品特點(diǎn)和業(yè)務(wù)需求的自動(dòng)測(cè)試腳本。

筆者基于Eggplant Functional平臺(tái)開發(fā)了一套計(jì)算機(jī)聯(lián)鎖產(chǎn)品工程數(shù)據(jù)自動(dòng)化測(cè)試工具軟件CBI_AS_PDT，實(shí)現(xiàn)了基于Excel格式電子聯(lián)鎖表的進(jìn)路辦理和取消測(cè)試、帶動(dòng)道岔測(cè)試、防護(hù)道岔測(cè)試、侵限區(qū)段測(cè)試、進(jìn)路正常解鎖測(cè)試等多項(xiàng)自動(dòng)化測(cè)試功能。

經(jīng)過嚴(yán)格的測(cè)試及大量車站的試用，并且通過由獨(dú)立第三方進(jìn)行的T2類工具軟件的安全評(píng)估后，CBI_AS_PDT已經(jīng)正式應(yīng)用在計(jì)算機(jī)聯(lián)鎖產(chǎn)品集成項(xiàng)目的工程數(shù)據(jù)測(cè)試業(yè)務(wù)中，完成了200余個(gè)車站的測(cè)試任務(wù)，在提高測(cè)試效率，保持測(cè)試質(zhì)量的穩(wěn)定性方面取得了顯著的成效。

5 結(jié)束語

除了面向工程數(shù)據(jù)的自動(dòng)化測(cè)試，圖像識(shí)別技術(shù)同樣可以應(yīng)用在聯(lián)鎖系統(tǒng)功能的自動(dòng)化測(cè)試中，以解決應(yīng)用軟件或系統(tǒng)軟件升級(jí)后難以開展全面功能測(cè)試的難題。此外，其他鐵路信號(hào)安全產(chǎn)品同樣可以借助圖像識(shí)別技術(shù)實(shí)現(xiàn)自動(dòng)化、智能化測(cè)試，從而進(jìn)一步提升鐵路信號(hào)產(chǎn)品的安全性、可靠性。這方面還有很多的課題值得研究。