控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試問(wèn)題分析及測(cè)試方法研究

劉軍

關(guān)鍵詞 軟件測(cè)試 軟件系統(tǒng)級(jí)測(cè)試 軟件研制 軟件聯(lián)調(diào) 系統(tǒng)級(jí)測(cè)試方法

1引言

隨著信息化迅猛發(fā)展，大型控制系統(tǒng)已成為典型的軟件密集型裝備。以某系列軟件的測(cè)試統(tǒng)計(jì)為例，A 版、B 版、C 版的軟件規(guī)模分別為24 萬(wàn)行、74 萬(wàn)行、270 萬(wàn)行;與A 版軟件相比，C 版軟件規(guī)模增長(zhǎng)了11倍。由于軟件呈現(xiàn)“規(guī)模龐大、結(jié)構(gòu)復(fù)雜、一體化綜合”的趨勢(shì)，因此軟件缺陷越來(lái)越難以發(fā)現(xiàn)，軟件質(zhì)量難以保證[1] 。針對(duì)現(xiàn)有的問(wèn)題與困難，經(jīng)過(guò)對(duì)某控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試的結(jié)果和過(guò)程進(jìn)行分析，本文闡述了軟件系統(tǒng)級(jí)測(cè)試對(duì)軟件研制、軟件測(cè)試和聯(lián)調(diào)的作用，以及實(shí)施軟件系統(tǒng)級(jí)測(cè)試的方法[2] 。

2大型控制系統(tǒng)的特點(diǎn)

目前，控制系統(tǒng)及其軟件主要具備以下特點(diǎn)。

（1）控制系統(tǒng)功能復(fù)雜，要求具備網(wǎng)絡(luò)化控制能力以及復(fù)雜環(huán)境下的控制能力。

（2）外部接口和內(nèi)部接口繁多，通信多元化，內(nèi)部結(jié)構(gòu)復(fù)雜，軟件規(guī)模龐大，一般在幾十萬(wàn)至幾百萬(wàn)行不等。

（ 3）信息處理數(shù)據(jù)量大，速度快。在系統(tǒng)中，各個(gè)分系統(tǒng)和數(shù)據(jù)處理組合之間采用了數(shù)字化數(shù)據(jù)交換模式，并且最快每幾秒甚至幾毫秒交換一次數(shù)據(jù)，每次達(dá)數(shù)百個(gè)字節(jié)，要求處理的數(shù)據(jù)量很大。

（4）控制復(fù)雜性高，系統(tǒng)包括多個(gè)分系統(tǒng)及其組合或設(shè)備，有很多狀態(tài)量和數(shù)據(jù)量，并且其周期不盡相同，系統(tǒng)軟件要對(duì)它們進(jìn)行統(tǒng)一管理，邏輯關(guān)系非常復(fù)雜。

（5）實(shí)時(shí)性要求強(qiáng)，各個(gè)分系統(tǒng)和數(shù)據(jù)處理組合之間的數(shù)據(jù)交換周期是不同的，綜控計(jì)算機(jī)按照統(tǒng)一時(shí)序來(lái)協(xié)調(diào)分系統(tǒng)的工作，實(shí)現(xiàn)多個(gè)設(shè)備的同步。一旦在實(shí)時(shí)性方面出現(xiàn)錯(cuò)誤，就會(huì)造成整個(gè)系統(tǒng)運(yùn)行錯(cuò)誤。

（ 6）規(guī)模巨大，一般在幾十萬(wàn)甚至上百萬(wàn)行，而對(duì)于如此巨大的軟件系統(tǒng)的需求分析、設(shè)計(jì)文檔內(nèi)容相對(duì)單一，有的軟件需求文檔的描寫力度是平均每個(gè)軟件需求對(duì)應(yīng)一萬(wàn)行左右的程序。

（7）系統(tǒng)職責(zé)分層、數(shù)據(jù)分布處理，往往將系統(tǒng)劃分為分系統(tǒng)、子系統(tǒng)以及配置項(xiàng)等，不同的配置項(xiàng)部署于支持層、傳輸層、應(yīng)用層等，處于不同層次的配置項(xiàng)行使的職責(zé)不同，支持層、傳輸層等配置項(xiàng)的功能在系統(tǒng)中對(duì)用戶不可見(jiàn)，應(yīng)用層配置項(xiàng)的功能需要經(jīng)由支持層、傳輸層的功能協(xié)助完成。而從用戶使用角度來(lái)看，使用功能是由多個(gè)軟件配置項(xiàng)/ 構(gòu)件組合共同完成的，單一配置項(xiàng)/ 構(gòu)件不能實(shí)現(xiàn)用戶的使用功能，配置項(xiàng)和系統(tǒng)需求的界限不易清晰的區(qū)分，分系統(tǒng)和子系統(tǒng)均是獨(dú)立運(yùn)行和保障用戶使用的一個(gè)完整系統(tǒng)。

（8）人機(jī)交互多，系統(tǒng)的可用性、易用性必須符合用戶的使用習(xí)慣和任務(wù)需要，受人員影響很大，是使用需求驅(qū)動(dòng)的軟件系統(tǒng)。

3大型控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試現(xiàn)狀

面對(duì)以上軟件系統(tǒng)的特點(diǎn)，傳統(tǒng)的軟件配置項(xiàng)測(cè)試充分暴露“只見(jiàn)樹木、不見(jiàn)森林”的缺陷：測(cè)試力度不夠，無(wú)法驗(yàn)證軟件配置項(xiàng)之間的功能協(xié)調(diào)性和接口協(xié)調(diào)性。通過(guò)調(diào)研發(fā)現(xiàn)，控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試存在以下問(wèn)題。

（1）大多控制系統(tǒng)軟件的測(cè)試只針對(duì)單個(gè)配置項(xiàng)，導(dǎo)致配置項(xiàng)之間互聯(lián)、互通、互操作，分系統(tǒng)之間的協(xié)調(diào)匹配沒(méi)有得到充分驗(yàn)證;大多控制系統(tǒng)軟件沒(méi)有軟件系統(tǒng)級(jí)的需求分析和設(shè)計(jì)文檔。軟件配置項(xiàng)合格性測(cè)試完成后進(jìn)入系統(tǒng)聯(lián)試，由于缺乏系統(tǒng)級(jí)測(cè)試和驗(yàn)證依據(jù)軟件，導(dǎo)致軟件驗(yàn)證不充分，使得盡管對(duì)軟件配置項(xiàng)的功能、性能進(jìn)行了全面驗(yàn)證，但仍有超過(guò)半數(shù)的軟件質(zhì)量問(wèn)題發(fā)生在系統(tǒng)聯(lián)試或系統(tǒng)試驗(yàn)中，嚴(yán)重影響系統(tǒng)的研制進(jìn)度。

（2）由于缺乏工程可行的系統(tǒng)級(jí)測(cè)試充分性準(zhǔn)則、針對(duì)使用過(guò)程的描述手段以及海量測(cè)試數(shù)據(jù)的分析手段，即使開展了系統(tǒng)級(jí)測(cè)試也缺少統(tǒng)一的評(píng)價(jià)方法與充分性要求。

（3）系統(tǒng)總體單位組織的系統(tǒng)聯(lián)試，雖然聯(lián)合系統(tǒng)中所有軟件完成了使用流程的系統(tǒng)驗(yàn)證，但驗(yàn)證目的僅針對(duì)系統(tǒng)試驗(yàn)要求，無(wú)法滿足復(fù)雜裝備軟件高可靠的質(zhì)量需求。

雖然我國(guó)在2004 年發(fā)布的軍用軟件測(cè)試指南中明確提出了系統(tǒng)測(cè)試的內(nèi)容和技術(shù)要求[3] ，但是并未針對(duì)大型復(fù)雜裝備軟件給出具體的指南。因此，本文通過(guò)結(jié)合項(xiàng)目調(diào)研和工程實(shí)踐，嘗試提出大型控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試方法。

4大型控制系統(tǒng)軟件系統(tǒng)測(cè)試發(fā)現(xiàn)的問(wèn)題

調(diào)研多個(gè)已進(jìn)行軟件系統(tǒng)級(jí)測(cè)試或系統(tǒng)試驗(yàn)的大型控制系統(tǒng)，對(duì)系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試或系統(tǒng)試驗(yàn)發(fā)現(xiàn)的軟件問(wèn)題進(jìn)行分析，發(fā)現(xiàn)出現(xiàn)問(wèn)題的原因如下。

（1）系統(tǒng)級(jí)測(cè)試特點(diǎn)決定的：?jiǎn)蝹€(gè)軟件配置項(xiàng)執(zhí)行沒(méi)有問(wèn)題，但作為系統(tǒng)執(zhí)行時(shí)就有問(wèn)題，此類問(wèn)題為典型的系統(tǒng)級(jí)問(wèn)題，配置項(xiàng)無(wú)法發(fā)現(xiàn)。

（2）模型設(shè)計(jì)缺陷。

（3）設(shè)計(jì)師對(duì)系統(tǒng)的認(rèn)知與設(shè)計(jì)總體相比存在差異。

（4）設(shè)計(jì)師無(wú)系統(tǒng)概念，想方設(shè)法提高軟件指標(biāo)但卻與系統(tǒng)指標(biāo)無(wú)法協(xié)調(diào)，導(dǎo)致對(duì)其他軟件產(chǎn)生不良影響。

（5）測(cè)試人員認(rèn)識(shí)提高，測(cè)試用例設(shè)計(jì)足夠復(fù)雜，激活潛在的軟件缺陷。

5軟件系統(tǒng)級(jí)測(cè)試問(wèn)題分析對(duì)于軟件研制的啟發(fā)

5.1軟件系統(tǒng)級(jí)測(cè)試之于軟件測(cè)試的啟示

針對(duì)大型控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試現(xiàn)狀，測(cè)評(píng)機(jī)構(gòu)應(yīng)該開展軟件系統(tǒng)級(jí)測(cè)評(píng)，并制定一套行之有效的系統(tǒng)級(jí)測(cè)試技術(shù)規(guī)范和實(shí)施管理流程。但基于提高軟件質(zhì)量的要求，只在軟件驗(yàn)收階段進(jìn)行系統(tǒng)級(jí)測(cè)試又顯得不夠，那在軟件研制過(guò)程中是否可以實(shí)施系統(tǒng)級(jí)測(cè)試？ 而軟件研制過(guò)程中各軟件狀態(tài)不定、測(cè)試周期短，導(dǎo)致無(wú)法完全進(jìn)行系統(tǒng)級(jí)測(cè)試。鑒于此，應(yīng)從軟件測(cè)試的思路和方法進(jìn)行改進(jìn)：測(cè)試設(shè)計(jì)時(shí)應(yīng)多從使用者的角度進(jìn)行設(shè)計(jì)，而不應(yīng)只對(duì)軟件進(jìn)行覆蓋性測(cè)試;需對(duì)軟件任務(wù)剖面進(jìn)行分析，構(gòu)造任務(wù)應(yīng)用場(chǎng)景;充分考慮與軟件有關(guān)的所有硬件和設(shè)備對(duì)軟件的影響;測(cè)試用例設(shè)計(jì)應(yīng)增加針對(duì)飽和或滿負(fù)荷情況下的設(shè)計(jì)且用例應(yīng)盡量復(fù)雜;測(cè)試執(zhí)行時(shí)耦合度高的軟件應(yīng)協(xié)同測(cè)試。

5.2軟件系統(tǒng)級(jí)測(cè)試之于軟件研制的啟示

分析軟件系統(tǒng)級(jí)測(cè)試或系統(tǒng)試驗(yàn)問(wèn)題產(chǎn)生的原因，不難發(fā)現(xiàn)如果在軟件研制過(guò)程中采取一定措施，相關(guān)問(wèn)題在一定程度上是可以避免的。對(duì)此，在軟件研制過(guò)程中應(yīng)采取以下措施。

（1）重視軟件系統(tǒng)需求分析與系統(tǒng)設(shè)計(jì)

系統(tǒng)需求是介于用戶需求和軟件需求之間的重要橋梁，是滿足用戶需求的重要保障，更是系統(tǒng)級(jí)測(cè)試的唯一依據(jù)。在系統(tǒng)軟件需求類文檔中，應(yīng)明確系統(tǒng)軟件用途，重點(diǎn)描述系統(tǒng)軟件的任務(wù)使命、系統(tǒng)能力（覆蓋技術(shù)指標(biāo)）、軟硬件環(huán)境要求、系統(tǒng)/ 分系統(tǒng)軟件體系結(jié)構(gòu)設(shè)計(jì)等（即系統(tǒng)的任務(wù)流、功能流、信息流）。

存在工作狀態(tài)轉(zhuǎn)換的，在需求類文檔中，應(yīng)詳細(xì)說(shuō)明系統(tǒng)軟件所包含的各種工作狀態(tài)、轉(zhuǎn)換方式，必要時(shí)給出狀態(tài)轉(zhuǎn)換圖，以說(shuō)明轉(zhuǎn)換條件、轉(zhuǎn)換點(diǎn)。對(duì)于各種工作方式，應(yīng)清楚描述對(duì)應(yīng)的能力需求組，以及參與實(shí)現(xiàn)的軟件，推薦使用表格進(jìn)行說(shuō)明。

在需求類文檔中，在對(duì)系統(tǒng)能力需求展開描述時(shí)，建議從系統(tǒng)/ 分系統(tǒng)的角度出發(fā)，對(duì)每一組能力需求進(jìn)行詳細(xì)描述，建議給出工作流程圖、數(shù)據(jù)流圖，文字描述實(shí)現(xiàn)路徑，說(shuō)明軟件參與的操作以及執(zhí)行過(guò)程中的重點(diǎn)數(shù)據(jù)判讀要求、數(shù)據(jù)執(zhí)行周期要求（處理時(shí)間分布情況），應(yīng)列出研制總要求中與軟件相關(guān)的所有技術(shù)指標(biāo)，并進(jìn)行有效分解。

在需求類文檔中，應(yīng)詳細(xì)描述整個(gè)系統(tǒng)軟件的內(nèi)/ 外部接口通信內(nèi)容，應(yīng)詳細(xì)描述切實(shí)可行的安全性需求與措施。

（2）加強(qiáng)使用總體與設(shè)計(jì)總體、設(shè)計(jì)總體與設(shè)計(jì)師的溝通

軟件研制中設(shè)計(jì)總體、設(shè)計(jì)師應(yīng)定期與使用總體進(jìn)行溝通，這才能保證系統(tǒng)貼近用戶使用;設(shè)計(jì)總體和設(shè)計(jì)師定期溝通能夠消除彼此理解上的一些差異，同時(shí)形成頭腦風(fēng)暴，完善模型設(shè)計(jì)，提高軟件質(zhì)量。

5.3軟件系統(tǒng)級(jí)測(cè)試之于軟件系統(tǒng)聯(lián)調(diào)的啟示

軟件系統(tǒng)聯(lián)調(diào)一般是依據(jù)試驗(yàn)任務(wù)對(duì)軟件系統(tǒng)的主要功能和流程進(jìn)行驗(yàn)證，缺乏充分性。軟件系統(tǒng)級(jí)測(cè)試是以測(cè)試的角度對(duì)軟件系統(tǒng)的所有設(shè)計(jì)分支進(jìn)行測(cè)試，功能覆蓋全面。在對(duì)系統(tǒng)級(jí)測(cè)試結(jié)果分析中，發(fā)現(xiàn)如果系統(tǒng)聯(lián)調(diào)能夠充分測(cè)試，那某些問(wèn)題本可以很早就能發(fā)現(xiàn)。鑒于此，應(yīng)該在軟件系統(tǒng)聯(lián)調(diào)中采取以下措施，以提高軟件的可靠性。

（1）軟件系統(tǒng)聯(lián)調(diào)應(yīng)轉(zhuǎn)變思想：系統(tǒng)聯(lián)調(diào)不應(yīng)只為試驗(yàn)任務(wù)服務(wù)，而是以提高軟件系統(tǒng)可靠性為目的。

（ 2）組織軟件系統(tǒng)聯(lián)調(diào)的人員應(yīng)了解軟件測(cè)試，以軟件測(cè)試的角度結(jié)合軟件系統(tǒng)聯(lián)調(diào)的特點(diǎn)，綜合考慮制定聯(lián)調(diào)方案。

（3）軟件系統(tǒng)聯(lián)調(diào)依據(jù)試驗(yàn)任務(wù)制定聯(lián)調(diào)方案時(shí)，應(yīng)盡可能充分考慮系統(tǒng)功能，提高測(cè)試的充分性。

（4）軟件系統(tǒng)聯(lián)調(diào)應(yīng)多考慮異常分支、異常情況，驗(yàn)證系統(tǒng)可靠性。

（5）必要時(shí)，軟件系統(tǒng)聯(lián)調(diào)應(yīng)請(qǐng)測(cè)試人員參與。

6大型控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試方法研究

針對(duì)大型控制系統(tǒng)軟件研制特點(diǎn)以及系統(tǒng)測(cè)試或系統(tǒng)試驗(yàn)發(fā)現(xiàn)的問(wèn)題，本文開展了研究，建議大型控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試應(yīng)從以下兩方面進(jìn)行研究。

6.1面向使用過(guò)程的系統(tǒng)級(jí)測(cè)試用例生成技術(shù)

大型控制系統(tǒng)使用環(huán)境復(fù)雜，使用過(guò)程綜合程度高，軟件系統(tǒng)級(jí)高精度、抗干擾、快速反應(yīng)性能的考核需要在系統(tǒng)級(jí)集成測(cè)試環(huán)境下開展。面對(duì)復(fù)雜軟件系統(tǒng)，測(cè)試用例是一個(gè)與被測(cè)軟件的交互執(zhí)行過(guò)程相對(duì)應(yīng)的、由輸入控制點(diǎn)及其輸入指令或數(shù)據(jù)等要素組成的多元組的序列。大型控制系統(tǒng)作為復(fù)雜大系統(tǒng)，對(duì)于裝備軟件系統(tǒng)級(jí)測(cè)試用例的描述應(yīng)包括使用環(huán)境情景想定、使用過(guò)程描述、測(cè)試激勵(lì)數(shù)據(jù)三個(gè)層次。系統(tǒng)級(jí)測(cè)試用例的描述示意圖如圖1所示。

（1）使用環(huán)境情景想定

控制系統(tǒng)裝備軟件系統(tǒng)級(jí)測(cè)試用例的前置條件需要想定符合實(shí)際使用過(guò)程的情景，涵蓋系統(tǒng)要求的各個(gè)性能指標(biāo)、系統(tǒng)功能、任務(wù)剖面等。

（2）基于UML 順序圖的使用過(guò)程描述

UML 順序圖可以用來(lái)描述控制系統(tǒng)中不同對(duì)象之間的動(dòng)態(tài)交互，顯示使用過(guò)程中涉及對(duì)象間的消息傳遞關(guān)系。而消息是由系統(tǒng)特征狀態(tài)構(gòu)成的，課題研究應(yīng)用UML 順序圖依照由系統(tǒng)特征狀態(tài)構(gòu)造的任務(wù)剖面描述控制系統(tǒng)的測(cè)試場(chǎng)景，將輸入、輸出及約束條件合理組合生成覆蓋該場(chǎng)景的測(cè)試流程，以提高測(cè)試的充分性。

（3）針對(duì)GUI 的測(cè)試激勵(lì)數(shù)據(jù)生成

大型控制系統(tǒng)包括嵌入式軟件和GUI 軟件，針對(duì)嵌入式軟件，通常采用數(shù)據(jù)文件形式的測(cè)試用例，包括時(shí)間驅(qū)動(dòng)和事件響應(yīng)兩類用例激勵(lì)方式，目前已經(jīng)較好地解決了這類軟件的用例生成和用例加載問(wèn)題。

6.2軟件系統(tǒng)級(jí)驗(yàn)證技術(shù)

（1）系統(tǒng)級(jí)形式化驗(yàn)證

將組成控制系統(tǒng)的各分系統(tǒng)作為對(duì)象，構(gòu)建狀態(tài)圖，應(yīng)用形式化語(yǔ)言描述上層設(shè)計(jì)的軟件模型規(guī)格，研究形式化方法驗(yàn)證系統(tǒng)行為的正確性和完備性。狀態(tài)圖用于對(duì)系統(tǒng)模型元素的動(dòng)態(tài)行為進(jìn)行建模，它描述一個(gè)實(shí)體基于事件反應(yīng)的動(dòng)態(tài)行為，顯示該實(shí)體如何根據(jù)當(dāng)前所處的狀態(tài)對(duì)不同的事件做出不同的反應(yīng)。形成狀態(tài)機(jī)模型后，根據(jù)定義驗(yàn)證規(guī)則使用CTL 語(yǔ)句對(duì)模型進(jìn)行仿真驗(yàn)證。

（2）系統(tǒng)級(jí)協(xié)議分析

調(diào)研發(fā)現(xiàn)，近年的系統(tǒng)試驗(yàn)所暴露出的軟件問(wèn)題，誘因已經(jīng)不是單一軟件配置項(xiàng)處理的特殊數(shù)據(jù)或異常數(shù)據(jù)，而是在系統(tǒng)/ 子系統(tǒng)內(nèi)、系統(tǒng)/ 子系統(tǒng)外流轉(zhuǎn)的數(shù)據(jù)流在實(shí)際使用過(guò)程中發(fā)生的特例，也許基于本系統(tǒng)，它是有效數(shù)據(jù)，但由于它到來(lái)的時(shí)序特殊、與其他數(shù)據(jù)產(chǎn)生了疊加、軟件集成后與整系統(tǒng)硬件未良好匹配等因素，導(dǎo)致其觸發(fā)軟件缺陷，因此需要通過(guò)系統(tǒng)地分析、審查接口通信的協(xié)議，發(fā)現(xiàn)設(shè)備之間接口通信方面可能存在的隱患，以進(jìn)一步提高軟件接口以及系統(tǒng)的可靠性。協(xié)議分析技術(shù)包括接口設(shè)計(jì)與實(shí)現(xiàn)審查、通信設(shè)計(jì)與實(shí)現(xiàn)審查兩部分。

7結(jié)束語(yǔ)

目前，針對(duì)大型控制系統(tǒng)開展系統(tǒng)級(jí)測(cè)試驗(yàn)證一直是行業(yè)研究的熱點(diǎn)。本文基于理論研究成果，結(jié)合多個(gè)控制系統(tǒng)軟件系統(tǒng)級(jí)測(cè)試的工程實(shí)踐積累，研究出了一套實(shí)施系統(tǒng)級(jí)測(cè)試驗(yàn)證的技術(shù)與方法，通過(guò)試點(diǎn)開展多個(gè)控制系統(tǒng)軟件測(cè)試驗(yàn)證工作，后續(xù)將繼續(xù)深入研究系統(tǒng)級(jí)測(cè)試技術(shù)，以完善系統(tǒng)級(jí)測(cè)試流程規(guī)范，為系統(tǒng)軟件順利完成每一次試驗(yàn)努力。