信息交換類標(biāo)準(zhǔn)符合性測試評價指標(biāo)體系研究*

（中國艦船研究院 北京 100101）

1 引言

信息交換類標(biāo)準(zhǔn)規(guī)定了系統(tǒng)間進行信息交換的格式，是信息系統(tǒng)進行數(shù)據(jù)交互的基礎(chǔ)，決定了數(shù)據(jù)交互基本單位（報文）的組織、編碼、識別與應(yīng)用。隨著信息化建設(shè)的深入和各類系統(tǒng)交互需求的涌現(xiàn)，針對各類作戰(zhàn)應(yīng)用場景，相繼出臺了各類信息交換標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)自頒布以來，對提高軍事信息系統(tǒng)的信息互通互操作起到了重要的作用。但是，在標(biāo)準(zhǔn)的執(zhí)行過程中也暴露出了各系統(tǒng)遵照標(biāo)準(zhǔn)的程度不一、設(shè)計開發(fā)單位對標(biāo)準(zhǔn)應(yīng)用理解不一等問題，影響了標(biāo)準(zhǔn)的實施效果以及信息系統(tǒng)之間的信息共享與應(yīng)用［1］。因此，針對信息交換類標(biāo)準(zhǔn)的符合性測試成為促進體系能力形成的重要環(huán)節(jié)。

目前，大部分信息交換類標(biāo)準(zhǔn)的研究主要集中在編解碼工具設(shè)計方面［2～3］以及基于XML數(shù)據(jù)交換標(biāo)準(zhǔn)的符合性測試方面［4～9］，均是針對特定標(biāo)準(zhǔn)的，這使得標(biāo)準(zhǔn)符合性測試產(chǎn)品的功能單一化、狹窄化［10］，尚未形成一種針對不同編碼方式的信息交換標(biāo)準(zhǔn)通用性較強的標(biāo)準(zhǔn)符合性測試方法，而且標(biāo)準(zhǔn)符合性測試評判通常以定性評判為主，缺乏量化的指標(biāo)，說服度較低，因此建立合理可行、具有普適性的標(biāo)準(zhǔn)符合性評價指標(biāo)體系是當(dāng)前進行信息交換類標(biāo)準(zhǔn)符合性測試首要且迫切需要解決的問題之一。

2 概念和意義

標(biāo)準(zhǔn)符合性測試是依據(jù)一個標(biāo)準(zhǔn)的描述對標(biāo)準(zhǔn)的某個實現(xiàn)進行測試，判別一個標(biāo)準(zhǔn)的實現(xiàn)與所對應(yīng)的標(biāo)準(zhǔn)描述是否相一致［11］。它測試的依據(jù)是標(biāo)準(zhǔn)，測試的目的是測定被測系統(tǒng)與相關(guān)標(biāo)準(zhǔn)的符合性程度，給出的結(jié)果是被測軟件是否符合標(biāo)準(zhǔn)以及符合的程度［6，12］。

信息交換類標(biāo)準(zhǔn)的符合性測試是專門針對信息交換領(lǐng)域標(biāo)準(zhǔn)進行的，其測試的思路與一般的標(biāo)準(zhǔn)符合性測試相同，綜合運用理論分析、仿真測試手段通過對報文進行嚴(yán)格的、定性或定量的測試后［13］，根據(jù)測試結(jié)果以評估信息系統(tǒng)傳輸?shù)男畔⑹欠穹蠘?biāo)準(zhǔn)中的各項規(guī)定，對信息的應(yīng)用是否符合標(biāo)準(zhǔn)中的相關(guān)約束，或在多大程度上符合標(biāo)準(zhǔn)。

信息交換類標(biāo)準(zhǔn)是實現(xiàn)信息系統(tǒng)互連互通互操作的關(guān)鍵要素，信息交換類標(biāo)準(zhǔn)符合性測試通過對信息系統(tǒng)標(biāo)準(zhǔn)符合度的評估規(guī)范信息系統(tǒng)的設(shè)計開發(fā)，提高信息系統(tǒng)的建設(shè)質(zhì)量與通用化程度，促進體系能力的形成，同時也為信息交換類標(biāo)準(zhǔn)的實施和監(jiān)督提供技術(shù)支撐。

3 測試評估指標(biāo)體系

信息交換標(biāo)準(zhǔn)的重點是解決信息的格式，即解決信息結(jié)構(gòu)化數(shù)據(jù)表達與傳輸問題。本文基于標(biāo)準(zhǔn)所承載的語法、語義、語用三個層面從編碼形式、數(shù)據(jù)元素設(shè)計、報文結(jié)構(gòu)與構(gòu)成、報文應(yīng)用、傳輸交互等方面入手對多種信息交換標(biāo)準(zhǔn)進行了分析與研究，構(gòu)建了三個層級五個分類11個分項指標(biāo)的信息交換類標(biāo)準(zhǔn)符合性評價指標(biāo)體系，具體如圖1所示。

圖1 信息交換類標(biāo)準(zhǔn)符合性評價指標(biāo)體系

3.1 語法

數(shù)據(jù)元素是數(shù)據(jù)的基本單元，是信息交換標(biāo)準(zhǔn)語法信息表達的基礎(chǔ)。在信息交換標(biāo)準(zhǔn)中一個數(shù)據(jù)元素可以由若干個數(shù)據(jù)組成，數(shù)據(jù)項是數(shù)據(jù)的不可分割的最小單元。數(shù)據(jù)元素的集合即形成一條報文。信息交換標(biāo)準(zhǔn)語法層面的標(biāo)準(zhǔn)符合性測試主要涉及標(biāo)準(zhǔn)的構(gòu)成、數(shù)據(jù)元素的組織方式、編碼設(shè)計等方面。在進行信息交換標(biāo)準(zhǔn)語法層面標(biāo)準(zhǔn)符合性測試時需根據(jù)被測系統(tǒng)的類別確定測試類型以及對應(yīng)的測試內(nèi)容，同時基于每個測試內(nèi)容進行分解，確保每個測試項覆蓋各報文的所有數(shù)據(jù)元素。針對測試項與測試內(nèi)容覆蓋充分性等問題，選取度量元包括：標(biāo)準(zhǔn)中每條報文包含數(shù)據(jù)元素的總數(shù)W1、每條報文被測系統(tǒng)編碼正確的數(shù)據(jù)元素數(shù)S1、每條報文被測系統(tǒng)解碼正確的數(shù)據(jù)元素數(shù)S2。

數(shù)據(jù)元素編碼正確率（K1）、數(shù)據(jù)元素解碼正確率（K2）用于評估被測系統(tǒng)實現(xiàn)的信息交換標(biāo)準(zhǔn)中每條報文包含數(shù)據(jù)元素的編/解碼與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

3.2 語義

信息交換標(biāo)準(zhǔn)所承載的語義是指標(biāo)準(zhǔn)數(shù)據(jù)元素所表達的含義，主要包括數(shù)據(jù)元素的類型、單位、精度、取值范圍等相關(guān)內(nèi)容。語法和語義層面是標(biāo)準(zhǔn)內(nèi)部的意義，偏重于靜態(tài)分析，在進行信息交換類語義標(biāo)準(zhǔn)符合性測試時，需根據(jù)待測試的標(biāo)準(zhǔn)進行數(shù)據(jù)元素的類型進行分析，設(shè)計測試用例覆蓋所有數(shù)據(jù)元素類型，針對測試數(shù)據(jù)元素完整性等問題，選取度量元包括：標(biāo)準(zhǔn)中每條報文包含數(shù)據(jù)元素的總數(shù)W1、每條報文被測系統(tǒng)數(shù)據(jù)元素內(nèi)容處理正確總數(shù)S3。

數(shù)據(jù)元素內(nèi)容正確率（K3）用于評估被測系統(tǒng)實現(xiàn)的信息交換標(biāo)準(zhǔn)中每條報文數(shù)據(jù)項類型、取值等與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

3.3 語用

信息交換標(biāo)準(zhǔn)所承載的語用是指標(biāo)準(zhǔn)中每條報文與使用者的關(guān)系，即針對特定應(yīng)用場景，信息收發(fā)雙方運用標(biāo)準(zhǔn)的報文進行交互實現(xiàn)特定的功能。主要包括報文的組織應(yīng)用、報文的交互設(shè)計。語用是標(biāo)準(zhǔn)外部的意義，在信息交換標(biāo)準(zhǔn)語用層面標(biāo)準(zhǔn)符合性測試時，偏重于動態(tài)的分析?；诒粶y系統(tǒng)的特定應(yīng)用場景下的角色以及實現(xiàn)的功能，構(gòu)建典型應(yīng)用場景，設(shè)計測試用例的實施步驟，確保測試用例貫穿每個應(yīng)用流程。針對被測系統(tǒng)標(biāo)準(zhǔn)覆蓋范圍、功能應(yīng)用完好性等問題，選取度量元包括：標(biāo)準(zhǔn)中每條報文包含數(shù)據(jù)元素總數(shù)W1、報文抽樣測試總數(shù)W2、標(biāo)準(zhǔn)中包含報文總數(shù)W3、標(biāo)準(zhǔn)承載的交互接口總數(shù)W4、標(biāo)準(zhǔn)在不同應(yīng)用場景下所能承載的交互應(yīng)用總數(shù)W5、報文封裝正確數(shù)S4、報文解析正確數(shù)S5、報文組織結(jié)構(gòu)正確數(shù)S6、每條報文數(shù)據(jù)元素接收處理數(shù)S7、每條報文數(shù)據(jù)元素分發(fā)處理數(shù)S8、被測系統(tǒng)處理的報文總數(shù)S9、被測系統(tǒng)實現(xiàn)的交互接口數(shù)S10、被測系統(tǒng)實現(xiàn)的交互應(yīng)用S11。

報文封裝正確率（K4）、報文解析正確率（K5）用于評估被測系統(tǒng)實現(xiàn)的信息交換標(biāo)準(zhǔn)中每條報文封裝/解析方式、規(guī)則與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

報文結(jié)構(gòu)正確率（K6）主要用于評估被測系統(tǒng)實現(xiàn)物理域傳輸報文組包規(guī)則與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

數(shù)據(jù)元素接收處理覆蓋率（K7）、數(shù)據(jù)元素分發(fā)處理覆蓋率（K8）主要用于評估被測系統(tǒng)對每條報文接收處理/分發(fā)處理數(shù)據(jù)元素與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

報文覆蓋率（K9）主要用于評估被測系統(tǒng)對標(biāo)準(zhǔn)報文的覆蓋情況，計算公式如下：

交互接口正確率（K10）主要用于評估被測系統(tǒng)交互接口與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

交互完好率（K11）主要用于評估被測系統(tǒng)交互應(yīng)用與標(biāo)準(zhǔn)規(guī)定的符合性，計算公式如下：

3.4 標(biāo)準(zhǔn)符合度

針對測試評估指標(biāo)體系中各分項指標(biāo)的符合性評估結(jié)果，通過綜合計算得出被測系統(tǒng)的標(biāo)準(zhǔn)符合度δ，用于整體評價系統(tǒng)的標(biāo)準(zhǔn)符合度，計算公式如下：

其中，B1、B2、B3、B4、B5均通過分項指標(biāo)計算得出，N表示被測信息交換標(biāo)準(zhǔn)包含的報文總數(shù)。在實際的標(biāo)準(zhǔn)符合性測試中，可針對被測系統(tǒng)的類別、功能要求、錯誤容忍率和以往經(jīng)驗等，設(shè)計調(diào)整分項指標(biāo)的參數(shù)和權(quán)重。

4 測試結(jié)果分析

試驗以某系統(tǒng)進行的某信息交換標(biāo)準(zhǔn)符合性測試為例說明測試評估指標(biāo)體系。

本次被測系統(tǒng)待測試的信息交換標(biāo)準(zhǔn)包含6條報文，6條報文分別包括的數(shù)據(jù)元素個數(shù)分別為20、25、22、31、35、20，對報文結(jié)構(gòu)分項指標(biāo)測試中抽樣測試次數(shù)為15次，基于上述各項指標(biāo)計算公式采用了等權(quán)平均后具體測試結(jié)果如圖2、圖3、表1所示。

圖2 各報文K1-K8指標(biāo)的分布情況

從測試結(jié)果可以看出，被測系統(tǒng)在信息交換標(biāo)準(zhǔn)的設(shè)計和實現(xiàn)方面，報文2、報文3、報文6各項指標(biāo)的整體實現(xiàn)度優(yōu)于報文1、報文4、報文5；各報文在各項指標(biāo)整體分布方面，該系統(tǒng)在數(shù)據(jù)元素接收處理覆蓋方面實現(xiàn)度存在一定缺陷。

圖3 報文1測試結(jié)果一覽表

具體針對報文1，可以看出其在數(shù)據(jù)接收處理覆蓋度方面存在較大缺陷。

表1 綜合測試結(jié)果一覽表

從測試結(jié)果可以看出，該系統(tǒng)在信息交換類標(biāo)準(zhǔn)的使用方面，交互接口的承載應(yīng)用實現(xiàn)存在較大缺陷。

綜合上述各項指標(biāo)測試結(jié)果，此次被測系統(tǒng)測試信息交換標(biāo)準(zhǔn)中各類報文的符合率以及標(biāo)準(zhǔn)應(yīng)用的符合率，最終計算得出被測系統(tǒng)對整個標(biāo)準(zhǔn)的標(biāo)準(zhǔn)符合度為87.36%。類比同類項目測試經(jīng)驗，一般通過測試的標(biāo)準(zhǔn)符合度δ應(yīng)超過95%，且不存在單項符合率低于90%。故該系統(tǒng)未能通過測試，需根據(jù)測試缺陷進一步修改完善。

5 結(jié)語

本文在分析信息交換類標(biāo)準(zhǔn)符合性測試工作現(xiàn)狀和問題的基礎(chǔ)上，通過分析各類信息交換標(biāo)準(zhǔn)，研究構(gòu)建了信息交換類標(biāo)準(zhǔn)符合性測試評估指標(biāo)體系，給出了定量計算方法，并基于試驗對指標(biāo)體系與計算方法進行了驗證，為信息交換類標(biāo)準(zhǔn)符合性測試提供了一種科學(xué)有效的量化評估解決方案。