數(shù)據(jù)系統(tǒng)工程：系統(tǒng)優(yōu)化的決策支持技術(shù)

張　峰

（1.中國航天系統(tǒng)科學(xué)與工程研究院， 北京 100048；2.山東省低碳經(jīng)濟(jì)技術(shù)研究院，山東 淄博 255012）

?

數(shù)據(jù)系統(tǒng)工程：系統(tǒng)優(yōu)化的決策支持技術(shù)

張峰1，2

（1.中國航天系統(tǒng)科學(xué)與工程研究院， 北京 100048；2.山東省低碳經(jīng)濟(jì)技術(shù)研究院，山東 淄博 255012）

摘要：大數(shù)據(jù)背景下，數(shù)據(jù)的決策支持作用愈發(fā)顯著。本文在分析系統(tǒng)內(nèi)涵的基礎(chǔ)上，提出了數(shù)據(jù)系統(tǒng)的概念，即由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)、數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)應(yīng)用系統(tǒng)等組成復(fù)雜統(tǒng)一體。通過將系統(tǒng)工程理論與方法引入到解決數(shù)據(jù)系統(tǒng)開發(fā)與利用，進(jìn)一步定義了數(shù)據(jù)系統(tǒng)工程，同時明確了數(shù)據(jù)系統(tǒng)工程研究對象為數(shù)據(jù)系統(tǒng)，其呈現(xiàn)集成性、關(guān)聯(lián)性、結(jié)構(gòu)性、涌現(xiàn)性和大系統(tǒng)性等特點。數(shù)據(jù)系統(tǒng)工程的研究內(nèi)容主要包括數(shù)據(jù)系統(tǒng)規(guī)律探索、數(shù)據(jù)系統(tǒng)開發(fā)利用、數(shù)據(jù)系統(tǒng)協(xié)調(diào)控制等。此外，初步明晰了數(shù)據(jù)系統(tǒng)工程的方法論，并分別從時間維、邏輯維、知識維，以及“物理、事理、人理”的角度，對其進(jìn)行了探討分析。為推動數(shù)據(jù)處理與系統(tǒng)工程等學(xué)科發(fā)展提供參考借鑒。

關(guān)鍵詞：數(shù)據(jù)系統(tǒng)；系統(tǒng)工程；數(shù)據(jù)系統(tǒng)工程；決策支持

互聯(lián)網(wǎng)技術(shù)的發(fā)展與應(yīng)用使人類行為的網(wǎng)絡(luò)交互性日趨顯著，數(shù)據(jù)由此也如雨后春筍，在數(shù)量、種類和形態(tài)上均呈“爆發(fā)式”增長，數(shù)據(jù)正像石油、鋼鐵一樣日益成為重要原材料，以數(shù)據(jù)為重要驅(qū)動力的數(shù)據(jù)革命隨之而來[1]。特別是現(xiàn)階段愈演愈熱的“大數(shù)據(jù)”，促使人們的思維方式、行為方式、決策方式、商業(yè)模式、產(chǎn)業(yè)模式和管理模式等都面臨一場顛覆性變革[2]。此背景下，實現(xiàn)對數(shù)據(jù)的多維識別及管理成為當(dāng)前亟待解決的問題。本文通過分析數(shù)據(jù)系統(tǒng)工程的內(nèi)涵特征及其對水資源系統(tǒng)優(yōu)化的決策支持作用，闡明數(shù)據(jù)系統(tǒng)工程必將是數(shù)據(jù)科學(xué)的重要組成部分。隨著數(shù)據(jù)科學(xué)的發(fā)展和系統(tǒng)工程在數(shù)據(jù)科學(xué)領(lǐng)域的研究深入，將逐漸發(fā)展成為一門獨立的學(xué)科體系。

一、系統(tǒng)與數(shù)據(jù)系統(tǒng)

系統(tǒng)是由兩個或兩個以上相互聯(lián)系、相互依賴、相互制約、相互作用的事物和過程組成的集合體，并具有特定的功能[3]。系統(tǒng)所包括的各項要素按照一定方式實現(xiàn)各物質(zhì)、信息與能量的交換（包括輸入、傳輸、存儲、轉(zhuǎn)換、輸出等），而不同要素之間有其內(nèi)部的演化規(guī)律，以適應(yīng)外部環(huán)境的變動[4]。通常構(gòu)成系統(tǒng)的要素復(fù)雜而多樣，特別是針對以人為主體（存在思維）的系統(tǒng)分析，復(fù)雜系統(tǒng)理論等系統(tǒng)工程理論與方法呈現(xiàn)了其獨特的作用。

數(shù)據(jù)系統(tǒng)是指在一定的時空與區(qū)域范圍內(nèi)，可實現(xiàn)載體經(jīng)濟(jì)價值的提升，為人類社會活動提供決策支持的數(shù)據(jù)因素與條件的復(fù)雜統(tǒng)一體。復(fù)雜統(tǒng)一體中不同類型的數(shù)據(jù)相互關(guān)聯(lián)、相互作用，尤其是時間序列下呈現(xiàn)其內(nèi)部獨有的發(fā)展規(guī)律，其終極目的是對人類社會提供有效的服務(wù)。復(fù)雜統(tǒng)一體與外部環(huán)境（或其它系統(tǒng)）進(jìn)行信息交換①通常系統(tǒng)與外部環(huán)境之間需要進(jìn)行物質(zhì)、能量、信息的交換，而數(shù)據(jù)系統(tǒng)與外部環(huán)境之間主要以信息交換為主。，其同構(gòu)數(shù)據(jù)及異構(gòu)數(shù)據(jù)之間的相互作用具備復(fù)雜系統(tǒng)的諸多特征，一般數(shù)據(jù)系統(tǒng)由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)傳輸系統(tǒng)、數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)應(yīng)用系統(tǒng)等組成，不同子系統(tǒng)之間相互依存，是多目標(biāo)、多變量、多屬性和決策依賴度強(qiáng)的復(fù)雜巨系統(tǒng)，而其不同子系統(tǒng)又是由多個異構(gòu)層級構(gòu)成的子系統(tǒng)組成[5]。例如數(shù)據(jù)處理系統(tǒng)是由一系列子系統(tǒng)構(gòu)成，包括數(shù)據(jù)的完備性構(gòu)建系統(tǒng)②數(shù)據(jù)的完備性指既有數(shù)據(jù)統(tǒng)計量（數(shù)據(jù)缺失狀況）及其準(zhǔn)確度。、數(shù)據(jù)的真?zhèn)涡澡b定系統(tǒng)③數(shù)據(jù)的真?zhèn)涡灾赣捎跀?shù)據(jù)源種類繁多、數(shù)據(jù)量大、監(jiān)測難度高等，而不同部門的統(tǒng)計口徑、方法和范圍不一致，導(dǎo)致同指標(biāo)數(shù)據(jù)在相異部門之間存在較大差異，同時諸多以“上報”形式取得的數(shù)據(jù)的真實性亦有待核查。、數(shù)據(jù)的功效性提升系統(tǒng)④數(shù)據(jù)的功效性指多元、異構(gòu)的海量數(shù)據(jù)通常存在冗余和數(shù)據(jù)關(guān)聯(lián)系被分割的情況，導(dǎo)致數(shù)據(jù)應(yīng)用效率低，提供決策信息有限，難以發(fā)揮數(shù)據(jù)的功能和價值。等，各個子系統(tǒng)之間相互聯(lián)系、相互支撐。因此，研究數(shù)據(jù)系統(tǒng)應(yīng)從數(shù)據(jù)的全流程研究，用系統(tǒng)的觀點和方法解決數(shù)據(jù)問題。

二、數(shù)據(jù)系統(tǒng)工程

錢學(xué)森等將系統(tǒng)工程定位為組織管理“系統(tǒng)”規(guī)劃、研究、設(shè)計、制造、試驗和使用的科學(xué)方法，是一種對所有“系統(tǒng)”都具有普遍意義的科學(xué)方法。從我國系統(tǒng)工程的發(fā)展歷程來看，它是一門從整體的角度出發(fā)，對提升系統(tǒng)運行質(zhì)量而必須具備的全部理論、方法、技術(shù)的綜合性工程技術(shù)，其按照系統(tǒng)優(yōu)化的目標(biāo)要求，將系統(tǒng)科學(xué)、控制科學(xué)、信息科學(xué)和應(yīng)用數(shù)學(xué)等理論工具進(jìn)行有效協(xié)調(diào)，采取定性與定量相結(jié)合的綜合集成方法，研究解決系統(tǒng)優(yōu)化的分析、設(shè)計、控制和管理等問題，最終實現(xiàn)系統(tǒng)的綜合提升[6]。

通過將系統(tǒng)工程理論與方法引入到解決數(shù)據(jù)系統(tǒng)開發(fā)與利用則稱為數(shù)據(jù)系統(tǒng)工程。即數(shù)據(jù)系統(tǒng)工程是以數(shù)據(jù)系統(tǒng)為研究對象，通過跨學(xué)科、跨領(lǐng)域的知識技能實現(xiàn)數(shù)據(jù)系統(tǒng)綜合提升所要進(jìn)行科學(xué)設(shè)計、合理開發(fā)、運行管控的理論、方法與技術(shù)的統(tǒng)稱。它綜合運用系統(tǒng)思維、數(shù)學(xué)方法、建模理論、優(yōu)化評價以及各種技術(shù)，對數(shù)據(jù)系統(tǒng)的數(shù)據(jù)采集、傳輸、存儲、處理、應(yīng)用和反饋等功能實現(xiàn)系統(tǒng)設(shè)計與優(yōu)化配置，為最大化的發(fā)揮數(shù)據(jù)的決策支持效用提供科學(xué)有效地工程技術(shù)保障[7]。

三、數(shù)據(jù)系統(tǒng)工程的研究對象與內(nèi)容

1．研究對象及其特點

數(shù)據(jù)系統(tǒng)工程研究對象為數(shù)據(jù)系統(tǒng)。后者的基本特點如下：①集成性：具備多屬性的數(shù)據(jù)要素不僅要在類別上存在較大差異，在構(gòu)成數(shù)據(jù)系統(tǒng)的要素數(shù)量也必須形成系統(tǒng)集合；②關(guān)聯(lián)性：構(gòu)成數(shù)據(jù)系統(tǒng)的多子系統(tǒng)之間以及子系統(tǒng)所包括的數(shù)據(jù)要素之間存在相互關(guān)聯(lián)、相互影響的內(nèi)部關(guān)系。如非間斷數(shù)據(jù)傳輸系統(tǒng)受到外部環(huán)境的影響導(dǎo)致傳輸數(shù)據(jù)的缺失、變動，則易導(dǎo)致數(shù)據(jù)處理系統(tǒng)中缺乏科學(xué)有效的依據(jù)；③結(jié)構(gòu)性：現(xiàn)階段雖還未實現(xiàn)數(shù)據(jù)系統(tǒng)結(jié)構(gòu)的清晰化辨識，但由于數(shù)據(jù)必須依附于載體存在，而不同的載體通常具備特定的層次結(jié)構(gòu)，數(shù)據(jù)隨之形成特有的復(fù)合結(jié)構(gòu)，并在一定的承受閾值之內(nèi)維持在平衡狀態(tài)。當(dāng)數(shù)據(jù)系統(tǒng)外部干擾力超越其閾值，則其結(jié)構(gòu)易被破壞，導(dǎo)致原有功能的紊亂或消失；④涌現(xiàn)性：此特性是指依附于不同載體的數(shù)據(jù)具有其自身的內(nèi)部規(guī)律，尤其是時間序列下的數(shù)據(jù)按照其分析目標(biāo)、分析方法的不同通常呈現(xiàn)不同的特點，而當(dāng)相異載體的數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析時，亦可探尋出單一載體數(shù)據(jù)所無法呈現(xiàn)的規(guī)律特點。⑤大系統(tǒng)性：此特點與數(shù)據(jù)系統(tǒng)如社會經(jīng)濟(jì)系統(tǒng)、資源系統(tǒng)等相似，尤其是在大數(shù)據(jù)愈演愈烈的情況下，數(shù)據(jù)規(guī)模龐大，內(nèi)部結(jié)構(gòu)復(fù)雜，其相異載體的數(shù)據(jù)之間更是關(guān)系錯綜多樣，其隨機(jī)性顯著，是一個復(fù)雜的大系統(tǒng)。

2．研究內(nèi)容

數(shù)據(jù)系統(tǒng)工程以數(shù)據(jù)系統(tǒng)為主要研究對象，主要研究內(nèi)容包括：

一是數(shù)據(jù)系統(tǒng)規(guī)律的探索。數(shù)據(jù)系統(tǒng)規(guī)律探索的目的是實現(xiàn)系統(tǒng)的客觀認(rèn)識，更加科學(xué)、有效地辨識系統(tǒng)的基本特性與運行規(guī)律，為合理調(diào)控系統(tǒng)要素與處理數(shù)據(jù)要素關(guān)系提供決策支持。數(shù)據(jù)系統(tǒng)規(guī)律的探索主要包括3個層面：首先，要對構(gòu)成數(shù)據(jù)系統(tǒng)的數(shù)據(jù)要素進(jìn)行統(tǒng)籌分析，重點透析數(shù)據(jù)的采集、傳輸、存儲、加工、屬性、分類、功能；其次，探析數(shù)據(jù)系統(tǒng)要素之間的動態(tài)關(guān)系，如數(shù)據(jù)要素之間的信息傳遞、作用機(jī)制等，探索中應(yīng)有效地辨識數(shù)據(jù)要素客觀存在的內(nèi)部關(guān)系，也應(yīng)將人為因素納入到考慮范疇；再次，對數(shù)據(jù)系統(tǒng)的整體演變機(jī)理及屬性規(guī)律進(jìn)行研究，尤其是數(shù)據(jù)系統(tǒng)與外部環(huán)境之間、數(shù)據(jù)系統(tǒng)與其載體之間的關(guān)系[8]。

二是數(shù)據(jù)系統(tǒng)開發(fā)利用的研究。主要包括需求研究、數(shù)據(jù)采集傳輸、數(shù)據(jù)集成和數(shù)據(jù)利用研究。數(shù)據(jù)系統(tǒng)需求研究，包括需求種類、性質(zhì)、數(shù)量、時間、空間等研究[9]。數(shù)據(jù)的采集與傳輸研究，應(yīng)注重其采集效率的提升，當(dāng)前越來越多的數(shù)據(jù)采集技術(shù)都集成于操作系統(tǒng)之上，如借助衛(wèi)星高分辨率圖片得到觀測數(shù)據(jù)系統(tǒng)，有的借助高頻數(shù)據(jù)實現(xiàn)窄帶條件下無損、實時數(shù)據(jù)采集，均提高其采集的效率和準(zhǔn)確度。數(shù)據(jù)集成方面，這是實現(xiàn)數(shù)據(jù)質(zhì)量提升與滿足支持決策要求之間的重要環(huán)節(jié)，目前研究的焦點是如何將本體⑤本體是由若干概念及其在某種邏輯理論（如一階謂詞演算）支持下的定義所構(gòu)成的一種分類法。對于特定一個領(lǐng)域而言，本體表達(dá)的是其整套術(shù)語、實體、對象、類、屬性及其之間的關(guān)系，提供的是形式化的定義和公理，用來約束對于這些術(shù)語的解釋。本體允許使用一系列豐富的結(jié)構(gòu)關(guān)系和非結(jié)構(gòu)關(guān)系，如泛化、繼承、聚合和實例化，并且可以為軟件應(yīng)用程序提供精確的領(lǐng)域模型。例如，本體可以為傳統(tǒng)軟件提供面向?qū)ο笮拖到y(tǒng)的對象模式（object schema），以及類的定義。視為一種工具引入到數(shù)據(jù)集成系統(tǒng)，通過發(fā)揮本體所具有的語義描述方面的優(yōu)勢，解決其語義異構(gòu)的難題。數(shù)據(jù)利用研究，既要解決集成數(shù)據(jù)的本身存在的問題，又要在此基礎(chǔ)上發(fā)揮數(shù)據(jù)的功效性。前者包括對缺失數(shù)據(jù)的完備性再造（如快速準(zhǔn)確填充缺失的高維數(shù)據(jù)問題）、數(shù)據(jù)的真?zhèn)涡员孀R（如在線監(jiān)測中存在的“一數(shù)多來源”問題）等，需要對數(shù)據(jù)挖掘、數(shù)據(jù)融合等技術(shù)進(jìn)行更深層次的探索；后者要分析與數(shù)據(jù)開發(fā)利用相關(guān)的多方面要素、系統(tǒng)之間的動態(tài)關(guān)系，明確其帶來的重要價值，亦要重視其負(fù)面效應(yīng)，配套其相應(yīng)的管理機(jī)制。

三是數(shù)據(jù)系統(tǒng)協(xié)調(diào)控制的研究。此處“控制”是指通過施加于數(shù)據(jù)系統(tǒng)（或其子系統(tǒng)）特定的作用力，實現(xiàn)系統(tǒng)（或子系統(tǒng)）功能與其狀態(tài)相符合，進(jìn)而滿足實現(xiàn)系統(tǒng)既定目標(biāo)的要求。數(shù)據(jù)系統(tǒng)協(xié)調(diào)是指解決（緩解）數(shù)據(jù)由采集到利用過程中所出現(xiàn)的沖突、矛盾，追求數(shù)據(jù)系統(tǒng)提升的最優(yōu)化。當(dāng)系統(tǒng)提升狀態(tài)是非目標(biāo)狀態(tài)時，則需要對系統(tǒng)要素（子系統(tǒng)）進(jìn)行重復(fù)調(diào)整，以滿足要求。因此，該方面的研究更多的是側(cè)重于解決數(shù)據(jù)系統(tǒng)優(yōu)化過程中的管理問題。此外，該過程需要注意的是不同的數(shù)據(jù)系統(tǒng)所具有的系統(tǒng)特性相異，建立系統(tǒng)協(xié)調(diào)控制機(jī)制時不僅要注重其普適性，也要結(jié)合數(shù)據(jù)系統(tǒng)的實際情況做出針對性調(diào)整，并盡可能做到事前控制，避免其協(xié)調(diào)控制呈現(xiàn)“事后反饋”狀態(tài)。當(dāng)事后發(fā)現(xiàn)系統(tǒng)存在較大問題時，易造成控制成本的上升，甚至嚴(yán)重影響決策的正確性，導(dǎo)致無法估量的損失。

根據(jù)上述研究內(nèi)容，可繪制數(shù)據(jù)系統(tǒng)工程所研究的基本邏輯層次，主要依次包括“數(shù)據(jù)采集層、數(shù)據(jù)傳輸層、數(shù)據(jù)基礎(chǔ)層、數(shù)據(jù)集成層、數(shù)據(jù)處理層和數(shù)據(jù)應(yīng)用層”6大層次，各層次均是數(shù)據(jù)系統(tǒng)工程的重要研究環(huán)節(jié)，具體見圖1所示。

圖1　數(shù)據(jù)系統(tǒng)工程研究內(nèi)容基本范疇

四、數(shù)據(jù)系統(tǒng)工程的方法論

系統(tǒng)工程方法論是數(shù)據(jù)系統(tǒng)工程發(fā)展的基本前提，包括傳統(tǒng)的霍爾三維結(jié)構(gòu)模型[10]、切克蘭德軟系統(tǒng)工程方法論[11]，以及錢學(xué)森提出的從定性到定量的綜合集成系統(tǒng)方法論[12]、顧基發(fā)等創(chuàng)建的物理-事理-人理（Wuli-Shili-Renli，WSR）系統(tǒng)方法論[13]等，可將其用于指導(dǎo)數(shù)據(jù)系統(tǒng)工程的研究。

霍爾三維結(jié)構(gòu)主要涵蓋時間維、邏輯維、知識維。其中，時間維主要包括系統(tǒng)工程由最初的規(guī)劃階段至后期的更新階段所必須遵循的七大基本程序⑥時間維主要包括規(guī)劃階段、擬定方案、研制階段、生產(chǎn)階段、安裝階段、運行階段、更新階段等，但此為普適性階段，具體階段需要根據(jù)需求進(jìn)行增減調(diào)整。，而在實際的復(fù)雜巨系統(tǒng)中，這其中的每個階段又是非常復(fù)雜的過程；而邏輯維劃分了更加精細(xì)化的步驟⑦邏輯維主要包括問題的擺明、待研究系統(tǒng)的指標(biāo)（要素）設(shè)定、系統(tǒng)的合理構(gòu)建（綜合）、系統(tǒng)的科學(xué)分析、系統(tǒng)的優(yōu)化、決策的制定及實施等，具體步驟亦需要根據(jù)研究需求進(jìn)行相關(guān)調(diào)整。，明確了針對時間維上的各個階段中的特點所應(yīng)遵循的相關(guān)邏輯先后順序；知識維闡釋了為確保各個階段、步驟順利展開所應(yīng)用到的全部知識、技術(shù)等。通過將時間劃分階段以及邏輯實施步驟進(jìn)行相應(yīng)的集成與綜合，則建立了三維結(jié)構(gòu)中的系統(tǒng)工程活動矩陣，用于系統(tǒng)的分析、設(shè)計、優(yōu)化等。霍爾三維結(jié)構(gòu)模型如圖2所示。

圖2　霍爾三維結(jié)構(gòu)

相比霍爾三維結(jié)構(gòu)，切克蘭德軟系統(tǒng)工程方法論在研究社會經(jīng)濟(jì)問題等方面更加強(qiáng)調(diào)比較學(xué)習(xí)，其方法論的內(nèi)容主要包括了認(rèn)識問題、根底定義、構(gòu)建概念模型、比較與探尋、分析選擇、設(shè)計實施、評估反饋等[14]。其中，根底定義主要是指整合系統(tǒng)問題的各項關(guān)鍵要素，并透析與之相關(guān)聯(lián)的要素情況，在此基礎(chǔ)上確立出可供參考的基本觀點；比較與探尋主要是將所構(gòu)建的概念模型與現(xiàn)實情況進(jìn)行對比研究，探尋可以滿足決策者需求的最佳方案；評估反饋則是根據(jù)具體實施過程中所呈現(xiàn)的新問題、新認(rèn)知，對初始問題及概念模型等進(jìn)行及時的反饋修正，見圖3。

圖3　切克蘭德方法論

綜合集成方法要求充分發(fā)揮專家體系的智慧經(jīng)驗，強(qiáng)調(diào)將其體系與機(jī)器相協(xié)調(diào)合作。即可劃分為三個主要步驟：實現(xiàn)定性綜合集成、實現(xiàn)定性定量相結(jié)合綜合集成、實現(xiàn)從定性到定量綜合集成[15]。此過程的各階段并非是按照還原論的思想進(jìn)行劃分，而是逐次逼近。在實際問題中，涉及到復(fù)雜巨系統(tǒng)的難題一般都具有非結(jié)構(gòu)化問題，其中存在較多的難題是利用計算機(jī)所無法攻克的，因此，利用綜合集成方法可解決非結(jié)構(gòu)化問題的逼近處理問題，具體過程見圖4所示。

WSR系統(tǒng)方法論主要涉及到“物理”、“事理”、“人理”3個方面，并由此印證了系統(tǒng)實踐活動的相互關(guān)系。其中，“物理”主要是指物質(zhì)在具體運動過程中所涉及到的機(jī)理，不僅涵蓋了狹義物理，也有地理、化學(xué)、天文和生物等。采用自然科學(xué)科學(xué)知識的相關(guān)理論用以闡釋“物”具體指什么。

“事理”表示做事的道理。該方面主要是探索怎么去調(diào)用物料、人員、設(shè)備等。所采用的方法有管理科學(xué)、運籌學(xué)等多方面知識，重點解決“如何去做”。它是對特定系統(tǒng)的構(gòu)建及模型的選擇做出最佳的決策，實現(xiàn)系統(tǒng)的優(yōu)化提升與管理，從而對系統(tǒng)資源配置及環(huán)境進(jìn)行改善，實際運行過程中也會受到人的經(jīng)驗、知識、偏好等主觀因素影響，其終極目標(biāo)是構(gòu)建出客觀有效的物理模型[16]。

圖4　綜合集成方法用于決策支持問題

“人理”表示做人的道理。所涉及的知識領(lǐng)域主要包括人文社會科學(xué)，對系統(tǒng)運行過程中人為主觀關(guān)系進(jìn)行分析，用以解決“應(yīng)如何做”和“最好如何做”。人作為系統(tǒng)參與者具有高度的復(fù)雜性，所形成的實踐活動也是復(fù)雜多樣。因此，系統(tǒng)運行也必須重視此因素的作用。

表1　物理、事理、人理系統(tǒng)方法論內(nèi)容

五、數(shù)據(jù)系統(tǒng)工程三維方法論

根據(jù)上述系統(tǒng)工程方法論，可知系統(tǒng)工程方法論不僅吸收了還原論與整體論的優(yōu)點，還彌補(bǔ)了其各自的短板。而本文所提出的數(shù)據(jù)系統(tǒng)工程方法論正是借鑒上述系統(tǒng)工程方法論的優(yōu)點，既強(qiáng)調(diào)專家體系、數(shù)據(jù)信息體系、知識體系、計算機(jī)體系的綜合集成與有機(jī)融合，也注重不同維度下的數(shù)據(jù)系統(tǒng)工程各時間階段所遵循的邏輯步驟。即數(shù)據(jù)系統(tǒng)工程方法論是以硬系統(tǒng)方法論與軟系統(tǒng)方法論⑧硬系統(tǒng)方法論主要包括運籌學(xué)方法（OR）、系統(tǒng)工程方法論（SE）、系統(tǒng)分析方法論（SA）、系統(tǒng)動力學(xué)（SD）等，軟系統(tǒng)方法論主要包括切克蘭德軟系統(tǒng)方法論（SSM）、定性系統(tǒng)動力學(xué)（QSD）、社會技術(shù)系統(tǒng)設(shè)計（STSD）、關(guān)鍵系統(tǒng)干預(yù)法（TSI）等。為基礎(chǔ)，結(jié)合綜合集成方法論與WSR系統(tǒng)論，構(gòu)建以時間維、邏輯維、知識維三大維度為基礎(chǔ)的數(shù)據(jù)系統(tǒng)工程三維結(jié)構(gòu)（見圖5所示），明確各維度的分析和解決數(shù)據(jù)問題辯證程序，辨識數(shù)據(jù)系統(tǒng)工程在目標(biāo)需求導(dǎo)向下的物理、事理與人理內(nèi)容，從而在大數(shù)據(jù)愈演愈烈的情況下，更好地為人們處理數(shù)據(jù)系統(tǒng)工程問題提供思想、方法和準(zhǔn)則等方面的科學(xué)指導(dǎo)。

圖5　數(shù)據(jù)系統(tǒng)工程三維結(jié)構(gòu)

1．?dāng)?shù)據(jù)系統(tǒng)工程時間維

時間維是指數(shù)據(jù)系統(tǒng)工程的研究階段與進(jìn)程。數(shù)據(jù)系統(tǒng)工程在宏觀層面上主要分為數(shù)據(jù)系統(tǒng)規(guī)劃設(shè)計階段、數(shù)據(jù)系統(tǒng)論證階段、數(shù)據(jù)系統(tǒng)分析階段、數(shù)據(jù)系統(tǒng)開發(fā)利用階段、數(shù)據(jù)系統(tǒng)優(yōu)化配置階段等，各階段有效協(xié)調(diào)形成一個完整的統(tǒng)一體。其中，數(shù)據(jù)的采集、傳輸、處理、存儲與利用等環(huán)節(jié)必須按照系統(tǒng)規(guī)劃、全面調(diào)研、初案擬定、方案優(yōu)選、方案實施、實施反饋的流程進(jìn)行系統(tǒng)組織與科學(xué)管理[17]。

2．?dāng)?shù)據(jù)系統(tǒng)工程邏輯維

數(shù)據(jù)由采集到利用的過程是按照“挖掘問題-系統(tǒng)構(gòu)建-系統(tǒng)分析-模型構(gòu)建-優(yōu)化提升-決策制定-工程實施-反饋協(xié)調(diào)”基本解決問題思路[18]。其中，“挖掘問題”指面向決策支持需求所需要解決的數(shù)據(jù)問題及其條件分析，要求信息資料調(diào)研充足、現(xiàn)狀分析徹底與變化態(tài)勢明確等。“系統(tǒng)構(gòu)建”指按照規(guī)劃目標(biāo)統(tǒng)籌各項數(shù)據(jù)關(guān)聯(lián)要素，并按照目標(biāo)系統(tǒng)狀態(tài)要求構(gòu)建相應(yīng)的數(shù)據(jù)系統(tǒng)及其評價指標(biāo)體系。“模型構(gòu)建”是指按照所構(gòu)建的數(shù)據(jù)系統(tǒng)的特點，選取與之相契合的系統(tǒng)工程決策理論與方法，并針對系統(tǒng)優(yōu)化提出多種可供選擇的方案，進(jìn)而利用特定模型⑨具有評價分析功能的模型有多種，包括概念模型、圖式模型、邏輯模型、物理模型數(shù)學(xué)模型等，模型的確定要根據(jù)評價需求進(jìn)行針對性選擇。對這些優(yōu)化方案進(jìn)行優(yōu)劣排序與擇優(yōu)選取。其中，數(shù)據(jù)系統(tǒng)優(yōu)化方案的對比主要是按照“最終目標(biāo)-基本準(zhǔn)則-具體指標(biāo)-備選方案”的邏輯順序進(jìn)行“四定”（定性、定量、定時、定位）分析，涉及到目標(biāo)評估、結(jié)構(gòu)探索、功能界定、價值透析等方面內(nèi)容。該過程不僅有效結(jié)合了系統(tǒng)的定量分析，也發(fā)揮了專家經(jīng)驗的重要作用?！皟?yōu)化提升”主要是對數(shù)據(jù)系統(tǒng)優(yōu)化方案所涉及到的參數(shù)、指數(shù)與系數(shù)進(jìn)行反復(fù)論證，最終確定最佳的可實施性方案，并為“決策制定”與“工程實施”提供有效保障?！胺答亝f(xié)調(diào)”則要求對數(shù)據(jù)系統(tǒng)優(yōu)化方案實施過程進(jìn)行動態(tài)監(jiān)測，并及時總結(jié)，就其中暴漏出的問題對原方案進(jìn)行針對性的調(diào)整改善。

3．?dāng)?shù)據(jù)系統(tǒng)工程知識維

實施數(shù)據(jù)系統(tǒng)工程要求決策者擁有數(shù)據(jù)處理、信號科學(xué)、經(jīng)濟(jì)數(shù)學(xué)、管理科學(xué)、系統(tǒng)科學(xué)與系統(tǒng)哲學(xué)等跨學(xué)科、跨領(lǐng)域的集成知識體系。而根據(jù)目標(biāo)需求的不同選取或建立科學(xué)有效的技術(shù)方法體系則成為數(shù)據(jù)系統(tǒng)工程取得成效的關(guān)鍵。因此，以目標(biāo)導(dǎo)向為前提的數(shù)據(jù)系統(tǒng)工程的實際實施過程中，不僅要注重“硬件”⑩包括新技術(shù)、新方法、新工藝、新流程、新設(shè)備等。的使用，也要充分發(fā)揮“軟件”?如將系統(tǒng)科學(xué)、系統(tǒng)工程理論與方法技術(shù)有效運用到數(shù)據(jù)融合、數(shù)據(jù)挖掘、決策分析、組織管理等相關(guān)方面等。的功效，即注重軟硬件技術(shù)的集成，將其與現(xiàn)代化科學(xué)技術(shù)手段相結(jié)合，充分發(fā)揮多種理論與技術(shù)手段的協(xié)同效應(yīng)。尤其是在解決諸多特定的問題時，通過對軟硬件技術(shù)手段的組合優(yōu)化，能夠發(fā)揮單一技術(shù)手段所無法取得的成效。

六、數(shù)據(jù)系統(tǒng)工程應(yīng)用舉例——PLS多元數(shù)據(jù)分析建模

數(shù)據(jù)系統(tǒng)工程方法論可為處理數(shù)據(jù)系統(tǒng)問題提供科學(xué)的指導(dǎo)，而數(shù)據(jù)系統(tǒng)工程技術(shù)方法的選擇需要根據(jù)具體實際問題的需求進(jìn)行選擇?？紤]到當(dāng)前數(shù)據(jù)逐步呈現(xiàn)出海量、多元、異構(gòu)等多種特性，本文在此僅以可用于分析系統(tǒng)穩(wěn)定性影響因素的多元數(shù)據(jù)分析方法PLS（Partial Least-Squares）為例，對數(shù)據(jù)系統(tǒng)工程技術(shù)挖掘多元數(shù)據(jù)特征成分的一般建模過程進(jìn)行介紹（其計算過程可利用MATLAB等計算機(jī)軟件進(jìn)行編程實現(xiàn)）。PSL多元數(shù)據(jù)分析法由S.Wold和C.Albano等人首次提出，該方法在一定程度上可被認(rèn)為是在主成分（PCR）方法上的加強(qiáng)與改進(jìn)，PLS在成分提取的過程中同時考慮數(shù)據(jù)自變量（解釋變量）和數(shù)據(jù)因變量（被解釋變量）的信息，在多變量的復(fù)雜數(shù)據(jù)系統(tǒng)中，PLS利用數(shù)據(jù)信息分解的思路，將自變量系統(tǒng)中的數(shù)據(jù)信息重新組合，有效地提取對數(shù)據(jù)系統(tǒng)解釋性最強(qiáng)的綜合變量，排除重疊信息或無解釋意義信息的干擾，從而克服多重共線性在數(shù)據(jù)系統(tǒng)建模中的不良作用，得到更為可靠的數(shù)據(jù)分析結(jié)果[19]。其建模步驟如下：

Step1：數(shù)據(jù)要素標(biāo)準(zhǔn)化處理。設(shè)已知數(shù)據(jù)因變量Y和p個數(shù)據(jù)自變量X1, X2,…, XK，數(shù)據(jù)要素樣本數(shù)為n，形成數(shù)據(jù)自變量矩陣X=[x1, x2…,xK]n×p和因變量矩陣Y=[y]n×1。為了減少運算誤差，將X和Y進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化的數(shù)據(jù)自變量矩陣M0和N0因變量矩陣，具體方法見公式（1）。

式（1）中，Xij表示數(shù)據(jù)自變量X中第j個數(shù)據(jù)變量的第i個數(shù)據(jù)要素樣本值；表示數(shù)據(jù)自變量X中第j個數(shù)據(jù)變量Xj的平均值；Sj表示xj的標(biāo)準(zhǔn)差；yi指因變量y的第i個數(shù)據(jù)要素樣本值；指y的平均值；sy表示y的標(biāo)準(zhǔn)差；分別表示自變量和因變量標(biāo)準(zhǔn)化后的數(shù)值。

Step 2：從中抽取一個數(shù)據(jù)因素成分，t1=M0W1,其中，分別做M0、N0關(guān)于t1的普通線性回歸。其中回歸系數(shù)，稱M1、N1為數(shù)據(jù)殘差矩陣。

Step3：以M1、N1取代M0、N0，可進(jìn)行第二個PLS多元數(shù)據(jù)主成分t2的提取。按照精度要求，提取了k的PLS多元數(shù)據(jù)主成分：t1,…,tk，實施Nk在t1,…,tk上回歸，可以得Nk=r1t1+…+rktk。由于t1,…,tk都是M0的線性組合。因此，Nk可寫成M0的線性組合形式，即：Nk=r1M0W*1+…+rkM0W*k，其中，，I為單位陣。最后，有，x*的回歸系數(shù)為式中w*kj是W*k的第j個分量。按照標(biāo)準(zhǔn)化逆過程可將的回歸方程還原為y對x的回歸方程。

Step4：交叉有效性分析。為了尋求恰當(dāng)?shù)亩嘣獢?shù)據(jù)主成分成分個數(shù)m，在此采用交差有效性系數(shù)Q2m對其確定化處理，當(dāng)提取多元數(shù)據(jù)主成分滿足終止條件，則轉(zhuǎn)下一步，否則，另M0=Nm，N0=Nm回到Step2繼續(xù)運行。定義tm的交叉有效性Q2m為：

其中，交叉有效性Q2m反映了成分t1,…,tm對數(shù)值y的預(yù)測能力，。yi是原始數(shù)據(jù)中第i個樣本點因變量的取值。表示用m-1個成分?jǐn)M合的回歸方程中的i點數(shù)據(jù)預(yù)測值，表示去掉第i個數(shù)據(jù)樣本點后用m個主成分?jǐn)M合方程在i點的預(yù)測值。當(dāng)Q2m＜0.0975時，認(rèn)為tm成分的貢獻(xiàn)不明顯，無法提高數(shù)值預(yù)測精度，計算可以終止，則可以確定多元數(shù)據(jù)主成分的階數(shù)為m。

Step5：按標(biāo)準(zhǔn)化的逆過程，將M0的分析方程還原為Y對X的數(shù)據(jù)分析方程，即為PLS多元數(shù)據(jù)分析模型：

其中，Y和Xj為經(jīng)標(biāo)準(zhǔn)化處理后的數(shù)據(jù)變量，用以消除異常數(shù)據(jù)對于多元數(shù)據(jù)分析模型估計精度的影響。Y表示數(shù)據(jù)系統(tǒng)中某一總量型的指標(biāo)數(shù)據(jù)，X表示影響總量指標(biāo)數(shù)據(jù)的因素變量，βi(i=1,2,…,10)為變量系數(shù)，ε為數(shù)據(jù)殘差項。

上述的PLS多元數(shù)據(jù)分析與建模過程正是基于系統(tǒng)工程方法論，利用數(shù)據(jù)系統(tǒng)工程技術(shù)對數(shù)據(jù)進(jìn)行處理與應(yīng)用的典型案例之一，其具體實施的過程可選取“物理、事理、人理”的角度對實際問題進(jìn)行針對性的探討與分析。其中，時間維度上，PLS多元數(shù)據(jù)分析要從數(shù)據(jù)的產(chǎn)生處作為根本出發(fā)點，對數(shù)據(jù)的來源與傳輸存儲等情況進(jìn)行全面的調(diào)研分析，并取得建模所需要的數(shù)據(jù)，針對解決具體實際問題的要求（WSR方法論中“物理”與“事理”），選取相應(yīng)的類別數(shù)據(jù)，利用PLS多元數(shù)據(jù)分析技術(shù)對所選數(shù)據(jù)進(jìn)行上述建模分析過程，并取得相應(yīng)的多種備選方案。邏輯維上，要注重對數(shù)據(jù)系統(tǒng)的全局性考慮（WSR方法論中“事理”與“人理”），利用PLS進(jìn)行多元數(shù)據(jù)分析建模時要基于數(shù)據(jù)系統(tǒng)的最優(yōu)化目標(biāo)導(dǎo)向，而對于多種備選方案的選擇，必須是按照定性與定量相結(jié)合的方式進(jìn)行多指標(biāo)評價與分析，不能單純的依靠經(jīng)驗或僅僅依靠定量化的決策。選定方案并實施后，根據(jù)具體的實施效果探尋制約數(shù)據(jù)系統(tǒng)提升的問題點，并查找到關(guān)鍵瓶頸，依據(jù)此對PLS多元數(shù)據(jù)分析模型進(jìn)行再優(yōu)化處理，提升模型的精度、速率等。而在知識維上，PLS多元數(shù)據(jù)分析雖然形似以數(shù)學(xué)分析為主，但其過程融合了多種學(xué)科的交叉，特別是管理方法與決策、多元統(tǒng)計、計算機(jī)工程等方面的支撐尤為重要，而在解決不同的實際數(shù)據(jù)問題過程中，還需要將PLS多元數(shù)據(jù)分析技術(shù)與數(shù)據(jù)的特點相結(jié)合，并考慮數(shù)據(jù)載體的特性，綜合集成相應(yīng)的學(xué)科知識進(jìn)行統(tǒng)籌分析，為最終決策提供科學(xué)有效地支撐。

七、結(jié)論與展望

數(shù)據(jù)系統(tǒng)工程是數(shù)據(jù)處理與系統(tǒng)工程高度結(jié)合的學(xué)科，屬于數(shù)據(jù)科學(xué)的重要分支，旨在通過數(shù)據(jù)系統(tǒng)工程理論與技術(shù)挖掘數(shù)據(jù)的重大決策支持作用。當(dāng)前國內(nèi)針對數(shù)據(jù)科學(xué)的研究愈加深入，尤其是在大數(shù)據(jù)時代，利用已有的數(shù)據(jù)處理方法與系統(tǒng)工程技術(shù)，創(chuàng)新傳統(tǒng)數(shù)據(jù)處理研究方法，站在數(shù)據(jù)科學(xué)的最前沿進(jìn)行理論研究與實踐探索，成為推動國內(nèi)數(shù)據(jù)科學(xué)邁向國際先進(jìn)之列的重要保障。

展望未來，數(shù)據(jù)系統(tǒng)工程研究趨勢：將以數(shù)據(jù)有效利用與人類社會、自然生態(tài)協(xié)調(diào)發(fā)展研究為重點，數(shù)據(jù)生態(tài)、數(shù)據(jù)經(jīng)濟(jì)、數(shù)據(jù)管理為主攻方向的數(shù)據(jù)科學(xué)開發(fā)利用研究；由信息科學(xué)、數(shù)據(jù)科學(xué)、空間科學(xué)以及系統(tǒng)工程等跨學(xué)科融合模式產(chǎn)生的數(shù)據(jù)信息系統(tǒng)的研究；大數(shù)據(jù)概念與研究范疇不斷深入，跨領(lǐng)域、跨體系的大數(shù)據(jù)系統(tǒng)整體性研究；在數(shù)據(jù)流動視角下的數(shù)據(jù)高效采集與傳輸效率研究；從靜態(tài)分析轉(zhuǎn)為動態(tài)評估，從初級評析走向注重數(shù)據(jù)經(jīng)濟(jì)研究；數(shù)據(jù)系統(tǒng)研究由常規(guī)方式轉(zhuǎn)為與高新技術(shù)結(jié)合，探索方法與技術(shù)更具現(xiàn)代化特色。這些將推動數(shù)據(jù)系統(tǒng)科學(xué)發(fā)展邁向新高度，為決策支持提供基礎(chǔ)保證。

參考文獻(xiàn)

[1]張東霞,苗新,劉麗平,等.智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J].中國電機(jī)工程學(xué)報,2015,35(1):2-12.

[2]李學(xué)龍,龔海剛.大數(shù)據(jù)系統(tǒng)綜述[J].中國科學(xué):信息科學(xué),2015,45(1):1-44.

[3]錢學(xué)森,許國志,王壽云.組織管理的技術(shù)——系統(tǒng)工程[J].上海理工大學(xué)學(xué)報,2011,33(6):520-525.

[4]錢學(xué)森.系統(tǒng)科學(xué)、思維科學(xué)與人體科學(xué)[J].自然雜志,1981,1(3):3-9.

[5]金澈清,錢衛(wèi)寧,周敏奇,等.數(shù)據(jù)管理系統(tǒng)評測基準(zhǔn):從傳統(tǒng)數(shù)據(jù)庫到新興大數(shù)據(jù)[J].計算機(jī)學(xué)報,2015, 38(1):18-34.

[6]戴汝為.系統(tǒng)科學(xué)及系統(tǒng)復(fù)雜性研究[J].系統(tǒng)仿真學(xué)報,2002,14(11):1411-1416.

[7]俞立平.大數(shù)據(jù)與大數(shù)據(jù)經(jīng)濟(jì)學(xué)[J].中國軟科學(xué),2013,(7):177-183.

[8]李金昌.大數(shù)據(jù)與統(tǒng)計新思維[J].統(tǒng)計研究, 2013,31(1):10-17.

[9]任磊,杜一,馬帥,等.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報,2014,25(9):1909-1936.

[10]岳志勇,丁惠.基于霍爾三維結(jié)構(gòu)的技術(shù)創(chuàng)新方法培訓(xùn)體系研究[J].科學(xué)管理研究,2013,31(2):20-26.

[11]閆旭暉,顏澤賢.切克蘭德軟系統(tǒng)方法論的詮釋主義立場與認(rèn)識論功能[J].自然辯證法研究,2012,28(12):29-35.

[12]王浣塵.綜合集成系統(tǒng)開發(fā)的系統(tǒng)方法思考[J].系統(tǒng)工程理論方法應(yīng)用,2002,11(1):1-7.

[13]顧基發(fā),唐錫晉,朱正祥.物理-事理-人理系統(tǒng)方法論綜述[J].交通運輸系統(tǒng)工程與信息,2007,7(6):51-59.

[14]楊建梅.對軟系統(tǒng)方法論的一點思考[J].系統(tǒng)工程理論與實踐,1998,(8):91-95.

[15]于景元.錢學(xué)森系統(tǒng)科學(xué)思想和系統(tǒng)科學(xué)體系[J].科學(xué)決策,2014,(12):2-22.杜鵬.基于WSR理論的海洋戰(zhàn)略性新興虛擬產(chǎn)

[16]業(yè)集群成員間的信任機(jī)制研究[J].山東社會科學(xué),2013,(1):98-99.

[17]潘平,鄭輝,蘭立山.大數(shù)據(jù)系統(tǒng)的本質(zhì)特征及其哲學(xué)反思[J].系統(tǒng)科學(xué)學(xué)報,2015,23(3):26-29.

[18]郭華東,王力哲,陳方,等.科學(xué)大數(shù)據(jù)與數(shù)字地球[J].科學(xué)通報,2014,59(12):1047-1054.

[19]張峰,薛惠鋒,董會忠.復(fù)雜巨系統(tǒng)理論視角下的甘肅省工業(yè)循環(huán)經(jīng)濟(jì)發(fā)展戰(zhàn)略研究[J].工業(yè)經(jīng)濟(jì)論壇,2014,(4):146-156.

Data systems engineering: the decision support technology of system optimization

ZHANG Feng1,2
(1.China Academy of Aerospace System Scienti fi c and Engineering,Beijing 100048, China; 2.Shandong Academy of Low Carbon Economy & Technology Institute, Shandong Zibo 255012, China)

Abstract:The decision support function of data is more and more signi fi cant under the background of big data. The concept of the data system was proposed on the basis of the connotation of the system were analyzed in this paper, and it was composed of data acquisition system, data transmission system, data processing system and data application system, etc. Data systems engineering was de fi ned by introducing system engineering theory and method to solve the development and utilization of data system. In addition, the data system engineering research object was proposed, and it was data system. It presents many characteristics, such as integration, correlation, structural and emergent properties and large systemic etc. Data system law of exploration, development and utilization of data system, data system coordinated control is the main research content of engineering data system. Meanwhile, the data system engineering methodology was proposed, and it was discussed and studied from the temporal dimension, logic dimension, knowledge dimension. The proposed theories and viewpoints will help the subjects of data processing and system engineering to develop rapidly.

Key Words:data system; systems engineering; data system engineering; decision support

【作者簡介】張峰（1989-），男，山東省濟(jì)南市人，中國航天系統(tǒng)科學(xué)與工程研究院博士研究生，研究方向是制造系統(tǒng)工程。

【基金項目】國家自然科學(xué)基金項目（71371112）；山東省自然科學(xué)基金項目（ZR2012GM020）。

DOI:10.11970/j.issn.2095-7866.2016.01.002

中圖分類號：N945.2文獻(xiàn)識別碼：A

文章編號：2095-7866（2016）01-0017-12