基于CPCIe高速總線的機(jī)載多核計(jì)算處理平臺(tái)

俞大磊，崔西寧，李成文，劉婷婷，周勇

航空工業(yè)西安航空計(jì)算技術(shù)研究所，西安 710065

由于航空電子系統(tǒng)特殊的應(yīng)用環(huán)境，相比于普通的計(jì)算機(jī)，機(jī)載計(jì)算處理平臺(tái)在體積、功耗、重量、可靠性等方面有更加嚴(yán)格的約束。航空電子系統(tǒng)經(jīng)歷了分立式、聯(lián)合式、綜合模塊化(IMA)3個(gè)重要的發(fā)展階段，在此過(guò)程中，機(jī)載計(jì)算處理平臺(tái)的架構(gòu)也從分立式、基于1553B總線的分布式，發(fā)展到核心處理機(jī)+網(wǎng)絡(luò)的集中分布式結(jié)構(gòu)，每次架構(gòu)變化在很大程度上得益于計(jì)算處理平臺(tái)性能的提升。雖然機(jī)載計(jì)算處理平臺(tái)的處理性能越來(lái)越高，但是體積、功耗、重量等通用質(zhì)量特性也越來(lái)越大。早期聯(lián)合式航電系統(tǒng)采用的計(jì)算處理平臺(tái)體積小、重量輕，但是性能普遍不高。目前廣泛采用的綜合模塊化計(jì)算處理平臺(tái)可以實(shí)現(xiàn)從前端傳感器數(shù)據(jù)處理到后端顯示處理的全航電系統(tǒng)高度綜合。這種高度綜合化的架構(gòu)一方面帶來(lái)了體積、重量的上升，另一方面也提出了液冷散熱的需求。因此，針對(duì)中小型飛機(jī)航空電子系統(tǒng)應(yīng)用環(huán)境對(duì)計(jì)算處理平臺(tái)體積、重量和散熱條件的限制，有必要對(duì)計(jì)算處理平臺(tái)進(jìn)行高性能、小型化、低功耗的設(shè)計(jì)。目前國(guó)內(nèi)外已經(jīng)開(kāi)展了相關(guān)的研究，法國(guó)和日本的某些廠家推出重量幾百克的IMA產(chǎn)品，其中法國(guó)Adeneo公司和英國(guó)e2v聯(lián)合研發(fā)出的機(jī)載多核計(jì)算機(jī)重量不足300 g。ARINC 公司制訂了ARINC836標(biāo)準(zhǔn)來(lái)替代現(xiàn)行ARINC600標(biāo)準(zhǔn),該標(biāo)準(zhǔn)規(guī)定了分布式綜合模塊化航空電子系統(tǒng)的安裝方法、連接器及環(huán)境適應(yīng)性要求。相比于ARINC600標(biāo)準(zhǔn),該標(biāo)準(zhǔn)可使航電設(shè)備重量和體積均減少40%以上。未來(lái)分布式IMA有可能引進(jìn)云計(jì)算、霧節(jié)點(diǎn)等新技術(shù)，國(guó)內(nèi)某廠家提出基于云微智能分級(jí)分布的航空電子系統(tǒng)架構(gòu)，采用智能微系統(tǒng)、可變拓?fù)涞木W(wǎng)絡(luò)和標(biāo)準(zhǔn)的軟件、硬件、數(shù)據(jù)接口，實(shí)現(xiàn)處理、傳感、作動(dòng)、武器的云節(jié)點(diǎn)化。

在體積、重量和功耗(SWaP)嚴(yán)格受限的情況下，提升計(jì)算處理平臺(tái)性能的方式主要有提升處理器的性能和提升總線的性能2種。

從提升處理器性能的方向來(lái)說(shuō)，傳統(tǒng)的依靠提升單核處理器工作頻率來(lái)提升處理器性能的方法已經(jīng)遇到瓶頸，單純地提高處理器工作頻率會(huì)導(dǎo)致不均衡的功耗和散熱損耗，并由于芯片內(nèi)部和外部的串?dāng)_、信號(hào)延遲和反射引起越來(lái)越多的問(wèn)題。由于多核處理器具有很高的集成度，可以用較低的功耗代價(jià)取得較好的系統(tǒng)性能，通過(guò)資源共享有效的減小系統(tǒng)的功耗、體積和重量，已成為系統(tǒng)性能提升的有效途徑。多核計(jì)算體系結(jié)構(gòu)在消費(fèi)電子領(lǐng)域的研究始終處于最前沿，而出于性能和“Low SWaP”的提升需求，多核處理技術(shù)在航空電子系統(tǒng)等安全關(guān)鍵應(yīng)用領(lǐng)域的適應(yīng)性將成為亟待解決的關(guān)鍵問(wèn)題。歐美許多國(guó)家已經(jīng)開(kāi)始在航空電子系統(tǒng)中推廣應(yīng)用多核處理器，并形成了包括操作系統(tǒng)、系統(tǒng)配置、系統(tǒng)測(cè)試、系統(tǒng)監(jiān)控、系統(tǒng)開(kāi)發(fā)的一整套的高確定性多核處理方案。美國(guó)伊利諾伊大學(xué)的UPCRC(Universal Parallel Computing Research Center)研究中心、加州大學(xué)伯克利分校的ParLab實(shí)驗(yàn)室,瑞典的UPMARC(Uppsala Programming for Multicore Architectures Research Center)研究中心，WindRiver、GreenHills、DDC-I等嵌入式操作系統(tǒng)廠商都已開(kāi)展針對(duì)多核處理器的論證和技術(shù)驗(yàn)證，取得了一系列的研究成果，AEEC(Airlines Electronic Engineering Committee)完成了ARINC 653標(biāo)準(zhǔn)修訂，風(fēng)河公司開(kāi)發(fā)了操作系統(tǒng) Wind River 653 3.X。國(guó)內(nèi)眾多大公司也已開(kāi)展多核處理器以及多核操作系統(tǒng)相關(guān)研究，國(guó)防科技大學(xué)和中國(guó)科學(xué)院相繼推出了“飛騰”和“龍芯”系列的多核處理器，航空工業(yè)西安航空計(jì)算技術(shù)研究所研制的國(guó)產(chǎn)自主版權(quán)操作系統(tǒng)天脈2多核版本已經(jīng)可以支持多核處理器在航空電子系統(tǒng)中的應(yīng)用。與采用單核處理器相比，多核處理器的應(yīng)用可使機(jī)載計(jì)算處理平臺(tái)的集成化程度更高，有效降低計(jì)算處理平臺(tái)的體積、重量和功耗。因此從性能、功耗、體積、重量等方面綜合考慮，多核處理相比于單核具有顯著優(yōu)勢(shì)，是提升計(jì)算處理平臺(tái)性能和集成密度，進(jìn)而確保航空電子系統(tǒng)整體性能的最佳選擇。

從提升總線性能的方向來(lái)說(shuō)，當(dāng)前的計(jì)算處理平臺(tái)大多采用LBE(Local Bus Extension)、VME (VersaModule Eurocard)、CPCI(Compact Peripheral Component Interconnect)、FC (Fiber Channel)等總線作為背板總線，LBE、VME和CPCI總線均屬于并行總線，其中CPCI總線極限理論可用帶寬為133 MByte/s，帶寬和延遲均不能滿足計(jì)算處理平臺(tái)日益發(fā)展的需求。FC總線傳輸速率高、時(shí)延小、誤碼率低，但同時(shí)也帶來(lái)了成本、功耗和體積的上升，不滿足計(jì)算處理平臺(tái)“Low SWaP”的需求。面向航空電子系統(tǒng)等嵌入式抗惡劣環(huán)境，國(guó)外廠家大力發(fā)展RapidIO、PCIe等高速信號(hào)傳輸技術(shù)，RapidIO2.0、PCIe2.0等第2代技術(shù)已經(jīng)成熟，并且得到廣泛應(yīng)用，目前正在向第3代技術(shù)發(fā)展。CPCIe(CompactPCI Express)在兼容PCIe總線全部接口協(xié)議的基礎(chǔ)上結(jié)合了CPCI總線的機(jī)械結(jié)構(gòu)形式，采用高級(jí)差分結(jié)構(gòu)(ADF)連接器替代PCIe的金手指式互連方式，這在實(shí)現(xiàn)PCIe總線體系結(jié)構(gòu)、突破帶寬的同時(shí)，可以提供高可靠、高擴(kuò)展、高兼容、低延時(shí)的連接特性，同時(shí)保持高速差分信號(hào)的完整性。CPCIe采用點(diǎn)對(duì)點(diǎn)串行連接代替CPCI的共享并行架構(gòu)，為每一設(shè)備分配獨(dú)享的通道帶寬，保證了每個(gè)設(shè)備的帶寬資源，提高了數(shù)據(jù)傳輸率。CPCIe1.0單個(gè)收發(fā)通道的可用帶寬高達(dá)250 MByte/s，CPCIe2.0可達(dá)到500 MByte/s，CPCIe3.0可達(dá)到1 GByte/s。

針對(duì)計(jì)算處理平臺(tái)高性能、小型化、低功耗的設(shè)計(jì)需求，本文研究一種基于CPCIe高速總線的機(jī)載多核計(jì)算處理平臺(tái)。首先給出計(jì)算處理平臺(tái)的架構(gòu)，然后對(duì)多核處理的關(guān)鍵技術(shù)、CPCIe高速總線設(shè)計(jì)進(jìn)行探討，并對(duì)CPCIe總線進(jìn)行仿真與測(cè)試，最后給出系統(tǒng)驗(yàn)證結(jié)果。

1 計(jì)算處理平臺(tái)設(shè)計(jì)

1.1 總體架構(gòu)

計(jì)算處理平臺(tái)是具備自主航路規(guī)劃和自主避障功能的某新型無(wú)人機(jī)航空電子系統(tǒng)的任務(wù)處理和管理中心，承擔(dān)航空電子系統(tǒng)的任務(wù)管理、航路規(guī)劃、數(shù)據(jù)處理與數(shù)據(jù)融合、火控計(jì)算、綜合導(dǎo)航、武器管理、網(wǎng)絡(luò)通信管理、系統(tǒng)健康管理等功能。計(jì)算處理平臺(tái)包括1塊電源模塊(PSM)、2塊通用處理與輸入/輸出(I/O)模塊(GPIO)及1塊數(shù)字地圖模塊(DMM)。各模塊功能獨(dú)立，通過(guò)系統(tǒng)內(nèi)總線連接，在應(yīng)用的統(tǒng)一調(diào)度和管理下共同完成系統(tǒng)功能。

由于計(jì)算處理平臺(tái)在重量、體積和功耗嚴(yán)格受限的條件下要承擔(dān)大量的高性能計(jì)算處理任務(wù)，從處理器架構(gòu)、主頻、高速緩存、存儲(chǔ)接口、I/O接口和功耗等方面對(duì)處理器進(jìn)行綜合考量，最終選擇高性能、低功耗的PowerPC架構(gòu)多核處理器。為了實(shí)現(xiàn)2塊GPIO模塊與DMM模塊間的高速數(shù)據(jù)交換，采用背板CPCIe高速總線實(shí)現(xiàn)模塊間的數(shù)據(jù)通信。CPCIe支持點(diǎn)對(duì)點(diǎn)拓?fù)洌?個(gè)端口獨(dú)占發(fā)送和接收帶寬，數(shù)據(jù)傳輸延遲低，確定性好，具有結(jié)構(gòu)簡(jiǎn)單、可靠性高的優(yōu)點(diǎn)。

計(jì)算處理平臺(tái)采用28 V電源供電，對(duì)外提供多種電信號(hào)接口，用于實(shí)現(xiàn)計(jì)算處理平臺(tái)與飛行控制、慣性導(dǎo)航、雷達(dá)、標(biāo)準(zhǔn)武器接口單元、測(cè)控系統(tǒng)、維護(hù)接口板、任務(wù)數(shù)據(jù)記錄器等任務(wù)子系統(tǒng)之間的交聯(lián)通信。對(duì)外接口主要包括離散量輸入端口，與標(biāo)準(zhǔn)武器接口單元交聯(lián)的離散量輸出端口，與測(cè)控系統(tǒng)、維護(hù)接口板等設(shè)備交聯(lián)的異步RS422接口，與飛行控制、慣性導(dǎo)航、雷達(dá)等任務(wù)子系統(tǒng)之間的1553B總線接口，以及與任務(wù)數(shù)據(jù)記錄器的1394B總線接口等。計(jì)算處理平臺(tái)架構(gòu)如圖1所示。

圖1 計(jì)算處理平臺(tái)架構(gòu)Fig.1 Architecture of computing processing platform

1.2 計(jì)算處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

計(jì)算處理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)充分考慮未來(lái)的發(fā)展趨勢(shì)和可升級(jí)性，處理器局部資源在滿足需求的前提下具有一定的擴(kuò)展性，盡可能提供更高的處理、通信能力。對(duì)于硬件、軟件的一些關(guān)鍵接口采用COTS產(chǎn)品，實(shí)現(xiàn)標(biāo)準(zhǔn)化、模塊化設(shè)計(jì)。采用“Low SWaP”設(shè)計(jì)，提高功能集成度，減小計(jì)算處理平臺(tái)的體積、重量和功耗，降低熱設(shè)計(jì)難度。

GPIO模塊主要完成航路規(guī)劃、高性能數(shù)據(jù)處理、RS422數(shù)據(jù)、1553B數(shù)據(jù)和1394B數(shù)據(jù)的收發(fā)及離散信號(hào)的輸入輸出等功能。DMM模塊用于存儲(chǔ)和處理數(shù)字高程地圖，主要由1塊處理器子卡和1塊1 TB的SATA電子盤(pán)構(gòu)成。PSM模塊能夠?qū)⑤斎氲?8 V直流電源進(jìn)行控制轉(zhuǎn)換后輸出5 V電源供其他模塊使用。計(jì)算處理平臺(tái)內(nèi)部模塊采用多核處理技術(shù)，通過(guò)CPCIe高速總線完成模塊間通信，同時(shí)為了提升容錯(cuò)能力，對(duì)GPIO模塊進(jìn)行余度設(shè)計(jì)。

1.2.1 多核處理

為了實(shí)現(xiàn)高性能處理，GPIO1、GPIO2、DMM模塊均采用高性能、低功耗的多核處理器進(jìn)行設(shè)計(jì)。多核處理器中每個(gè)核具有獨(dú)立的L1 Cache和L2 Cache，并且共享L3 Cache、DDR3/DDR4控制器及外設(shè)。多核處理器內(nèi)部集成PCIe2.0、SATA2.0、千兆以太網(wǎng)等豐富的接口資源，方便平臺(tái)功能的擴(kuò)展。本方案中的多核處理架構(gòu)實(shí)現(xiàn)了統(tǒng)一內(nèi)存模型，即所有核共享相同的物理地址空間。這簡(jiǎn)化了平臺(tái)設(shè)計(jì)，整個(gè)多核芯片通過(guò)共享的存儲(chǔ)器總線與主存儲(chǔ)器控制器相連，處理器核之間通過(guò)一種基于低延時(shí)共享物理內(nèi)存的通信機(jī)制來(lái)實(shí)現(xiàn)相互之間的同步。

1.2.2 CPCIe高速總線

2塊GPIO模塊和DMM模塊通過(guò)背板CPCIe總線連接。每個(gè)模塊通過(guò)背板引出兩路對(duì)外CPCIe高速串行總線，分別與另外2個(gè)模塊點(diǎn)對(duì)點(diǎn)連接。CPCIe總線配置為x1(單通道)模式，電氣規(guī)范滿足PCIe2.0版本規(guī)范要求。

點(diǎn)對(duì)點(diǎn)連接的架構(gòu)保證了計(jì)算處理平臺(tái)不通過(guò)PCIe交換就可實(shí)現(xiàn)內(nèi)部所有模塊的高速信號(hào)互連，工程實(shí)現(xiàn)階段可以省去PCIe交換芯片，一方面可以為計(jì)算處理平臺(tái)降低約7 W的功耗，另一方面也解決了可能由于PCIe交換芯片造成單點(diǎn)故障的隱患，提升了計(jì)算處理平臺(tái)的可靠性。

1.2.3 余度設(shè)計(jì)

2塊GPIO模塊采用1+1余度方式設(shè)計(jì)，物理上可以完全互換，實(shí)現(xiàn)系統(tǒng)的功能備份和重構(gòu)。每個(gè)GPIO模塊由I/O處理模塊、1553B多路傳輸數(shù)據(jù)總線接口(MBI)子卡和1394B子卡組成，I/O處理模塊實(shí)現(xiàn)處理器最小系統(tǒng)及離散量輸入輸出、RS422總線等外圍接口電路，通過(guò)1路PCI總線至1塊PMC背板形式的MBI子卡，對(duì)外實(shí)現(xiàn)2路雙余度1553B總線，通過(guò)1路PCIe總線至1塊XMC背板形式的1394B子卡，對(duì)外實(shí)現(xiàn)1路雙端口1394B總線。

2 多核處理關(guān)鍵技術(shù)

2.1 多核操作系統(tǒng)架構(gòu)

為了充分利用多核資源，同時(shí)考慮任務(wù)間的空間隔離，選用VxWorks6.9操作系統(tǒng)。VxWorks6.9引入RTP(VxWorks Real-Time Pro-cess)模式編程，這種模式兼顧了內(nèi)核保護(hù)性和實(shí)時(shí)性，應(yīng)用程序相互獨(dú)立，互不影響，增加了內(nèi)核的穩(wěn)定性。多核操作系統(tǒng)架構(gòu)主要考慮SMP(Symmetrical Multi-Processing)和基于核綁定的SMP這2種OS(Operating System)架構(gòu)。

SMP架構(gòu)是對(duì)稱(chēng)多處理器架構(gòu)，一個(gè)OS實(shí)例同時(shí)管理所有CPU內(nèi)核，應(yīng)用并不綁定到某個(gè)內(nèi)核。操作系統(tǒng)實(shí)現(xiàn)對(duì)多核的計(jì)算資源分配和外部資源分配。該方式需要專(zhuān)用的操作系統(tǒng)內(nèi)核，不能簡(jiǎn)單地通過(guò)操作系統(tǒng)改造實(shí)現(xiàn)。

基于核綁定的SMP架構(gòu)是綁定多處理器架構(gòu)，一個(gè)OS實(shí)例同時(shí)管理所有CPU內(nèi)核，每個(gè)應(yīng)用被綁定到指定的內(nèi)核。

從并行性、任務(wù)調(diào)度、任務(wù)確定性、故障隔離、單核軟件重用性、負(fù)載均衡、外設(shè)訪問(wèn)方式、外設(shè)管理、核間通信及調(diào)試等方面對(duì)比SMP和基于核綁定的SMP這2種OS架構(gòu)，對(duì)比結(jié)果如表1所示。

表1 OS架構(gòu)對(duì)比Table 1 Comparison of OS architectures

通過(guò)上面的對(duì)比，基于核綁定的SMP架構(gòu)具有實(shí)時(shí)性高、確定性強(qiáng)、單核移植方便的優(yōu)點(diǎn)，但是存在應(yīng)用對(duì)核可見(jiàn)、調(diào)試麻煩，同時(shí)運(yùn)行時(shí)無(wú)法實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡，需要通過(guò)靜態(tài)配置進(jìn)行負(fù)載的均衡等缺點(diǎn)。SMP架構(gòu)具有任務(wù)間的并發(fā)性好、調(diào)試簡(jiǎn)單、可以實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡，更加有效地利用多核資源等優(yōu)點(diǎn)，但是存在單核應(yīng)用移植麻煩、需要考慮任務(wù)間的并發(fā)、確定性低，任務(wù)運(yùn)行期間可能會(huì)在核間進(jìn)行動(dòng)態(tài)遷移等缺點(diǎn)。

機(jī)載計(jì)算處理平臺(tái)應(yīng)用于安全關(guān)鍵領(lǐng)域的航空電子系統(tǒng)，是一種強(qiáng)實(shí)時(shí)嵌入式計(jì)算平臺(tái)?？紤]后續(xù)擴(kuò)展性(處理器核數(shù))、計(jì)算處理平臺(tái)確定性、繼承性(已有應(yīng)用軟件支持并行執(zhí)行的復(fù)雜度)、技術(shù)先進(jìn)性(多核資源管理)、耦合性(2個(gè)核的任務(wù)松耦合)等方面因素，操作系統(tǒng)采用核綁定SMP架構(gòu)。

2.2 基于核綁定的SMP調(diào)度機(jī)制

基于核綁定的SMP主要依靠任務(wù)設(shè)置親和性(taskCpuAffinitySet)和CPU預(yù)留(vxCpuReserve)2種方法實(shí)現(xiàn)。

雖然任務(wù)在任何處理器核上運(yùn)行的默認(rèn)SMP操作可以提供最佳的總體負(fù)載平衡，但是對(duì)于安全關(guān)鍵領(lǐng)域的航空電子系統(tǒng)，通過(guò)任務(wù)設(shè)置親和性的方法將特定的任務(wù)分配給指定的處理器核可以極大提高任務(wù)的確定性。操作系統(tǒng)使用專(zhuān)用函數(shù)組可以將任務(wù)綁定到指定的處理器核上,以此實(shí)現(xiàn)任務(wù)設(shè)置親和性的功能。設(shè)置了親和性的任務(wù)只能運(yùn)行在指定的處理器核上，沒(méi)有設(shè)置親和性的任務(wù)，仍然可以在所有核上運(yùn)行。對(duì)于RTP程序來(lái)說(shuō)，如果創(chuàng)建RTP的任務(wù)指定了核，那么該任務(wù)創(chuàng)建的RTP也指定了相應(yīng)的核。

由于沒(méi)有設(shè)置親和性的任務(wù)作為全局隊(duì)列仍然會(huì)運(yùn)行在所有的處理器核上，因此即使是設(shè)置了親和性的任務(wù)，仍然存在被其他任務(wù)中斷運(yùn)行的可能。操作系統(tǒng)提供了CPU預(yù)留功能，將CPU預(yù)留給那些設(shè)置了CPU親和性的任務(wù)。被預(yù)留的CPU，除了綁定的任務(wù)，其他任務(wù)不能在該CPU上運(yùn)行，這樣可以有效地保證綁定任務(wù)不被其他任務(wù)搶占，進(jìn)而改善系統(tǒng)的性能。

2.3 CPCIe共享外設(shè)確定性設(shè)計(jì)

多個(gè)核上的應(yīng)用可能出現(xiàn)對(duì)CPCIe的并發(fā)訪問(wèn)，如果未加互斥保護(hù)，可能出現(xiàn)設(shè)備I/O混亂。如果保護(hù)不當(dāng)，又會(huì)造成設(shè)備訪問(wèn)拒止或超時(shí)。CPCIe共享外設(shè)的確定性設(shè)計(jì)主要通過(guò)如下2種方法。

1) 支持設(shè)備獨(dú)占模式。設(shè)備綁定在指定核上運(yùn)行，其他核不使用該設(shè)備。在應(yīng)用使用固定設(shè)備場(chǎng)景中，應(yīng)用、核及設(shè)備形成一個(gè)資源域，域之間相互隔離。利用處理器硬件的IOMMU(Input/Output Memory Management Unit)機(jī)制，限定在域內(nèi)訪問(wèn)設(shè)備，域內(nèi)的任務(wù)只能在指定核上運(yùn)行。通過(guò)這種方式建立核與設(shè)備的確定性連接關(guān)系。例如將CPCIe設(shè)備分配給核心1使用，核心1通過(guò)執(zhí)行驅(qū)動(dòng)程序操作該設(shè)備，只有運(yùn)行在核心1上的應(yīng)用才能使用該設(shè)備。

2) 支持基于互斥保護(hù)的設(shè)備共享模式。對(duì)設(shè)備驅(qū)動(dòng)程序進(jìn)行互斥保護(hù)，只有獲得了互斥鎖的核才能執(zhí)行驅(qū)動(dòng)程序操作設(shè)備。核心1和核心2共享物理設(shè)備，在設(shè)備驅(qū)動(dòng)層增加互斥鎖保護(hù)，形成臨界區(qū)，2個(gè)核通過(guò)獲取互斥鎖進(jìn)入臨界區(qū)，運(yùn)行于核心1上的應(yīng)用和運(yùn)行于核心2的應(yīng)用都能夠使用該設(shè)備。

本方案采用設(shè)備獨(dú)占方式對(duì)CPCIe共享外設(shè)進(jìn)行確定性設(shè)計(jì)，支持處理器核對(duì)CPCIe的獨(dú)立訪問(wèn)。

3 CPCIe高速總線

3.1 CPCIe設(shè)計(jì)規(guī)范

CPCIe規(guī)范中對(duì)機(jī)械結(jié)構(gòu)和電氣結(jié)構(gòu)均作出了詳細(xì)規(guī)定。機(jī)械結(jié)構(gòu)中包括模塊和插槽、差分連接器和歐卡，電氣結(jié)構(gòu)中包括PCIe協(xié)議和SMBus。PICMG為CPCIe系統(tǒng)定義了不同的插槽和模塊類(lèi)型，以滿足不同細(xì)分市場(chǎng)的需求。插槽的類(lèi)型包括系統(tǒng)槽、Type1外設(shè)插槽、Type2外設(shè)插槽、混合外設(shè)槽及交換槽。模塊的類(lèi)型包括系統(tǒng)模塊、Type1外設(shè)模塊、Type2外設(shè)模塊及交換模塊。

CPCIe規(guī)范使用CPCI連接器、高級(jí)差分結(jié)構(gòu)(ADF)連接器和電源連接器來(lái)定義不同的插槽和模塊。高級(jí)差分結(jié)構(gòu)(ADF)連接器主要用于傳輸高速差分信號(hào)，特征阻抗為100 Ω，頻率在3 GHz時(shí)輸入衰減小于1 dB，具有高可靠的高速信號(hào)傳輸、高接觸密度并支持高可靠的信號(hào)轉(zhuǎn)發(fā)等特性。計(jì)算處理平臺(tái)內(nèi)部GPIO1模塊、GPIO2模塊和DMM模塊通過(guò)背板CPCIe總線互連，每個(gè)模塊設(shè)計(jì)2路CPCIe2.0接口與另外2個(gè)模塊互連，均為x1模式，物理上為一對(duì)同時(shí)工作的發(fā)送和接收通道。由于所有CPCIe高速差分信號(hào)都在背板上傳輸，如何確保高速信號(hào)的數(shù)據(jù)完整性是CPCIe系統(tǒng)的關(guān)鍵技術(shù)。GPIO模塊和DMM模塊選用的背板連接器遵守標(biāo)準(zhǔn)CPCIe規(guī)范，采用1個(gè)CPCIe電源連接器，2個(gè)2排10列擁有20個(gè)差分對(duì)的高級(jí)差分結(jié)構(gòu)(ADF)連接器和1個(gè)110腳防插錯(cuò)CPCI連接器。CPCIe高速總線互連架構(gòu)如圖2所示。

圖2 CPCIe高速總線互連架構(gòu)Fig.2 Interconnection architecture of CPCIe bus

CPCIe規(guī)范支持系統(tǒng)插槽及其他幾種不同鏈路寬度和類(lèi)型的插槽，在開(kāi)發(fā)背板時(shí)可以從中選擇這些插槽類(lèi)型。CPCIe規(guī)范定義了用于通信接口類(lèi)型、插槽類(lèi)型和背板中每個(gè)插槽的接口的描述符。有了這些描述符，通過(guò)創(chuàng)建一個(gè)應(yīng)用程序，用戶可以獲取系統(tǒng)的通信接口類(lèi)型、插槽類(lèi)型等能力。系統(tǒng)模塊和背板包含用于讀取背板能力記錄的SMBus，能力記錄足以描述PCI、PCIe1.0等不同的接口，背板能力記錄還可以對(duì)背板進(jìn)行唯一標(biāo)識(shí)。CPCIe背板具有串行可擦除可編程只讀存儲(chǔ)器(EPROM)，EPROM連接到SMBus，用于存儲(chǔ)背板標(biāo)識(shí)和能力記錄。

3.2 CPCIe信號(hào)完整性和工藝要求

機(jī)載計(jì)算處理平臺(tái)對(duì)傳輸在PCB上的CPCIe高速差分信號(hào)的信號(hào)質(zhì)量有很高的要求。由于高速PCB的設(shè)計(jì)需要考慮介質(zhì)、平面分割、信號(hào)的等長(zhǎng)等不同的因素，因此需要通過(guò)仿真來(lái)提供PCB設(shè)計(jì)依據(jù)，在電路設(shè)計(jì)之初就采用仿真工具進(jìn)行仿真驗(yàn)證，并根據(jù)仿真結(jié)果不斷的修改設(shè)計(jì)。

CPCIe數(shù)據(jù)傳輸方法使其非常適合使用FR4材料制作PCB，為了確保高速信號(hào)的數(shù)據(jù)完整性，背板高速數(shù)據(jù)信號(hào)需嚴(yán)格進(jìn)行阻抗匹配。CPCIe的收發(fā)差分信號(hào)對(duì)，使用蛇形走線嚴(yán)格控制等長(zhǎng)，同時(shí)CPCIe需要在發(fā)射端和接收端之間交流耦合。

實(shí)際PCB布板時(shí)由于布線密度太高，CPCIe無(wú)法實(shí)現(xiàn)同一層布線，故采用多層布線。在多層PCB制造過(guò)程中，鉆出通孔后需要通過(guò)孔壁沉銅來(lái)保證貫通孔導(dǎo)電，以此聯(lián)通不同信號(hào)層信號(hào)線，此時(shí)沒(méi)有在信號(hào)路徑上的一段過(guò)孔就成為一個(gè)過(guò)孔殘樁(Stub)。PCB設(shè)計(jì)時(shí)貫通過(guò)孔帶來(lái)的Stub對(duì)CPCIe高速信號(hào)的信號(hào)完整性有很大的影響，因此需要對(duì)Stub進(jìn)行背鉆處理，這時(shí)從背面選擇一個(gè)比過(guò)孔孔徑大一點(diǎn)的鉆頭，把沒(méi)有在信號(hào)路徑上的一段過(guò)孔的銅壁鉆掉，使這段過(guò)孔失去導(dǎo)電性能，從而消除Stub，這就是背鉆過(guò)孔工藝。

4 CPCIe總線仿真與測(cè)試

CPCIe總線仿真采用Ansys 3Dlayout仿真工具。仿真針對(duì)基于CPCIe架構(gòu)的計(jì)算處理平臺(tái)方案，評(píng)估CPCIe2.0高速總線的多級(jí)連接器、過(guò)孔、長(zhǎng)走線等問(wèn)題引起的總線物理特性，同時(shí)為了保持未來(lái)的可擴(kuò)展性，對(duì)CPCIe3.0高速總線也進(jìn)行了仿真。仿真采用圖1中計(jì)算處理平臺(tái)作為高速總線系統(tǒng)互連模型，模型設(shè)計(jì)過(guò)程中考慮了所有現(xiàn)場(chǎng)可編程邏輯門(mén)陣列(FPGA)、CPU模型及中間所有連接器模型，同時(shí)對(duì)模塊、背板的厚度也進(jìn)行了預(yù)計(jì)。

4.1 無(wú)源鏈路仿真

4.1.1 插入損耗

為了滿足輸入、輸出的電平要求，CPCIe2.0協(xié)議要求插入損耗在1.25 GHz時(shí)不得大于13.2 dB，在0.625 GHz時(shí)不得大于9.2 dB。對(duì)于PCIe3.0協(xié)議要求，本次仿真的系統(tǒng)屬于經(jīng)多級(jí)連接器的長(zhǎng)鏈路互連，應(yīng)采用在1 GHz時(shí)不得大于6.5 dB、在4 GHz時(shí)不得大于20 dB的要求。

通過(guò)仿真，并加入CPCIe2.0、CPCIe3.0協(xié)議的要求，插入損耗的結(jié)果如圖3所示。從仿真結(jié)果可以看出，插入損耗滿足協(xié)議要求，實(shí)際鏈路在1.25 GHz，衰減為-4.87 dB，即信號(hào)衰減了其最大允許衰減幅度的24.35%。在2.5 GHz，衰減為-9.96 dB，即信號(hào)衰減了其最大允許衰減幅度的49.8%。

圖3 插入損耗仿真結(jié)果Fig.3 Simulation results of insertion loss

4.1.2 回波損耗

回波損耗是由于傳輸鏈路中阻抗不連續(xù)產(chǎn)生反射的損耗。對(duì)于差模的回波損耗而言，CPCIe2.0協(xié)議要求在50 MHz～1.25 GHz頻段內(nèi)小于-10 dB，在1.25～2.50 GHz頻段內(nèi)小于-8 dB。對(duì)于共模的回波損耗而言，CPCIe2.0協(xié)議要求在50 MHz～2.50 GHz的頻段內(nèi)小于-6 dB。接收端與發(fā)送端的回波損耗要求一致。

通過(guò)仿真，鏈路的差?；夭ê膿p結(jié)果如圖4所示，共模回波耗損結(jié)果如圖5所示。

圖4 差?；夭〒p耗結(jié)果Fig.4 Simulation results of differential mode return loss

圖5 共?；夭〒p耗結(jié)果Fig.5 Simulation results of common mode return loss

仿真通過(guò)盡可能控制信號(hào)上升沿陡峭來(lái)趨于實(shí)際信號(hào)，仿真后通過(guò)優(yōu)化來(lái)趨于理想信號(hào)，因此要求高頻諧波越多越好。且仿真主要是針對(duì)電特性進(jìn)行 優(yōu)化，因此不考慮8B/10B編碼的加窗。

從仿真結(jié)果可以看出，共?；夭ê膿p在50 MHz～2.5 GHz 的頻段內(nèi)都遠(yuǎn)小于-6 dB，滿足CPCIe2.0協(xié)議要求。差?；夭ê膿p在接近2.5 GHz時(shí)有超標(biāo)1 dB，即協(xié)議要求反射小于其幅度的39.81%，實(shí)際反射結(jié)果為其幅度的44.67%。

對(duì)于CPCIe1.0協(xié)議，可用帶寬為250 MByte/s×8=2 Gbit/s，由于CPCIe1.0采用8B/10B編碼，傳輸速率為2 Gbit/s×10/8=2.5 GT/s(千兆傳輸/秒)，對(duì)應(yīng)頻率為1.25 GHz，回波損耗滿足要求。對(duì)于CPCIe2.0協(xié)議，可用帶寬為500 MByte/s×8=4 Gbit/s，由于CPCIe2.0采用8B/10B編碼，傳輸速率為4 Gbit/s×10/8=5 GT/s，對(duì)應(yīng)頻率為2.50 GHz，差模回波耗損超標(biāo)。由于目前仿真中未使用背鉆過(guò)孔，實(shí)際設(shè)計(jì)時(shí)需要對(duì)鏈路上的過(guò)孔進(jìn)行背鉆處理，可以有效減小反射。

4.2 電氣特性仿真

CPCIe屬于高速串行總線，其中CPCIe2.0的傳輸速率高達(dá)5 GT/s，即每秒傳輸5千兆次，如果僅僅衡量某一個(gè)周期的信號(hào)質(zhì)量，無(wú)法評(píng)估整個(gè)信號(hào)的質(zhì)量。因此采用眼圖來(lái)衡量CPCIe高速串行傳輸?shù)男盘?hào)質(zhì)量。在上述仿真的基礎(chǔ)上，增加驅(qū)動(dòng)接收模型進(jìn)行信號(hào)的電氣特性仿真，發(fā)送端波形如圖6所示，接收端管腳處波形如圖7 所示。

圖6 發(fā)送端波形Fig.6 Waveform of transmitter

圖7 接收端管腳處波形Fig.7 Waveform of receiver

CPCIe2.0電氣特性的協(xié)議要求信號(hào)的數(shù)據(jù)單元時(shí)間為200 ps，差分輸入的峰峰值幅度最小100 mV，最大1.2 V，最大的接收端的總抖動(dòng)為0.4個(gè)數(shù)據(jù)單元時(shí)間，眼圖張開(kāi)建議大于0.6個(gè)數(shù)據(jù)單元時(shí)間，即120 ps。

經(jīng)過(guò)眼圖與協(xié)議對(duì)比分析，通道的接收端管腳處不滿足電氣特性的要求。接收端發(fā)生了碼間串?dāng)_(ISI)。這是由于FR4板材帶來(lái)介質(zhì)損耗，鏈路中連接器、過(guò)孔、匹配器件等物理結(jié)構(gòu)帶來(lái)導(dǎo)體損耗，導(dǎo)致信號(hào)傳輸鏈路頻域受限，接收端信號(hào)波形在時(shí)域上展寬，相鄰碼元間互相重疊，從而引起碼間串?dāng)_。碼間串?dāng)_可以通過(guò)均衡來(lái)補(bǔ)償。均衡算法是通道傳遞函數(shù)的逆過(guò)程，用于平衡通道對(duì)高頻和低頻衰減的影響，有效降低ISI，最終實(shí)現(xiàn)信號(hào)無(wú)失真?zhèn)鬟f。CPU處理器的高速SerDes接口中包括了解碼器、均衡器和數(shù)據(jù)恢復(fù)單元，均衡器中集成判決反饋均衡(DFE)、前饋反饋均衡(FFE)和連續(xù)時(shí)間線性均衡(CTLE)等均衡算法，通過(guò)配置接收端均衡控制寄存器的參數(shù)，就可實(shí)現(xiàn)接收端的均衡。接收端內(nèi)部進(jìn)行均衡處理后的波形如圖8所示。

圖8 接收端均衡后波形Fig.8 Waveform after equalization at receive

可以看出，通過(guò)接收端的均衡處理后，電氣特性滿足協(xié)議要求。由于過(guò)度均衡會(huì)增加抖動(dòng)，因此在實(shí)際設(shè)計(jì)過(guò)程中會(huì)提前評(píng)估CPU處理器中接收器的均衡能力，然后根據(jù)傳輸信道調(diào)節(jié)到一個(gè)合適的均衡值。

4.3 性能測(cè)試

在計(jì)算處理平臺(tái)中對(duì)CPCIe性能進(jìn)行測(cè)試，通過(guò)在根節(jié)點(diǎn)(RC)和端節(jié)點(diǎn)(EP)之間傳輸固定大小的數(shù)據(jù)，然后采用在程序中標(biāo)記時(shí)間戳的方法測(cè)試數(shù)據(jù)傳輸?shù)臅r(shí)間，通過(guò)數(shù)據(jù)大小和時(shí)間的比值獲取CPCIe傳輸帶寬。CPCIe采用8B/10B編碼，導(dǎo)致占用了20%的原始信道帶寬。除此之外，CPCIe的實(shí)際傳輸帶寬還受到處理層數(shù)據(jù)包(TLP)中的非數(shù)據(jù)內(nèi)容、數(shù)據(jù)鏈路層數(shù)據(jù)包(DLLP)，甚至RC端驅(qū)動(dòng)和應(yīng)用程序的影響。計(jì)算處理平臺(tái)CPCIe性能測(cè)試結(jié)果如表2所示。通道A設(shè)置GPIO1模塊為RC，GPIO2模塊為EP，實(shí)測(cè)寫(xiě)通信帶寬為287.7 MByte/s,通道B設(shè)置GPIO1模塊為RC，DMM模塊為EP，實(shí)測(cè)寫(xiě)通信帶寬為287.5 MByte/s，通道C設(shè)置GPIO2模塊為RC，DMM模塊為EP，實(shí)測(cè)寫(xiě)通信帶寬為287.5 MByte/s。通過(guò)測(cè)試可以看出，采用CPCIe進(jìn)行數(shù)據(jù)傳輸能夠有效提高整個(gè)系統(tǒng)的傳輸帶寬。

表2 CPCIe性能測(cè)試結(jié)果Table 2 CPCIe performance test results

5 系統(tǒng)驗(yàn)證

航空電子系統(tǒng)對(duì)機(jī)載計(jì)算處理平臺(tái)的體積、重量、功耗有嚴(yán)格的約束，隨著摩爾定律的發(fā)展，基于半導(dǎo)體材料的集成電路里面器件的集成度已經(jīng)接近了物理的極限，性能和功耗、體積、重量等約束因素的平衡是機(jī)載計(jì)算處理平臺(tái)設(shè)計(jì)必須面對(duì)的關(guān)鍵技術(shù)挑戰(zhàn)。因此，機(jī)載計(jì)算處理平臺(tái)已經(jīng)從單純提高性能，轉(zhuǎn)變?yōu)樘岣邌挝荒芎男阅?、單位體積性能和單位重量性能。本方案用性能功耗比(單位MIPS/W)來(lái)表示單位能耗的計(jì)算能力，用性能體積比(單位MIPS/cm)來(lái)表示單位體積的計(jì)算能力，用性能重量比(單位MIPS/g)來(lái)表示單位重量的計(jì)算能力。

本方案提出的計(jì)算處理平臺(tái)已經(jīng)通過(guò)軟硬件綜合聯(lián)試及系統(tǒng)綜合驗(yàn)證，從性能功耗比、性能體積比、性能重量比3個(gè)方面將本方案與傳統(tǒng)聯(lián)合式架構(gòu)和IMA架構(gòu)進(jìn)行對(duì)比，傳統(tǒng)聯(lián)合式架構(gòu)選取了某無(wú)人機(jī)任務(wù)管理計(jì)算機(jī)，IMA架構(gòu)選取了某飛機(jī)綜合處理機(jī)，本方案是針對(duì)某自主飛行無(wú)人機(jī)的計(jì)算處理平臺(tái)。性能功耗比、性能體積比和性能重量比3個(gè)性能評(píng)估指標(biāo)對(duì)比結(jié)果如表3所示。與傳統(tǒng)的聯(lián)合式架構(gòu)相比，本方案實(shí)現(xiàn)的計(jì)算處理平臺(tái)性能功耗比提升約7倍，性能體積比提升約24倍，性能重量比提升約15倍。與IMA架構(gòu)相比，本方案實(shí)現(xiàn)的計(jì)算處理平臺(tái)性能功耗比提升約5倍，性能體積比提升約2倍，性能重量比提升約1.7倍，可以滿足嵌入式環(huán)境對(duì)計(jì)算處理平臺(tái)小型化、低功耗、輕重量、高性能的需求。

表3 性能評(píng)估指標(biāo)對(duì)比Table 3 Comparision of performance evaluation indexes

6 結(jié) 論

提出了一種基于CPCIe總線的機(jī)載計(jì)算處理平臺(tái)方案。針對(duì)機(jī)載航空電子系統(tǒng)計(jì)算處理平臺(tái)對(duì)高性能、小型化、低功耗的迫切需求，研究了一種基于CPCIe高速總線和多核處理器的機(jī)載計(jì)算處理平臺(tái)架構(gòu)，解決了多核處理和CPCIe高速信號(hào)完整性在航空電子系統(tǒng)中的適應(yīng)性問(wèn)題，對(duì)多核操作系統(tǒng)架構(gòu)、基于核綁定的SMP調(diào)度機(jī)制和共享外設(shè)確定性設(shè)計(jì)等多核處理關(guān)鍵技術(shù)進(jìn)行研究，從CPCIe規(guī)范和信號(hào)完整性工藝對(duì)CPCIe高速總線進(jìn)行設(shè)計(jì)，并對(duì)CPCIe總線信號(hào)完整性進(jìn)行了仿真和測(cè)試，驗(yàn)證了方案的信號(hào)完整性以及對(duì)通信帶寬的改善程度。設(shè)計(jì)并實(shí)現(xiàn)了一款基于CPCIe高速總線的分布式機(jī)載多核計(jì)算處理平臺(tái)，在該平臺(tái)上進(jìn)行了實(shí)施驗(yàn)證。采用性能功耗比、性能體積比和性能重量比等評(píng)估指標(biāo)對(duì)計(jì)算處理平臺(tái)進(jìn)行綜合評(píng)估，具體結(jié)論如下：

1) 相比于傳統(tǒng)的聯(lián)合式架構(gòu)和綜合模塊化架構(gòu)，計(jì)算處理平臺(tái)的性能功耗比分別提升約7倍、5倍。

2) 相比于傳統(tǒng)的聯(lián)合式架構(gòu)和綜合模塊化架構(gòu)，計(jì)算處理平臺(tái)的性能體積比分別提升約24倍、2倍。

3) 相比于傳統(tǒng)的聯(lián)合式架構(gòu)和綜合模塊化架構(gòu)，計(jì)算處理平臺(tái)的性能重量比分別提升約15倍、1.7倍。

本方案實(shí)現(xiàn)的計(jì)算處理平臺(tái)可以滿足中小型飛機(jī)航空電子系統(tǒng)對(duì)計(jì)算處理平臺(tái)小型化、低功耗、輕重量、高性能的需求，具有一定的工程應(yīng)用參考價(jià)值。