基于CPU+GPU異構計算的編程方法研究

馮 穎, 袁慶華, 沈健煒

（解放軍總后勤部檔案館, 北京 100842）

0 引言

近年來，基于中央處理器(CPU)+圖形處理器(GPU)的混合異構計算系統(tǒng)開始逐漸成為國內外高性能計算領域的熱點研究方向。在實際應用中，許多基于CPU+GPU的混合異構計算機系統(tǒng)表現出了良好的性能。但是，由于各種歷史和現實原因的制約，異構計算仍然面臨著諸多方面的問題，其中最突出的問題是程序開發(fā)困難，尤其是擴展到集群規(guī)模級別時這個問題更為突出。

1 基于CPU+GPU異構計算的編程方法

1.1 基于CPU+GPU異構計算系統(tǒng)的優(yōu)勢

基于 CPU+GPU的異構計算系統(tǒng)是指在傳統(tǒng)計算機系統(tǒng)中加入GPU作為加速部件并配合CPU共同承擔計算任務的新型系統(tǒng)。相比于傳統(tǒng)的單純以 CPU作為計算部件的同構系統(tǒng)，異構系統(tǒng)優(yōu)勢明顯。首先，GPU能夠更出色的完成某些特殊應用，例如對于追求浮點運算性能的應用來說，目前GPU的浮點運算能力已經遠遠超過CPU，圖1說明了近幾年GPU與CPU浮點運算能力的對比[1]；其次，原先只用于圖形處理領域的 GPU正在逐漸向通用計算方向發(fā)展，在各GPU生產廠商的大力推動下，一些原先制約GPU通用化的障礙(如硬件結構、編程模型)已經不同程度地得到了克服；最后，當今單純由 CPU搭建的高性能計算機系統(tǒng)遇到了許多難以克服的問題，例如擴展性問題、功耗問題等，而使用GPU加速部件可以很好地解決這些問題。

圖1 CPU與GPU浮點性能比較

1.2 基于CPU+GPU異構計算系統(tǒng)編程方法面臨的困難

雖然基于CPU+GPU的異構計算發(fā)展迅速，但是由于各種歷史和現實原因制約，異構計算仍然面臨諸多方面的問題，其中，最突出的是程序開發(fā)困難的問題。究其原因：一是 GPU的最初設計目標是專業(yè)圖形處理而非通用計算，這導致了GPU本身的體系架構對通用計算存在很多硬件制約，例如數據傳輸限制、缺少數據校驗機制、雙精度性能偏低等，這使得程序開發(fā)人員在使用 GPU進行通用計算時不得不專門考慮這些問題。二是 GPU軟件開發(fā)的編程模型及編程方式還不成熟，盡管英偉達（NVIDIA）公司推出的計算統(tǒng)一設備架構（CUDA）技術已經大大降低了GPU通用計算開發(fā)的難度，但是要程序開發(fā)人員轉變長期以來的CPU模式X86編程習慣并非易事，而如何處理以往應用中的大量遺留代碼也是個挑戰(zhàn)。三是異構計算的標準開放計算語言（OpenCL）推出時間還比較短，盡管各 GPU主要生產廠商都已經宣布對OpenCL進行支持，但就目前來看，基于OpenCL的應用和開發(fā)還遠未形成氣候。

2 目前可用的程序開發(fā)方法及適用場合

目前，適合于CPU+GPU異構計算的程序開發(fā)方法可以大致分為以下四類：基于底層圖形應用程序接口（API）的開發(fā)方法、基于低層次抽象的輕量級 GPU編程工具、基于高層次抽象的函數庫或模板庫和基于高層次抽象的使用編譯器的方法。

2.1 基于底層圖形API的開發(fā)方法

這是GPU通用計算領域早期使用的主流方法，在新的GPU上一般仍可使用。這種方法要求開發(fā)者必須熟悉GPU硬件底層圖形 API，并需要設法將程序映射到圖形處理過程。一般使用開發(fā)圖形庫著色語言（GLSL）等圖形繪制語言進行編程。

早期的GPU產品都是基于分離渲染架構，即圖形渲染過程分為頂點處理、片段處理等幾個過程，這時的 GPU可編程能力比較差。隨著2001年GeForce3的出現，頂點級可編程開始普及，人們開始使用它進行了通用編程。到了2002年人們開始利用紋理著色（Texture Shader）結合基于寄存器組合器（Register Combiner）來求解擴散方程，而到了2003年像素級可編程性出現，很多人開始利用像素程序來求解一般代數問題，甚至有限差分方程組求解（PDEs）和優(yōu)化問題的求解。這個階段的GPU都是通過底層圖形API向圖形程序員提供可控制能力。最常見的圖形API有兩種：開發(fā)圖形語言（OpenGL）和DirectX。OpenGL作為事實上的工業(yè)標準已為學術界和工業(yè)界所普遍接受；DirectX作為微軟視窗的標準，可以根據 GPU新產品功能的擴充與進展及時定義新的版本以擴充新的接口。

2.2 基于低層次抽象的輕量級編程工具

CUDA是一種將GPU作為數據并行計算設備的軟硬件體系，它是一個完整的用于通用目的計算的圖形處理器（GPGPU）的解決方案，提供了硬件的直接訪問接口，不用像傳統(tǒng)方式一樣必須依賴圖形API來實現GPU的訪問。CUDA采用 C語言作為編程語言，提供大量的高性能計算指令開發(fā)能力，使開發(fā)者能夠在GPU計算能力的基礎上建立起一種高效的密集數據計算解決方案。CUDA架構如圖2 所示[2]。

圖2 CUDA架構圖

OpenCL是第一個面向異構系統(tǒng)通用目的并行編程的開放標準和統(tǒng)一的編程環(huán)境，適用于CPU、GPU、Cell類型架構以及DSP等其他并行處理器。作為開放標準，可以為CPU、GPU和其他分離的計算設備(這些設備被組織到單個平臺中)所組成的異構群進行編程。作為并行編程框架，OpenCL目前包括一種開發(fā)語言、API庫和一個運行系統(tǒng)來支持軟件開發(fā)，不必將算法映射到底層圖形API上。

2.3 基于高層次抽象的函數庫或模板庫

CUDA快速傅里葉變換（CUFFT）是一個利用GPU進行傅里葉變換的函數庫，提供了與廣泛使用快速計算離散傅里葉變換的標準C語言程序庫（FFTW）相似的接口。不同的是FFTW操作的數據存儲在內存中，而基于CUDA離散傅里葉變換（CUFFT）的操作數據存儲在顯存，不能直接相互取代，必須加入顯存與內存之間的數據交換，進行封裝后才能替FFTW庫。CUDA線性代數基礎子程序庫（CUBLAS）是一個基本的矩陣與向量的運算庫，提供了與BLAST相似的接口，可以用于簡單的矩陣計算，也可以作為基礎構建更加復雜的函數包，如線性代數程序包（LAPACK）等。CUBLAS操作的數據也存儲在顯存中，同樣需要封裝后才能替代基本線性代數子程序（BLAST）中的函數[3]。

2.4 基于高層次抽象的使用編譯器的方法

基于高層次抽象的使用編譯器的方法是指通過使用指示語句、算法模板以及十分復雜的代碼分析技術、編譯器或語言運行時系統(tǒng)自動生成GPU內核程序。

PGI x86+GPU編譯器是意法半導體子公司Portland Group的高性能并行編譯器產品。它引進一組新指示語句（PRAGMAS）以用來指示哪一部分的代碼可以被映射到GPU上執(zhí)行。指示語句定義了內核程序區(qū)域，描述了循環(huán)結構以及它們與GPU上的線程塊和線程之間的匹配。指示語句同時也用于指示哪個數據需要在主設備和GPU存儲器之間復制。

超立方體大規(guī)模并行處理語言（HMPP）一個基于標簽語法的多語言程序設計環(huán)境，利用它能夠使軟件和目標硬件設備保持獨立，提供將已有應用程序部署到 GPU的有效工具。它同時擁有CUDA和OpenCL代碼生成器，使用HMPP目標代碼生成器可以改進硬件加速的關鍵程序段的性能。代碼生成器用來從原來的C或Fortran程序中提取可以并行化的部分，并將其轉換為CUDA或者OpenCL代碼，不需要使用新的GPU開發(fā)語言重寫程序。HMPP工作平臺包括一個C和 Fortran的編譯器、代碼生成器以及一個無縫集成進開發(fā)環(huán)境中的運行時系統(tǒng)，HMPP工作平臺架構如圖3。

圖3 HMPP工作平臺架構圖

2.5 多GPU設備和GPU集群環(huán)境下的程序開發(fā)

在多GPU設備環(huán)境或GPU集群環(huán)境下開發(fā)程序，除了上面提到的四種程序開發(fā)技術之外，還需要其他必要輔助技術。一般來說，管理多個GPU設備可以使用OpenMP技術，在使用CUDA時還能夠使用CUDA提供的特殊功能API來管理多GPU設備；在管理由CPU+GPU異構系統(tǒng)作為節(jié)點構造的集群時，可以使用 MPI技術，也可以使用 Charm++技術。具體應用中，OpenMP和MPI配合使用的情況居多。

3 現有編程方法的適用場合及優(yōu)缺點分析

對于在 GPU通用計算上發(fā)展階段積累了大量基于底層圖形API方法程序的開發(fā)者來說，繼續(xù)使用基于底層圖形API方法仍然適用，這樣可以解決如何處理遺留代碼的問題，不用對原來的程序做太多修改。缺點主要表現為：首先，編程人員必須編寫控制圖形流水線的程序，如分配紋理存儲、構造圖形素元等，這要求編程人員對圖形API以及GPU硬件特點與限制需要有詳細了解。其次，編程人員仍然需要利用紋理、三角形等圖形素元表達他們的算法。此外，這種方式在新的基于統(tǒng)一渲染架構的 GPU產品上運行時的代碼執(zhí)行效率會有些不足，在開發(fā)新程序時相比其他方法也沒有優(yōu)勢。

對于那些采用少量專業(yè)領域算法的應用程序，這種場合中開發(fā)者往往無法在標準函數庫找到對應程序，這時最佳的開發(fā)方法是使用諸如CUDA、OpenCL之類的基于低層次抽象的編程工具。在這種情況下，影響性能的關鍵代碼往往集中于少量程序段，由開發(fā)者完全自己編寫這些代碼是切實可行的，這樣可以充分利用 GPU的具體數據結構以及其他的優(yōu)化方法，以獲得最佳的加速效果。缺點是一般需要學習一門新的編程語言，不適用于遺留代碼較多的場合。

對于大部分運行時間都用于執(zhí)行標準函數的應用程序，使用 GPU加速版本的標準函數庫可以很容易地提高執(zhí)行效率，而獲得效率的關鍵是盡量減少 GPU與主機之間的通訊。基于高層次抽象的函數庫或模板庫方法的缺點是這類函數庫的靈活性稍差，并且有可能造成多余的存儲器訪問。

對于大量使用專業(yè)領域算法應用程序的場合，在標準函數庫內找不到對應，而開發(fā)者自己編寫全部代碼又不現實，這時可以使用基于編譯器的方法。由于發(fā)展時間較短，目前這種方法也存在很多缺點，以Portland Group并沒有很好地隱藏內核程序并行化的復雜度，用戶仍需要去做所有較大的工作，例如如何將嵌套循環(huán)結構映射到底層的流處理器。

4 結語

CPU+GPU異構計算模式在當前的高性能計算領域逐漸成為熱點研究方向。文中分析了基于CPU+GPU異構計算模式程序開發(fā)面臨的主要困難，總結了當前主要的可用解決途徑和研究方向，并對各種編程方法的適用場合和各自的優(yōu)缺點進行了詳細分析。目前，GPU產品的硬件架構在向著有利于程序設計的方向不斷改進，學術界和工業(yè)界對基于CPU+GPU異構計算的編程方法研究也在快速發(fā)展，可以預見，隨著 GPU編程方法研究的不斷深入，基于 CPU+GPU的異構計算系統(tǒng)將會在高性能計算領域發(fā)揮更大的作用。

[1]NVIDIA Corporation. CUDA Programming Guide 2.3[Z/OL].(2009-11-02)[2010-06-03].http://developer.nvidia.com/objec t/cuda.html.

[2]NVIDIA Corporation. NVIDIA Tesla GPU Computing Technical Brief 1.0[Z/OL]. (2007-5-05)[2010-06-03]. http://developer.nvidia.com/object/cuda.html.

[3]張舒, 褚艷利. GPU高性能計算之CUDA[Z]. 北京：中國水利水電出版社, 2009.