Hadoop環(huán)境下醫(yī)學(xué)影像存儲(chǔ)的設(shè)計(jì)

郭文亮

邯鄲市中心醫(yī)院 信息科，河北 邯鄲 056001

Hadoop環(huán)境下醫(yī)學(xué)影像存儲(chǔ)的設(shè)計(jì)

郭文亮

邯鄲市中心醫(yī)院 信息科，河北 邯鄲 056001

目的醫(yī)學(xué)影像在臨床診斷、科學(xué)教研中發(fā)揮著越來越重要的作用，本文探討通過云平臺(tái)解決醫(yī)學(xué)影像數(shù)據(jù)量劇增、檢索效率低等問題的可行性。方法將傳統(tǒng)的光纖存儲(chǔ)局域網(wǎng)絡(luò)集中式存儲(chǔ)和分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）存儲(chǔ)相結(jié)合，形成一種混合式存儲(chǔ)架構(gòu)。其中通過文件序列化的方式解決HDFS不適合醫(yī)學(xué)影像小文件存儲(chǔ)的問題，通過集中式存儲(chǔ)解決醫(yī)學(xué)影像實(shí)時(shí)性訪問的問題。結(jié)果隨著客戶端數(shù)量增加，在混合式存儲(chǔ)方式下，醫(yī)學(xué)影像數(shù)據(jù)的讀、寫速度較傳統(tǒng)的集中式存儲(chǔ)都有明顯的提高。結(jié)論采用Hadoop平臺(tái)的混合式存儲(chǔ)方式可以滿足劇增的醫(yī)學(xué)影像數(shù)據(jù)的存儲(chǔ)要求，并且可以提高數(shù)據(jù)的讀寫速度。

醫(yī)學(xué)影像；Hadoop；小文件存儲(chǔ)；實(shí)時(shí)性訪問；醫(yī)學(xué)數(shù)字成像和通信標(biāo)準(zhǔn)

引言

近年來，醫(yī)學(xué)影像技術(shù)取得了突飛猛進(jìn)的發(fā)展，出現(xiàn)了大量的新設(shè)備，64排螺旋CT、PET/CT、超高場強(qiáng)磁共振等先進(jìn)設(shè)備大大提高了疾病的診斷效果[1-2]。然而技術(shù)的發(fā)展也伴隨一些問題：醫(yī)學(xué)影像設(shè)備一次掃描產(chǎn)生數(shù)百幅影像，一年產(chǎn)生上PB級(jí)的影像，這些影像資料的保存、容災(zāi)以及備份，海量數(shù)據(jù)的檢索速度、網(wǎng)路傳輸都面臨很多問題?，F(xiàn)階段大部分三甲醫(yī)院都是采用擴(kuò)展服務(wù)器存儲(chǔ)容量的方法解決數(shù)據(jù)劇增的問題，但是此方法的可靠性和擴(kuò)展性較差，并且大規(guī)模的數(shù)據(jù)存儲(chǔ)量也會(huì)嚴(yán)重影響檢索速度。因此，本研究充分發(fā)揮Hadoop平臺(tái)中分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）經(jīng)濟(jì)、可靠、可擴(kuò)展以及MapRedcue計(jì)算框架高效、計(jì)算性能強(qiáng)等優(yōu)點(diǎn)，可以解決醫(yī)學(xué)影像數(shù)據(jù)量劇增等相關(guān)問題[3-4]。

1 Hadoop簡介

Hadoop是Apache開源組織的一個(gè)分布式計(jì)算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，如Facebook、Yahoo、IBM等。以HDFS和分布式計(jì)算框架MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式計(jì)算和分布式存儲(chǔ)的編程環(huán)境[5-6]。

HDFS就是一種管理網(wǎng)絡(luò)中跨多臺(tái)計(jì)算機(jī)存儲(chǔ)的分布式文件系統(tǒng)。它是將一個(gè)大文件分成若干個(gè)數(shù)據(jù)塊，并創(chuàng)建多份復(fù)制保存在多個(gè)數(shù)據(jù)節(jié)點(diǎn)集合中，避免發(fā)生單點(diǎn)故障而導(dǎo)致的數(shù)據(jù)丟失[7-8]。因此，HDFS是一個(gè)具有高度容錯(cuò)性和可擴(kuò)展性的分布式文件系統(tǒng)，可以提供高吞吐量的數(shù)據(jù)訪問，很適合應(yīng)用于大規(guī)模數(shù)據(jù)集上。

MapReduce是Hadoop的分布式計(jì)算編程框架，它為開發(fā)基于Hadoop平臺(tái)的分布式應(yīng)用提供了一個(gè)簡單的模型，把傳統(tǒng)的復(fù)雜計(jì)算抽象在Map和Reduce兩個(gè)函數(shù)內(nèi)，為開發(fā)者屏蔽了大量繁瑣的任務(wù)調(diào)度和出錯(cuò)處理等底層細(xì)節(jié)問題。程序員只要做簡單的編碼就能夠運(yùn)行在由上千普通商業(yè)機(jī)器組成的集群上,并以一種可靠容錯(cuò)的方式并行處理大規(guī)模數(shù)據(jù)集[9-10]。

2 系統(tǒng)設(shè)計(jì)

Hadoop在構(gòu)建醫(yī)學(xué)影像存儲(chǔ)系統(tǒng)時(shí)還存在著兩個(gè)主要問題：第一，Hadoop的設(shè)計(jì)理念是針對(duì)大文件進(jìn)行優(yōu)化的，而醫(yī)學(xué)影像資料中的CT、MRI的圖像大小大多為512 KB左右，一次拍攝產(chǎn)生的圖像數(shù)量大約為100～200幅，如果直接將大量的小文件存儲(chǔ)在HDFS文件系統(tǒng)中，將導(dǎo)致HDFS主節(jié)點(diǎn)NameNode的內(nèi)存消耗過大，集群的性能下降[11]；第二，HDFS的設(shè)計(jì)理念適合大規(guī)模的數(shù)據(jù)分析等批處理應(yīng)用，在數(shù)據(jù)寫入的過程中，每個(gè)數(shù)據(jù)塊需要復(fù)制3個(gè)副本，導(dǎo)致寫入時(shí)延較大，不適合需要低時(shí)延的實(shí)時(shí)應(yīng)用。因此不太適合需要快速從醫(yī)學(xué)影像設(shè)備獲取圖像資料并撰寫診斷報(bào)告的PACS實(shí)時(shí)操作[12-13]。

針對(duì)以上問題，首先，本研究采用Hadoop的Sequence File文件格式，將醫(yī)學(xué)影像的DICOM文件序列化成Key/ Value鍵值對(duì)的形式，將一個(gè)病人一次檢查產(chǎn)生的影像圖片合并成一個(gè)序列化文件。這樣就能夠大大提高HDFS計(jì)算性能，減少了元數(shù)據(jù)服務(wù)器內(nèi)存的消耗。其次，將現(xiàn)階段PACS最常見的“在線-近線-離線”三級(jí)存儲(chǔ)簡化成為“在線-歸檔”兩級(jí)存儲(chǔ)，醫(yī)院將不同時(shí)間段的影像圖片存在“在線庫”和“歸檔庫”中，從而實(shí)現(xiàn)了一套光纖（FC）存儲(chǔ)局域網(wǎng)絡(luò)（Storage Area Network，SAN）集中存儲(chǔ)和分布式HDFS存儲(chǔ)相結(jié)合的混合式存儲(chǔ)方式，利用FC SAN非常適合小文件的快速讀寫的特點(diǎn)彌補(bǔ)了HDFS的不足。

3 序列化文件

3.1 DICOM醫(yī)學(xué)圖像文件格式

醫(yī)學(xué)數(shù)字成像和通信（Digital Imaging and Communication in Medicine，DICOM）標(biāo)準(zhǔn)是由美國放射學(xué)會(huì)（American College of Radiology，ACR）及國際電氣制造業(yè)協(xié)會(huì)（National Electrical Manufacturers Association，NEMA）所形成的聯(lián)合委員會(huì)于1985聯(lián)合制定的關(guān)于醫(yī)學(xué)數(shù)字圖像格式和通訊的標(biāo)準(zhǔn)[14]。

DICOM文件是指按照DICOM標(biāo)準(zhǔn)而存儲(chǔ)的醫(yī)學(xué)文件，DICOM文件一般由一個(gè)DICOM文件頭和一個(gè)DICOM數(shù)據(jù)集合組成（圖1）。文件頭包含了標(biāo)識(shí)數(shù)據(jù)集合的相關(guān)信息，由導(dǎo)言與前綴組成。導(dǎo)言是文件前言，由128字節(jié)的00H組成。前綴是一個(gè)長度為4字節(jié)的字符串“DICM”，可以用來判斷是否是一個(gè)DICOM文件。數(shù)據(jù)集由多個(gè)數(shù)據(jù)元素組成，每個(gè)數(shù)據(jù)元素對(duì)應(yīng)一個(gè)IOD的屬性，每個(gè)數(shù)據(jù)元素有4個(gè)域分別是標(biāo)簽（Tag）、值表示VR（Value Representation）、值長度（Value Length）和值域（Value Field），其中值表示是可選的[15-16]。

圖1 DICOM文件格式圖

3.2 文件合并

本研究合并小文件的主要思想是將每個(gè)DICOM文件轉(zhuǎn)化成健值對(duì)（Key/Value）的形式，其中文件名稱作為關(guān)鍵字，文件內(nèi)容作為值，然后采用序列化文件方法將這些小文件合并后寫入到一個(gè)單獨(dú)的序列文件Sequence File中去。合并文件的交互現(xiàn)在由四個(gè)角色組成，分別為Client客戶端，小文本合并Merge-Server，主節(jié)點(diǎn)NameNode和數(shù)據(jù)節(jié)點(diǎn)DataNode，圖2為小文本合并結(jié)構(gòu)。

圖2 小文件合并結(jié)構(gòu)圖

文件合并步驟如下：

（1）對(duì)集中式存儲(chǔ)服務(wù)器上的文件進(jìn)行當(dāng)前時(shí)間和小文件創(chuàng)建時(shí)間進(jìn)行比較，把差值大于6個(gè)月的文件篩選出來。

（2）從篩選出的小文件中取出一個(gè)待合并文件信息，設(shè)置塊數(shù)據(jù)結(jié)構(gòu)，加入待合并隊(duì)列Wait Merging Queue。

（3）從剩下的小文件中優(yōu)先取和1中文件文件名相同的小文件，如果沒有，取下一個(gè)待合并的小文件。

（4）設(shè)置數(shù)據(jù)結(jié)構(gòu)，計(jì)算加入此文件后，合并后的大文件塊的大小是否超過64 MB，超過轉(zhuǎn)5，否則加入WMQ隊(duì)列中，重復(fù)3。

（5）將WMQ中的小文件數(shù)據(jù)序列化寫入大文件。

3.3 序列化方法的不足

這種Sequence File文件序列化方式不僅能夠彌補(bǔ)Hadoop處理小文件效率低的弊端，還具有支持可分割，系統(tǒng)利用率高，支持?jǐn)?shù)據(jù)壓縮，有利于節(jié)省磁盤空間和加快網(wǎng)絡(luò)傳輸速度等優(yōu)點(diǎn)。但是Sequence File并不支持存儲(chǔ)在它內(nèi)部的文件的隨機(jī)訪問，當(dāng)需要訪問它內(nèi)部的文件時(shí)，需要遍歷整個(gè)目錄文件，檢索效率低。本研究參考作者所屬三甲醫(yī)院的醫(yī)學(xué)影像查看情況，見表1。此表為各種醫(yī)學(xué)影像在生成后被查看的總數(shù)表，3個(gè)月后的醫(yī)學(xué)影像被查看次數(shù)可以忽略不計(jì)，因此本研究采用了這種小文件合并方式。當(dāng)然根據(jù)醫(yī)院規(guī)模、實(shí)際情況的需要，可以建立小文件索引，比如在Map階段針對(duì)各個(gè)塊上的小文件建立局部索引，然后在Reduce階段將局部索引合并，形成一個(gè)全局索引。

表1 某三甲醫(yī)院醫(yī)學(xué)影像查看總數(shù)表 (個(gè))

4 FC SAN和HDFS混合式存儲(chǔ)

當(dāng)前醫(yī)院影像數(shù)據(jù)大部分都存儲(chǔ)于光纖存儲(chǔ)局域網(wǎng)絡(luò)集中式存儲(chǔ)服務(wù)器中[17-18]，但是這樣的架構(gòu)存在服務(wù)器負(fù)載重、數(shù)據(jù)讀寫速度慢、計(jì)算能力差等缺點(diǎn)?；跀?shù)據(jù)讀寫速度、冗余性和擴(kuò)展性等方面的考慮，本研究設(shè)計(jì)了FC SAN集中式存儲(chǔ)和分布式HDFS存儲(chǔ)相結(jié)合的存儲(chǔ)架構(gòu)。

網(wǎng)絡(luò)架構(gòu)圖，見圖3。醫(yī)學(xué)成像設(shè)備生成DICOM格式影像，存儲(chǔ)到集中式存儲(chǔ)服務(wù)器上，并且在服務(wù)器上生成每個(gè)文件的索引，能夠使PACS工作站以及HIS接口實(shí)時(shí)地調(diào)用影像圖片。當(dāng)集中式存儲(chǔ)服務(wù)器上的影像存儲(chǔ)大于6個(gè)月，會(huì)在Hadoop名稱節(jié)點(diǎn)創(chuàng)建文件，分配存放數(shù)據(jù)的各分塊的數(shù)據(jù)節(jié)點(diǎn)。然后，通過Sequence File文件序列化方式把影像文件合并成大文件，寫入到HDFS的數(shù)據(jù)節(jié)點(diǎn)中，再調(diào)用MapReduce任務(wù)生成這些小文件的索引。之后，刪除集中式存儲(chǔ)器中這些影像的數(shù)據(jù)和檢索信息。來自公網(wǎng)的外部工作站發(fā)送讀文件請(qǐng)求，首先在集中式存儲(chǔ)器中檢索，當(dāng)沒有檢索到相關(guān)信息后再通過MapReduce任務(wù)在NameNode節(jié)點(diǎn)上檢索，當(dāng)獲得相關(guān)的數(shù)據(jù)節(jié)點(diǎn)信息之后，與DataNode交互讀取相關(guān)文件。

5 仿真測試

5.1 基本配置

在Linux環(huán)境下，通過1臺(tái)HDFS名稱節(jié)點(diǎn)（NameNode）兼MapReduce主節(jié)點(diǎn)機(jī)和9臺(tái)數(shù)據(jù)節(jié)點(diǎn)（DataNode）兼MapReduce從節(jié)點(diǎn)機(jī)組成一個(gè)Hadoop云集群。節(jié)點(diǎn)基本配置：CPU是Intel Xeon E5504；內(nèi)存為8GB DDR3；硬盤為1TB SATA；操作系統(tǒng)為64位CentOS5.4；Hadoop版本是1.2.1。存儲(chǔ)空間總計(jì)9 TB，Hadoop配置每個(gè)數(shù)據(jù)塊在集群保存副本數(shù)為3，因此實(shí)際存儲(chǔ)容量為3 TB。

集中式存儲(chǔ)服務(wù)器選擇IBM 3650，具體配置：Intel 4核E5630處理器，8 GB DDR3 RDIMM內(nèi)存，兩塊1 TB硬盤，雙電源，計(jì)算機(jī)操作系統(tǒng)為Windows 2003 Server。

圖3 網(wǎng)絡(luò)架構(gòu)圖

5.2 測試結(jié)果

（1）本次測試通過對(duì)5.2 GB的DICOM數(shù)據(jù)進(jìn)行存儲(chǔ)，驗(yàn)證了該系統(tǒng)設(shè)計(jì)可以通過集中式存儲(chǔ)服務(wù)器實(shí)現(xiàn)醫(yī)學(xué)影像的實(shí)時(shí)性讀取，通過Hadoop平臺(tái)實(shí)現(xiàn)醫(yī)學(xué)影像安全、高效的存儲(chǔ)。

（2）3個(gè)月內(nèi)醫(yī)學(xué)影像通過FC SAN集中式存儲(chǔ)讀取，性能與現(xiàn)有的PACS系統(tǒng)相似，因此主要測試3個(gè)月以前的醫(yī)學(xué)影像的讀寫性能。當(dāng)有1～5個(gè)客戶端對(duì)系統(tǒng)進(jìn)行讀寫操作的時(shí)候，本系統(tǒng)與原始的FC SAN集中式存儲(chǔ)讀寫性能對(duì)比，見圖4。圖中X軸表示訪問Hadoop平臺(tái)的客戶端數(shù)目，單位臺(tái)；Y軸表示訪問的隨著客戶端數(shù)目增加的情況下讀寫速度，單位M/S。結(jié)果顯示，本系統(tǒng)的數(shù)據(jù)讀寫速度較原系統(tǒng)都有顯著的提升。

圖4 讀寫速度對(duì)比圖

6 結(jié)論

醫(yī)學(xué)影像對(duì)臨床醫(yī)生診斷和治療病人起到重要的作用，但隨著影像技術(shù)不斷提高、就醫(yī)人數(shù)不斷增加，出現(xiàn)了醫(yī)學(xué)影像數(shù)據(jù)劇增和訪問效率低下的問題，嚴(yán)重影響臨床醫(yī)生工作效率。本研究提出了一種傳統(tǒng)的FC SAN集中式和HDFS分布式相結(jié)合的存儲(chǔ)方式，并對(duì)HDFS不適合小文件存儲(chǔ)的問題，提出了文件序列化方法進(jìn)行合并，為原有PACS提供了一個(gè)低成本、易擴(kuò)展高效的技術(shù)方案。該系統(tǒng)在測試平臺(tái)上初步實(shí)現(xiàn)了資源共享、提高讀寫性能、易擴(kuò)展等目的，滿足了區(qū)域醫(yī)學(xué)影像信息化的功能和性能要求，為云計(jì)算技術(shù)真正應(yīng)用到醫(yī)院信息化建設(shè)中提供了理論基礎(chǔ)。

[1] 呂國義.醫(yī)院PACS系統(tǒng)發(fā)展趨勢(shì)研究[J].中國衛(wèi)生質(zhì)量管理,2015,2(6):92-94.

[2] 趙凱.基于云存儲(chǔ)的醫(yī)院PACS系統(tǒng)存儲(chǔ)設(shè)計(jì)[J].信息安全與技術(shù),2012,3(4):92-93.

[3] 梁志剛,周永新,李坤成.基于PACS的遠(yuǎn)程醫(yī)學(xué)影像會(huì)診系統(tǒng)的初步探索[J].中國醫(yī)療設(shè)備,2013,28(6):77-78.

[4] 魏寒冰,葉少珍.基于云計(jì)算的醫(yī)學(xué)影像存儲(chǔ)與傳輸系統(tǒng)的設(shè)計(jì)[J].電子技術(shù)應(yīng)用, 2013,39(12):145-148.

[5] 王敏,王建偉,劉俊.基于PACS的數(shù)字化影像資源庫在醫(yī)學(xué)影像學(xué)教學(xué)中的應(yīng)用探討[J].中國醫(yī)療設(shè)備,2015,30(10):132-133.

[6] Cao N,Wu ZH,Liu HZ.Improving downloading performance in hadoop distributed file system[J].J Comput Applicat, 2010,30(8):2060-2065.

[7] 高林,宋相倩.云計(jì)算及其關(guān)鍵技術(shù)研究[J].微型機(jī)與應(yīng)用,2011,30(10):5-7.

[8] HDFS Users Guide[EB/OL].[2016-12-11].http://Hadoop. apache.org/common/docs/current/Hdfs_user_guide.html.

[9] Mackey G,Sehrish S,Wang J.Improving metadata management for small files in HDFS[A].Proceedings of 2009 IEEE International Conference on Cluster Computing and Workshops[C].New Orleans:2010:4-8.

[10] 孫永超.基于Hadoop的信息檢索系統(tǒng)研究[J].情報(bào)探索, 2016,1(8):125-130.

[11] 李彭軍,陳光杰,郭文明.基于HDFS的區(qū)域醫(yī)學(xué)影像分布式存儲(chǔ)架構(gòu)設(shè)計(jì)[J].南方醫(yī)科大學(xué)學(xué)報(bào),2011,31(3):495-498.

[12] 馮貞貞,鄭西川.區(qū)域醫(yī)學(xué)影像信息共享的關(guān)鍵及實(shí)現(xiàn)方案[J].醫(yī)療衛(wèi)生裝備,2011,32(6):52-54.

[13] 方勝吉,翁蘇湘.構(gòu)建分布式區(qū)域醫(yī)學(xué)影像存儲(chǔ)平臺(tái)關(guān)鍵技術(shù)的研究[J].電子技術(shù)與軟件工程,2014(2):127.

[14] 張明,呂曉琪,張寶華.DICOM醫(yī)學(xué)影像網(wǎng)絡(luò)傳輸技術(shù)的研究與實(shí)現(xiàn)[J].重慶醫(yī)學(xué),2014,43(13):1657-1659

[15] 龍華飛,唐月華,陳泓伶.PACS系統(tǒng)中DICOM醫(yī)學(xué)圖像格式解析[J].中國數(shù)字醫(yī)學(xué),2014(3):29-31.

[16] 李偉,李仕紅,韓中保.基于JAVA的DICOM文件格式轉(zhuǎn)換與信息提取[J].醫(yī)療裝備,2014,27(4):15-16.

[17] 周晟劼,袁駿毅,李波.基于Hadoop的數(shù)據(jù)中心三甲醫(yī)院的探索研究[J].中國數(shù)字醫(yī)學(xué),2016,11(6):25-27.

[18] 多學(xué)松,張晶,高強(qiáng).基于Hadoop的海量數(shù)據(jù)管理系統(tǒng)[J].微計(jì)算機(jī)信息,2010,26(5):202-203.

本文編輯 劉峰

Design of Medical Image Storage Under the Context of Hadoop

GUO Wenliang
Department of Information, Handan Central Hospital, Handan Hebei 056001, China

ObjectiveMedical image is playing a more and more important role in clinical diagnosis and scienti fic research. This paper aimed to investigate the feasibility of solving the problem of soaring medical imaging data and ineffective searching by cloud platform.MethodsThis paper proposed a hybrid storage architecture which combined the traditional fibro optical storage area network centralized storage with hadoop distributed file system (HDFS) distributed storage. Through the file serialization solution, this paper solved the problem that HDFS storage was not suitable for the small medical image. Through centralized storage the paper solved the problem of real-time access to medical image.ResultsWith the increasing of client, reading and writing speed of medical image data in the mixed storage mode was obviously improved compared with the traditional centralized storage.ConclusionThe hybrid storage mode using the Hadoop platform can meet requirement of the roaring medical image data storage, and improve the reading and writing speed of data.

medical image; hadoop; small file storage; real time access; digital imaging and communication in medicine

TP39

C

10.3969/j.issn.1674-1633.2017.09.029

1674-1633(2017)09-0115-03

2016-12-11

2016-12-23

作者郵箱：451665782@qq.com