基于WiFi的手機無線顯微成像技術研究與應用

【作 者】金海嵐，劉靜,

1 清華大學醫(yī)學院生物醫(yī)學工程系，北京市，100084

2 中國科學院理化技術研究所，北京市，100190

0 引言

顯微鏡是人類歷史上最偉大的發(fā)明之一，它在科學研究、醫(yī)療檢測以及教學方面發(fā)揮了不可替代的作用。傳統(tǒng)的顯微鏡由于設備龐大，價格昂貴，在應用上存在一定局限性。手機處理器的快速發(fā)展，使手機能應用攝像頭、多媒體影音播放功能及運行許多應用軟件[1]。操作系統(tǒng)的植入使手機更接近微型電腦，可處理復雜的計算任務。為此，國內外近期圍繞手機與顯微鏡結合問題開展了系列嘗試。

2008年，中國科學院理化技術研究所科研人員提出采用手機實現(xiàn)流體視頻的拍攝及計算，由此推算諸如血液等流體的粘度[2]，實驗表明，相應精度已在一定程度上能滿足實際需求[3]。2009年，美國加州大學伯克利分校的研究者推出Cellscope[4]，利用了手機的攝像、計算及通訊功能，可實現(xiàn)如下任務：① 用手機自帶攝像頭由目鏡中得到300X顯微圖像、熒光圖像；② 運用手機的計算能力對細胞計數(shù)；③ 通過手機的通訊功能，實現(xiàn)遠程圖像傳輸。但在這一系統(tǒng)中，由于手機與顯微設備以機械方式連接，在使用上多有不便，總體上仍然是常規(guī)顯微概念的拓展，并未真正發(fā)揮手機的無線通訊優(yōu)勢。為實現(xiàn)無障礙顯微成像，2010年清華大學醫(yī)學微系統(tǒng)技術實驗室提出了手機無線顯微成像系統(tǒng)方法[5]，并隨后發(fā)展出原理性裝置[6]。這種方法可通過手機以無線方式接收顯微圖像，觀察不受空間所限。相比于Cellscope技術，該系統(tǒng)在手機端的數(shù)據(jù)接收為純軟件方式，沒有為手機增加任何外設，因而真正意義上實現(xiàn)了便攜化，在無干擾性研究細胞/組織培養(yǎng)以及危險生物樣品的遠程觀測等方面會有較大的適用面。不過，略顯遺憾的是，這種無線顯微的最初原型由手機、網(wǎng)絡攝像儀、微型顯微鏡或高倍率顯微鏡等構成[6]，網(wǎng)絡攝像機獲取顯微圖像，通過網(wǎng)線將圖像傳到互聯(lián)網(wǎng)，手機則通過無線上網(wǎng)來查看、接收顯微圖像。在這種無線傳輸?shù)姆绞街校W(wǎng)絡攝像機需要借助網(wǎng)線連接到以太網(wǎng)交換機(Switch)、路由器或IP共享器，手機無線上網(wǎng)會產生一定的費用，且在無網(wǎng)絡地區(qū)無法使用，因而仍然沒有最大限度的滿足用戶需求。

與上述方式不同的是，WiFi則是一種短程無線傳輸技術，能夠在數(shù)百英尺范圍內支持互聯(lián)網(wǎng)接入的無線電信號，傳輸速度最高可達600 Mbps。與其他無線通訊技術相比，WiFi具有使用廣泛，傳輸速度快，通訊距離遠的特點。事實上，如今大部分智能手機均自帶有WiFi無線網(wǎng)卡。WiFi的頻段在世界范圍內是無需任何電信運營執(zhí)照的免費頻段，因此為WLAN無線設備提供一個可以隨時隨地使用的、費用低廉且數(shù)據(jù)帶寬極高的無線空中接口[7]。為此，為充分推進手機無線顯微成像技術的發(fā)展，本文結合WiFi，即802.11b/g無線通訊協(xié)議，構建出小型的無線局域網(wǎng)，成功實現(xiàn)了顯微圖像的遠距離獲取和傳輸。在該系統(tǒng)中，手機只需接入無線局域網(wǎng)，即可實時接收處理顯微圖像。

本文工作主要分為三個方面：一是引入了嵌入式Linux操作系統(tǒng)，構建了簡捷的網(wǎng)絡視頻服務器；二是編寫了Android手機客戶端軟件，實現(xiàn)了實時顯示以及存儲的功能；三是基于該系統(tǒng)開展了系列新穎的基礎實驗應用探索。

1 系統(tǒng)的總體結構

系統(tǒng)由圖像采集端、圖像處理模塊、無線通訊模塊和手機終端四部分組成。從圖1可以看到，圖像信號由CMOS攝像頭OV9655采集，經(jīng)過ARM9核心板的初步處理，成為jpeg圖片序列，由WiFi模塊傳送到手機終端。手機終端可以對圖像進行顯示、存儲等操作。

圖1 系統(tǒng)結構圖Fig.1 Scheme for the system

1.1 硬件參數(shù)介紹

(1) CMOS攝像頭OV9655[8]

OV9655是美國OmniVision公司生產的一款低功耗微型CMOS數(shù)字攝像頭，最高分辨率為1280X1024，最大傳輸速率可以達到30 幀/秒，在（-30～70）oC能穩(wěn)定工作，主光角為25o，CMOS彩色8位或10位可選。

(2) WiFi模塊

采用臺灣雷凌Ralink RT3070L主芯片[9]，最大傳輸速度可達150 Mbps。1.25 V與3.3 V雙電壓供電，工作電壓范圍寬，功耗低，發(fā)熱小，系統(tǒng)較穩(wěn)定，室外理論傳輸距離約300 m，室內約100 m。

(3) 主控芯片

采用陸通網(wǎng)絡科技出品的LT2440開發(fā)板。這是一款以S3C2440處理器為核心的高性價比開發(fā)板[10]，而S3C2440系三星出品的低功耗、高性能、低成本的ARM9處理器，較具成本優(yōu)勢。采用ARM920T內核，具有400 M CPU主頻、64 M 雙片SDRAM、256 M Nand Flash，支持SD/MMC/SDIO接口存儲卡、USB Device接口下載、DM9000A網(wǎng)卡、Camera輸入、WiFi、藍牙、3G、GPS等外置模塊。

(4) 手機終端

本系統(tǒng)目前支持Android手機平臺，實驗用的手機為天語W606智能手機[11]。W606是天語和中國聯(lián)通攜手推出的首款Android手機，主要參數(shù)如表1。

表1 天語W606手機參數(shù)Tab.1 Main technical parameters for W606

1.2 系統(tǒng)實現(xiàn)

1.2.1 視頻服務器的構建

視頻服務器的核心是ARM9處理器S3C2440，支持WinCE，Linux系統(tǒng)?？紤]到Linux的內核比較穩(wěn)定，且功能強，性能高效，支持多任務模式，而且Linux具有完善的網(wǎng)絡通信、圖形和文件管理機制，本系統(tǒng)采用Linux操作系統(tǒng)。系統(tǒng)使用了開源視頻服務器軟件MPEG_Streamer，程序使用插件的方式，可以動態(tài)加載不同的輸入輸出庫文件，易于擴展。

(1) 嵌入式系統(tǒng)構建

Linux嵌入式系統(tǒng)的構建，包括安裝交叉編譯環(huán)境、編譯U-Boot（Universal Boot Loader）并移植、配置Linux內核和制作文件系統(tǒng)。本文精簡了系統(tǒng)內核，僅保留所需模塊，包括系統(tǒng)運行必需的模塊、網(wǎng)絡模塊和相關硬件驅動等。編譯WiFi模塊的驅動程序，并添加到核心板使用Linux系統(tǒng)中的U-Boot，為整個系統(tǒng)提供建立無線局域網(wǎng)功能。

(2) MJPG-streamer移植

MJPG-streamer項目從輸入設備拷貝圖像數(shù)據(jù)到輸出設備，默認支持單輸入多輸出。從攝像頭中讀數(shù)據(jù)系通過V4l2接口。V4l2全稱Video for Linux Two，是Linux提供的一套標準化API，應用程序通過API來調用和操作音視頻設備?？蛻舳伺c服務器的網(wǎng)絡通訊涉及到Socket編程。Socket通常被稱為“套接字”，用于描述IP地址和端口，是一個通信鏈的句柄。Socket面向連接的操作使用TCP通信協(xié)議。視頻服務器以CMOS攝像頭作為MPEG_Streamer項目的輸入設備，并將其轉化為JPEG數(shù)據(jù)流，監(jiān)聽來自客戶端的Socket連接，如果沒有連接，則處于等待狀態(tài)。當手機終端向服務器發(fā)出一個連接請求時，TCP協(xié)議會建立一個用于發(fā)送和接收數(shù)據(jù)的虛擬鏈路，使手機可以讀取視頻服務器數(shù)據(jù)。

MJPG-streamer源碼可以在有關專業(yè)網(wǎng)站上下載，如CSDN和Google源碼等。MJPG-streamer編譯后生成的文件為：

mjpg_streamer：主程序，用來啟動其他模塊；

output_ fi le.so：輸出到jpeg文件；

output_http.so：輸出到網(wǎng)絡；

output_viewer.so：輸出到LCD；input_uvc.so：USB攝像頭輸入；

input_ fi le.so：從視頻或者圖片輸入；

input_cmoscamera.so：CMOS攝像頭輸入。

將mjpg_streamer放到開發(fā)板文件系統(tǒng)bin目錄下，將input_cmoscamera.so、output_http.so放到/lib/modules/目錄下，可用命令行來加載輸入輸出模塊。下面這一句代碼實現(xiàn)了以CMOS攝像頭為輸入，用jpeg壓縮格式輸出圖片序列到端口192.168.123.1：8080。

-i：表示input輸入選項；

-o：表示output輸出選項；

-b：后臺運行；

-y：表示使用程序的jpeg壓縮；

-w：表示數(shù)據(jù)輸出綁定到這個網(wǎng)址的這個端口。

1.2.2 手機客戶端實現(xiàn)

(1) 開發(fā)環(huán)境構建

Android是以Linux 2.6內核為基礎的開放的手機平臺，使用Android組件做開發(fā)，較為方便和高效。Android的官方指定開發(fā)語言是Java，Google官方提供了基于Eclipse的Android開發(fā)插件（Android Developer Tools，ADT）。本系統(tǒng)采用開源的集成開發(fā)環(huán)境Eclipse。

開發(fā)環(huán)境搭建步驟包括：下載并安裝1.6 Java軟件開發(fā)工具包（Software Development Kit，SDK），安裝Eclipse，安裝軟件開發(fā)工具包（Software Development Kit， SDK）與ADT。

(2) 客戶端軟件編寫

首先介紹客戶端界面，其由1個文本框、1個圖像區(qū)域及4個按扭組成。在文本框中顯示連接狀態(tài)，圖像區(qū)域顯示接收到的圖像，如圖2所示。

圖2 軟件界面Fig.2 Software interface

首先介紹接收一幀圖像的過程。在圖像讀取線程中，由下面三行代碼獲得套接字的輸入流并組裝成基本數(shù)據(jù)輸入流，URL（Uniform Resource Locater）對象代表統(tǒng)一資源定位器，即：

下面介紹幾個功能按鈕。圖像的幀頭與幀尾為SOI、EOI。

尋找?guī)^與幀尾，從而解析出一幀完整的圖像。其軟件流程如圖3。

啟動軟件后，手機就以每秒5幀的速度開始獲取圖像并顯示，每幀圖像大小為640*512，8位的彩圖，約為277 K。為方便地查看和存儲顯微圖像，本文設計了4個功能按鈕：

開關按鈕pause/continue 控制視頻的暫停、繼續(xù)，pause狀態(tài)下點擊按鈕，停止從緩存中讀取圖片，continue則繼續(xù)從緩存中讀取。

開關按鈕start/stop 控制錄像的開始與結束。每2.5 s保存一幀圖像到SD卡的指定文件夾中。文件夾以當前時間“年_月_日_時_分_秒”命名。

圖3 軟件流程圖Fig.3 Software fl ow chart

普通按鈕screenshot 點擊screenshot按鈕，將圖像保存到SD卡的screenshot目錄下。圖像文件以當前時間

“年_月_日_時_分_秒”為名。

普通按鈕quit 退出程序。

2 性能評測

2.1 傳輸質量

本系統(tǒng)中使用的WiFi模塊的傳輸距離，在無障礙物的情況下，可達30 m；有障礙物時約為10 m。本系統(tǒng)設定的傳輸速度為每秒5幀，傳輸圖像為30萬像素的8位數(shù)據(jù)，傳輸速度為12 Mbps。

2.2 圖像質量

攝像頭輸出640*512的圖像，約30萬像素，通過拍攝黑白相間的條紋來查看圖像變形情況與色差，如圖4所示?？梢钥闯觯瑘D像并沒有出現(xiàn)幾何變形，但對比度明顯下降。由于光照的不均勻，導致一部分白色呈現(xiàn)淺青色，另一部分則呈現(xiàn)淺粉色。在黑白過渡處不夠銳利。這些問題有待于今后進一步研究。

圖4 圖像條紋與色差Fig.4 Fringe image and color difference

3 應用探究

3.1 商用便攜式顯微鏡成像試驗

常見物體觀察實驗使用義烏市立明光學儀器廠生產的MG10085-1自帶光源便攜式100X顯微鏡，可以通過齒輪調焦，照明使用純白LED光源，由兩節(jié)五號電池供電。

將攝像頭對準袖珍顯微鏡目鏡，調整攝像頭與目鏡的距離，用膠帶固定，在手機端于是可以看到一個明亮的視野，如圖5所示。

圖5 連接效果圖Fig.5 Renderings of the connection

對常見植物標本進行觀察，在圖6 (a)中可以看到蒲公英種子的冠毛，由于傘狀結構，只有上半平面聚焦，冠毛約0.02 mm粗，下面還有微小絨毛結構。圖6 (b)為蒲公英的花朵顯微圖，中間棕色者為花絲，上面附有黃色的花粉，背景為花瓣。

圖6 植物顯微圖像Fig.6 Plant microscope images

對螞蟻進行觀察，在圖7 (a)中可以看到觸角，在圖7 (b)中可以清楚識別螞蟻的腿及腿上的絨毛。這一方法對于小昆蟲的遠程觀察試驗研究很有價值。

3.2 高倍率顯微鏡成像試驗

采用的光學顯微鏡為Nikon Eclipse TS100，用于高倍率顯微圖片的拍攝。該顯微鏡采用的是CF160無限遠光學系統(tǒng)，可以提供長工作距離和高數(shù)值孔徑的清晰圖像。連接方法與便攜式顯微鏡類似，固定方式采用臺虎鉗。觀察無需進入超凈間，適合長時間監(jiān)控(圖8)，如本實驗中，我們觀察了乳腺癌細胞的生長情況。

圖7 螞蟻顯微圖Fig.7 Micrograph of ant

圖8 超凈間外觀察圖Fig.8 Outside of the clean room

為了對圖像效果作一個客觀評價，使用商用CCD攝像機拍攝的顯微圖片與本系統(tǒng)獲取的顯微圖像作一個對比。圖9中上方三幅圖系CCD相機拍攝結果，分辨率為640×480，下方三幅圖為本系統(tǒng)獲得的顯微圖片，有效分辨率約為300×300。

圖9 與商用CCD攝像機對比圖Fig.9 Comparison with commercial CCD camera

可以看出，除視野較小，存在色差外，本系統(tǒng)得到的顯微圖像足以清晰觀察細胞形態(tài)，具較好的實用價值。進一步通過在手機端編寫一定的軟件，可以實現(xiàn)細胞識別及計數(shù)等功能。

4 結論

本文研制出一套基于WiFi的手機型無線顯微圖像獲取與傳輸系統(tǒng)，實現(xiàn)了圖像采集、實時傳輸、顯示和存儲等功能。文中詳細介紹了系統(tǒng)的組成，采集端的硬件設計，手機終端的軟件設計和結構功能等，并在此基礎上進行了性能測試，開展了內容新穎的基礎實驗應用探索。

該系統(tǒng)最大的優(yōu)勢在于圖像采集端使用的Linux系統(tǒng)，手機端使用的Android系統(tǒng)，WiFi所在的頻段，均是免費的，比較適合推廣應用及產業(yè)化?！盁o線”概念的引入，極大地擴展了產品的適用范圍，手機終端無需添加任何機械外設，使用方便。

與以往的網(wǎng)絡圖文顯示系統(tǒng)相比，該系統(tǒng)不依賴于現(xiàn)有的無線網(wǎng)絡，真正實現(xiàn)了無障礙監(jiān)控，且支持多客戶端模式。手機作為終端，可以隨身攜帶，而且省去了PC，降低了成本。

總體而言，新系統(tǒng)在圖像傳輸速度及質量上均可以滿足實際需求，預計在許多細胞生物學試驗及微小生物學對象的遠程觀察試驗中會發(fā)揮重要作用。

致謝：

本文工作部分得到清華大學自主科研基金資助。

[1] 蕭蕭. 新摩爾定律—手機的處理器[J]. 通信技術. 2005, (5): 102-103.

[2] 劉靜, 楊陽, 王昊. 一種非接觸式測量液體參數(shù)的測量方法: 中國, 200810227982.2[P], 2008-10-22

[3] Yang Y, Wang H, Liu J. Mobile phone enabled pervasive measurement of liquid viscosity [J]. Applied Rheology. 2011, 21:63890-63894.

[4] Breslauer DN, Maamari RN, Switz NA, et al. Mobile phone based clinical microscopy for global health applications [J]. PLoS ONE,2009, 4: e6320-e6324.

[5] Xie Q M, Liu J. Mobile phone based biomedical imaging technology: A newly emerging area [J]. Recent Patents on Biomedical Engineering, 2010, 3(1): 41-53.

[6] 袁宇辰, 劉靜.手機無線顯微成像技術[J]. 中國醫(yī)療器械雜志.2011, 35(2): 79-82.

[7] 楊豐盛. Android應用開發(fā)揭秘[M]. 北京: 機械工業(yè)出版社, 2011

[8] OmniVision. ultimate 1/4 inch camera-on-a-chip[DB/OL]. http://datasheet.eeworld.com.cn/pdf/411310_OMNIVISION_OV9655.pdf , 2012-05-22.

[9] Ralink.Technology Corporation.11n RT3070 USB Test Report[DB/OL]. http://www.datasheet.co.kr/download.php?id=707769, 2012-05-22.

[10] Samsung Electronics. S3C2410X 32-bit RISC Microprocessor user's manual [DB/OL]. http://datasheet.eeworld.com.cn/pdf/2575_SAMSUNG_S3C2440A.pdf, 2012-05-22.

[11] ZOL中關村在線. 天語W606參數(shù)[DB/OL]. http://detail.zol.com.cn/256/255764/param.shtml, 2012-05-22.