顯微操作中斑馬魚幼魚心臟識別與監(jiān)測方法

佟明斯，黃 港，雷冬旭，張格非，莊松霖，高會軍

(哈爾濱工業(yè)大學(xué) 航天學(xué)院，哈爾濱 150001)

斑馬魚是一種基因序列與人類具有較高的相似性的有脊椎模式動物[1]，其幼魚具有透明表皮，能夠直接觀察內(nèi)臟器官的發(fā)育以及血液循環(huán)系統(tǒng)的運(yùn)行情況(如圖1所示[2])，是生物醫(yī)學(xué)領(lǐng)域的重要實(shí)驗(yàn)對象[3].2019年，伯爾尼大學(xué)揭示了斑馬魚幼魚心臟組織自我再生能力的機(jī)理，引發(fā)了國際上對斑馬魚幼魚心血管系統(tǒng)的廣泛研究[4].對幼魚心臟的識別與監(jiān)測對于理解其發(fā)育機(jī)理[5]、藥物影響[6]、組織再生[7]等過程至關(guān)重要.但是，由于斑馬魚幼魚體長僅有3 mm左右，其內(nèi)部器官細(xì)小、各異性、色素血管等的干擾，以往的人工觀察手段在準(zhǔn)確性和效率上都有很大不足.如對于幼魚心臟觀測來說，幼魚需要處于特定姿態(tài)(如側(cè)躺)才能夠使心臟暴露在顯微鏡視野下方，其心臟直徑約為100 μm，對于人工和常規(guī)的顯微操作系統(tǒng)來說存在較大困難.

針對上述問題，本文基于已搭建的斑馬魚幼魚顯微注射平臺[8]開展斑馬魚幼魚心臟識別和監(jiān)測方法的研究.該方法在多條幼魚放入平臺托盤后，利用顯微鏡獲取幼魚在托盤中的分布圖像，并基于高斯混合模型對幼魚進(jìn)行分割、定位；利用卷積神經(jīng)網(wǎng)絡(luò)對幼魚的姿態(tài)進(jìn)行識別，并通過帶有吸持針的滾轉(zhuǎn)機(jī)械臂將幼魚滾轉(zhuǎn)角調(diào)整至統(tǒng)一姿態(tài)；逐一對幼魚進(jìn)行高倍率顯微觀察，得到幼魚心臟圖像，并通過像素強(qiáng)度跟蹤算法，獲取并監(jiān)測幼魚心率.該方法能實(shí)現(xiàn)高通量的斑馬魚幼魚心臟進(jìn)行準(zhǔn)確識別和在線檢測，能夠幫助生物實(shí)驗(yàn)人員快速獲得實(shí)驗(yàn)數(shù)據(jù)，提高研究效率和水平.

圖1 48～72 hpf斑馬魚幼魚形態(tài)示例

1 系統(tǒng)設(shè)計(jì)

本文基于圖2展示的斑馬魚幼魚顯微操作系統(tǒng)[9].該系統(tǒng)以電動體式顯微鏡(Nikon-SMZ25)為基礎(chǔ)，頂部CMOS相機(jī)最大幀率為60幀/s.底座改裝為帶有旋轉(zhuǎn)托盤和三自由度機(jī)械臂的機(jī)械平臺，機(jī)械臂末端連接帶有旋轉(zhuǎn)功能的玻璃吸持針用于幼魚姿態(tài)控制.該圖像處理及控制軟件在VS2010上采用MFC編寫.

圖2 斑馬魚顯微操作系統(tǒng)

2 斑馬魚三維姿態(tài)調(diào)整

2.1 多幼魚分類和定位

在觀察實(shí)驗(yàn)開始，多條經(jīng)MS-222(質(zhì)量分?jǐn)?shù)為0.003%)麻醉后的年齡范圍為48～120 hpf的幼魚被一次性放入托盤中，并使用低倍放大倍率進(jìn)行圖像采集.為利用高倍率物鏡對每只幼魚進(jìn)行心臟監(jiān)測，需要對圖像中的幼魚進(jìn)行分割定位，并進(jìn)行姿態(tài)調(diào)整到易于觀測的位置.本文基于高斯混合模型[10]，實(shí)現(xiàn)對多條幼魚進(jìn)行分割定位.幼魚本身具有較為明顯的身體特征，例如眼睛和魚鰾等具有較深的顏色信息，因此利用二值化方法，可以將其從背景中分割出來，如圖3(b)所示.

為了能確定每個像素點(diǎn)所屬的斑馬魚幼魚以及獲得斑馬魚幼魚的位置，將經(jīng)二值化后的像素點(diǎn)看作X∈Nn×2的數(shù)據(jù)集，使用高斯混合模型分類.對于含有K類的高斯混合模型，對每一類的參數(shù)采用EM算法進(jìn)行迭代計(jì)算:

由于幼魚雙眼和魚鰾處顏色較深，因此能定位到該位置即能成功找到幼魚.在穩(wěn)定的光線條件下，雙眼和魚鰾處與背景對比度高，因此該方法能夠準(zhǔn)確實(shí)現(xiàn)幼魚的分割及定位.

圖3 斑馬魚幼魚分割定位

2.2 幼魚二維姿態(tài)檢測與控制

對于麻醉后的斑馬魚幼魚，其在水中的自然姿態(tài)大部分為側(cè)躺姿態(tài)，因此心臟能夠進(jìn)入顯微鏡視野，但是也有部分幼魚姿態(tài)會出現(xiàn)魚肚朝下或朝上的異常姿態(tài)(如圖3(a)中箭頭標(biāo)識).為便于后續(xù)對心臟的觀測，需要調(diào)整斑馬魚姿態(tài)使心臟成像清晰完整.本系統(tǒng)利用旋轉(zhuǎn)托盤和吸持機(jī)械臂實(shí)現(xiàn)幼魚姿態(tài)調(diào)整.在這一過程中，首先根據(jù)上一步確定的幼魚位置時獲得的高斯模型參數(shù)，對待觀測的幼魚，根據(jù)其高斯模型的協(xié)方差估計(jì)其當(dāng)前二維姿態(tài).

則目標(biāo)為所求方向向量v使Σpro最大.由于Σ為Hermitian矩陣，且vTv=1，則vTΣv為瑞利熵.由其性質(zhì)可知，當(dāng)瑞利熵取最大值時，v為Σ最大特征值對應(yīng)的特征向量.因此根據(jù)每個樣本協(xié)方差矩陣Σk的特征向量能夠獲得每條斑馬魚幼魚二維姿態(tài)vk.為了使吸持機(jī)械臂能夠捕捉到幼魚尾部，因此將所求高斯模型的協(xié)方差求取其最大特征值所對應(yīng)的特征向量作為幼魚方向，例如圖3(a)中，所得各個幼魚的方向如圖4(d)所示.定義所得到的高斯模型的均值點(diǎn)與尾部端點(diǎn)的連線代表尾部的朝向，其與協(xié)方差求得的方向之差代表旋轉(zhuǎn)的誤差.經(jīng)實(shí)驗(yàn)測試，該方法所得誤差分布在±10°之間，不影響對斑馬魚尾部的吸持.

獲取二維姿態(tài)后由上位機(jī)旋轉(zhuǎn)托盤，轉(zhuǎn)到尾部朝向旋轉(zhuǎn)機(jī)械臂的位置，定位針尖位置并移動旋轉(zhuǎn)機(jī)械臂，吸住斑馬魚幼魚尾部，將幼魚調(diào)整二維位置至視野中心，進(jìn)行滾轉(zhuǎn)角調(diào)整[11].

2.3 幼魚滾轉(zhuǎn)角的檢測控制

在吸住尾部后，需要對幼魚的滾轉(zhuǎn)角進(jìn)行調(diào)整，以使心臟處于最佳觀測位置.本文搭建了卷積神經(jīng)網(wǎng)絡(luò)對幼魚當(dāng)前角度進(jìn)行估計(jì)，并控制滾轉(zhuǎn)軸對幼魚進(jìn)行調(diào)整.

在卷積神經(jīng)網(wǎng)絡(luò)的搭建過程中，最重要的一步是樣本集的設(shè)計(jì)與建立.結(jié)合系統(tǒng)中對滾轉(zhuǎn)角判斷的需要，存在兩種可用的樣本集標(biāo)注方式，分別為直接角度標(biāo)注和區(qū)域分類標(biāo)注.直接角度標(biāo)注是指對應(yīng)每一幅樣本圖片，其對應(yīng)的標(biāo)簽為視野中的幼魚相對于某一基準(zhǔn)的偏離角度；而區(qū)域分類標(biāo)注則是指當(dāng)幼魚的滾轉(zhuǎn)角處于某一有利于心臟觀測的姿態(tài)時(如幼魚側(cè)放且心臟朝向水平向右)，標(biāo)記為合格樣本，其余姿態(tài)為不合格樣本.由于在單目視覺條件下，難以對精確角度進(jìn)行測量，因此選用第2種標(biāo)注方法.相比之下這種方法具有以下優(yōu)點(diǎn)：1)由于在標(biāo)注過程中姿態(tài)判斷是基于人工主觀標(biāo)記，因此標(biāo)簽集中對于角度限制較為寬松，對于姿態(tài)調(diào)整降低了要求，同時簡化了標(biāo)簽集的制作工作. 2)卷積神經(jīng)網(wǎng)絡(luò)在解決分類問題時能夠?qū)θ斯づ袛嘟?jīng)驗(yàn)進(jìn)行學(xué)習(xí)，使分類結(jié)果得更為穩(wěn)定，因此使用判斷角度范圍會增加系統(tǒng)的魯棒性能.使用該方法的不同姿態(tài)所對應(yīng)的標(biāo)簽如圖4所示.

圖4 不同斑馬魚幼魚的姿態(tài)及對應(yīng)標(biāo)簽

網(wǎng)絡(luò)搭建從淺層卷積神經(jīng)網(wǎng)絡(luò)開始，逐漸增加網(wǎng)絡(luò)層數(shù)，通過實(shí)驗(yàn)結(jié)果來確定最佳的網(wǎng)絡(luò)結(jié)構(gòu).經(jīng)過測試，網(wǎng)絡(luò)中采用3×3的卷積核時能夠取得比較理想的訓(xùn)練效果.為了盡可能降低運(yùn)算復(fù)雜程度，同時避免優(yōu)化過程中的梯度爆炸與梯度消失問題，激活函數(shù)選取ReLU函數(shù)[12].在優(yōu)化方法的選擇上，Adam方法收斂速度相對較快，能夠縮短訓(xùn)練時間[13].由于所選取的網(wǎng)絡(luò)層數(shù)較深，為降低過擬合風(fēng)險，網(wǎng)絡(luò)內(nèi)部加入了dropout和池化層[14].最終的預(yù)測數(shù)據(jù)通過全連接層輸出，得到的結(jié)果即為幼魚正放的概率.首先需將輸入圖片尺寸壓縮為218×174，整個網(wǎng)絡(luò)包含輸入層、4層卷積層、3層池化層和1層全連接層，結(jié)構(gòu)如圖5所示.訓(xùn)練集由50條處于1～5 dpf內(nèi)不同年齡段的幼魚組成.每條幼魚以1°為步長旋轉(zhuǎn)360°，當(dāng)幼魚處于人工判別為可觀測心臟的角度范圍內(nèi)時，對應(yīng)標(biāo)簽記為1，其余狀態(tài)記為0.在訓(xùn)練過程中，當(dāng)精度達(dá)到99%時認(rèn)為算法收斂，訓(xùn)練停止.按照相同的方法，將另外10條幼魚的數(shù)據(jù)作為測試集輸入網(wǎng)絡(luò).訓(xùn)練過程在迭代15次后結(jié)束，測試結(jié)果準(zhǔn)確度約為99.4%.

圖5 滾轉(zhuǎn)角檢測的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在對目標(biāo)幼魚進(jìn)行滾轉(zhuǎn)調(diào)整時，首先使用旋轉(zhuǎn)機(jī)械臂吸住幼魚尾部旋轉(zhuǎn)1周，并以1°為步長，采集360張樣本圖，將這些圖放入訓(xùn)練好的模型進(jìn)行樣本圖片的預(yù)測，記錄其最佳角度的概率值，做為該張圖片處在最適合注射的空間位置，控制機(jī)械臂反向旋轉(zhuǎn)，使幼魚旋轉(zhuǎn)到上述所對應(yīng)的空間角度，即為目標(biāo)滾轉(zhuǎn)角.

本文采用峰值旁瓣比(PSR)指標(biāo)[15]對預(yù)測斑馬魚最佳觀測姿態(tài)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行評估.對于預(yù)測斑馬魚最佳姿態(tài)，輸出值的波峰出現(xiàn)在幼魚心臟處于右側(cè)時.隨著幼魚滾轉(zhuǎn)，輸出值逐漸減小.假設(shè)選擇波峰窗口為30°，則PSR的計(jì)算方法為：幼魚滾轉(zhuǎn)1周的波峰/除去幼魚心臟恰好處于右側(cè)±15°后的波峰.當(dāng)所得PSR越大時，代表算法越穩(wěn)定.本文對多條幼魚翻滾滾轉(zhuǎn)1周進(jìn)行試驗(yàn)，并由此計(jì)算PSR，其大小為70%，因此該算法穩(wěn)定.

3 斑馬魚心率監(jiān)測

3.1 幼魚心臟定位

在對幼魚姿態(tài)進(jìn)行調(diào)整后，切換顯微鏡放大倍率，將相機(jī)的圖像采樣頻率設(shè)定為50幀/s，對單個幼魚心臟進(jìn)行觀察.由于存在環(huán)境噪聲以及幼魚新陳代謝活動對心臟監(jiān)測算法的干擾和影響，需要首先對幼魚的心臟進(jìn)行識別和定位.斑馬魚幼魚血細(xì)胞會集中在心臟位置且在顯微鏡下呈紅色，并且在相同成像條件下相同品系和年齡的幼魚成像效果是近似的，因此可以將包含幼魚的RGB圖像轉(zhuǎn)化到HSV空間，再提取圖像中明度較高的紅色區(qū)域，根據(jù)實(shí)驗(yàn)測試，本文取-30°50%作為閾值.由于斑馬魚的血細(xì)胞幾乎分布在身體的各個區(qū)域，因此需要對高明度紅色區(qū)域進(jìn)行開運(yùn)算，取其中面積最大區(qū)域作為心臟位置，并建立矩形心臟觀測區(qū)域(HR)作為下一步的心跳監(jiān)測區(qū)域，建立過程如圖6所示.

圖6 心臟區(qū)域的提取

由于心臟定位的算法根據(jù)心臟顏色特征進(jìn)行識別定位，因此該方法較容易受身體部位色素覆蓋了心臟的顏色特征的影響，使得所定位面積比心臟真實(shí)區(qū)域小.對此本文是根據(jù)所求得的心臟區(qū)域的重心作為一個矩形中心，在矩形中進(jìn)一步進(jìn)行心率識別.雖然該方法會引入部分噪聲，但對后續(xù)影響較小.

3.2 斑馬魚幼魚心率監(jiān)測

在定位到心臟區(qū)域后，通過如下的像素強(qiáng)度跟蹤算法來實(shí)現(xiàn)心率的檢測.其以圖像差分為基本方法.但是由于水流等因素的影響，幼魚整體可能存在緩慢的漂移，這會導(dǎo)致在差分圖像中始終存在噪聲，為接下來的心跳檢測帶來了不確定性.為了抑制噪聲，首先對原始圖像中的心臟區(qū)域進(jìn)行高斯濾波.但是常規(guī)的相鄰幀差分方法以及相對固定幀差分均無法較好地反映檢測心臟的運(yùn)動變化，因此本文將上一步中得到的HR區(qū)域灰度化并取每個像素在超過一個心跳周期的時間中取到的最大值，以此作為差分法的參考圖像.得到的心臟區(qū)域內(nèi)一個心跳周期內(nèi)的強(qiáng)度變化如圖7所示.

圖7 一個心跳周期內(nèi)心臟區(qū)域像素強(qiáng)度變化

Fig.7 Changes of pixel intensity of heart region in a heartbeat cycle

從圖7中可以觀察到，心臟區(qū)域內(nèi)強(qiáng)度變化的重心位置隨著血液在心室心房中的流動而變化，因此可通過跟蹤像素強(qiáng)度變化的重心位置實(shí)現(xiàn)對心跳的監(jiān)測，其計(jì)算方式如下：

圖8(a)為采用上述像素強(qiáng)度跟蹤方法對3條

圖8 不同幼魚在一段時間內(nèi)的心臟監(jiān)測

不同幼魚進(jìn)行的心跳監(jiān)測結(jié)果.圖中曲線由心臟的重心隨時間而發(fā)生的位移構(gòu)成.通過人工逐幀對幼魚心臟血液變化進(jìn)行判斷，并與算法結(jié)果進(jìn)行比較，兩者差距一般在20 μm內(nèi)，能夠反映心臟的跳動規(guī)律，其波動曲線能夠幫助對幼魚生理狀態(tài)進(jìn)行研究.圖中紅色星號為心率周期標(biāo)記，可以得到3條幼魚的心率曲線，如圖8(b)所示，可以看出每條幼魚自身的心率變化都圍繞著150次/min變化，與文獻(xiàn)[16]中的研究結(jié)果相吻合.

4 結(jié) 論

1)本文基于高斯混合模型確定多條斑馬魚幼魚的二維姿態(tài)和在視野中的位置，基于卷積神經(jīng)網(wǎng)絡(luò)確定幼魚翻滾角，以此實(shí)現(xiàn)了幼魚的位姿檢測和調(diào)整控制.

2)根據(jù)斑馬魚幼魚心臟的特點(diǎn)，提出了一種基于像素強(qiáng)度跟蹤的周期性運(yùn)動目標(biāo)識別方法，能夠定位心臟區(qū)域，并實(shí)現(xiàn)心跳曲線的高效監(jiān)測.

3)本文基于顯微視覺實(shí)現(xiàn)了高通量的斑馬魚幼魚心臟識別和監(jiān)測方法，該方法無需植入電極或注射熒光物質(zhì)，能夠保證幼魚在最小損傷及改造的條件下監(jiān)測幼魚狀態(tài).為有脊椎動物的遺傳、發(fā)育、組織重生的研究提供了一種新穎的高通量手段，同時也為提高心臟類藥物的研發(fā)和測試效率提供參考.