基于深度神經(jīng)網(wǎng)絡和局部描述符的大規(guī)模蛋白質(zhì)互作預測方法

桂元苗 王儒敬 王 雪,3 魏圓圓

1(中國科學院合肥物質(zhì)科學研究院智能機械研究所 安徽 合肥 230031) 2(中國科學技術大學信息技術學院 安徽 合肥 230026) 3(中國科學院合肥物質(zhì)科學研究院技術生物與農(nóng)業(yè)工程研究所 安徽 合肥 230031)

0 引 言

蛋白質(zhì)相互作用PPI是生物體中眾多生命活動過程的重要組成部分，在許多細胞生物學過程中起著重要的作用。新陳代謝、信號轉(zhuǎn)導、細胞周期調(diào)控、新陳代謝、細胞凋亡及免疫應答等一系列生命活動都是通過蛋白質(zhì)相互作用實現(xiàn)的。蛋白質(zhì)互作預測是研究蛋白質(zhì)互作的重要途徑。近幾年涌現(xiàn)了諸多預測蛋白質(zhì)相互作用的高通量實驗方法，例如：酵母雙雜交方法[1]、質(zhì)譜蛋白質(zhì)復合物鑒別[2]、質(zhì)譜分析[3]以及蛋白質(zhì)芯片方法[4]等。然而，這些使用化學實驗的方法，需要耗費大量的人力、財力和時間，難以應用于大規(guī)模的蛋白互作預測。機器學習的出現(xiàn)，使大規(guī)模的蛋白互作預測成為可能。到目前為止，已經(jīng)出現(xiàn)的大量機器學習模型，包括支持向量SVM[5]、神經(jīng)網(wǎng)絡NN(Neural Networks)[6]、樸素貝葉斯[7]、K-最近鄰[8]等已經(jīng)被用來預測PPI。 盡管上述PPI預測方法很流行，但仍然存在一定的局限性，一般的機器學習模型無法很好地處理蛋白序列噪聲輸入中的隱性關聯(lián)[9-11]。深度神經(jīng)網(wǎng)絡的出現(xiàn)，為這類問題提供了強有力的解決方案。

深度神經(jīng)網(wǎng)絡(DNN)是機器學習中最活躍的領域之一，可自動從數(shù)據(jù)中提取高層抽象信息，用于復雜預測任務，如語音和圖像識別[12]、自然語言理解[13]、決策制定[14]以及最近的計算生物學[15-17]。Leung等[16]利用深度神經(jīng)網(wǎng)絡和rna-seq數(shù)據(jù)，建立了一個預測個體組織和組織間剪接模式差異的模型；Zhou等[17]使用深度神經(jīng)網(wǎng)絡開發(fā)了深度學習框架(DeepSEA http://deepsea.princeton.edu/)。該框架可以從染色質(zhì)譜分析序列中學習調(diào)控序列代碼，并且可以改進功能變體的優(yōu)先級。與基于序列的其他機器學習方法相比，深度神經(jīng)網(wǎng)絡具有幾個優(yōu)點：(1) Bengio等[18]證明深度神經(jīng)網(wǎng)絡能夠減少噪聲對原始數(shù)據(jù)的影響，并學習真正隱藏的高層特征；(2) Alipanahi等[19]發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡可以使用各種實驗數(shù)據(jù)和評估指標自動學習蛋白質(zhì)的特定序列基序；(3) Krizhevsky等[20]人為地將噪聲引入基于深度神經(jīng)網(wǎng)絡的方法來減少過度擬合，并且揭示深度神經(jīng)網(wǎng)絡可以增強模型泛化。最近，深度神經(jīng)網(wǎng)絡用于蛋白網(wǎng)絡互作也取得了良好的結果[15,21]，Tian等[21]提出了一種稱為DL-CPI(復合蛋白質(zhì)相互作用預測的深度學習的縮寫)的方法。該方法使用深度神經(jīng)網(wǎng)絡通過分層提取來學習復合蛋白對的有用特征，從而在平衡數(shù)據(jù)集和不平衡數(shù)據(jù)集上取得了比現(xiàn)有方法更好的預測性能，有效地提高復合蛋白互作的預測性能。Du等[15]使用深度神經(jīng)網(wǎng)絡基于氨基酸序列來研究蛋白互作預測，并分別獲得了92.50%的準確率和90.50%的召回率。盡管深度神經(jīng)網(wǎng)絡算法在蛋白質(zhì)互作預測中取得了成功的結果，但基于深度神經(jīng)網(wǎng)絡和局部描述符的蛋白互作預測的研究很少見。

本文首先采用局部描述符將蛋白質(zhì)序列編碼成固定長度的向量，并隨機分成訓練集和測試集；然后將訓練集輸入深度神經(jīng)網(wǎng)絡，調(diào)整并優(yōu)化網(wǎng)絡結構和學習率、丟棄率等模型參數(shù)，訓練蛋白互作預測模型DPPI；最后DPPI模型經(jīng)過測試和驗證用于蛋白質(zhì)互作預測，并將預測的結果和前人的蛋白質(zhì)互作預測方法進行比較。

1 基礎方法

1.1 局部描述符

深度學習等機器學習方法的輸入均為某一維數(shù)空間中的向量。為使深度學習方法學習并預測蛋白互作關系成為可能，必然要求將長度不統(tǒng)一的蛋白序列編碼成某一維數(shù)空間中的向量。為了將蛋白質(zhì)序列編碼成維數(shù)相同的空間向量，Yang等[22]首次將局部描述符LD(Local Descriptor)應用于蛋白互作預測，在酒釀酵母數(shù)據(jù)集上達到86.15%的準確率。LD[23]是一種無需序列比對的方法，其效果在很大程度上取決于潛在的氨基酸分類。首先，依據(jù)氨基酸側(cè)鏈的偶極性和體積將20種氨基酸分成7組(見表1)，并將蛋白序列中的所有氨基酸替換成對應的分組編碼。例如，蛋白序列“MESSKKMDSPGALQTNP”轉(zhuǎn)換成“363355363211

24342”。

表1 基于側(cè)鏈的偶極子和體積的氨基酸分類

然后，依據(jù)氨基酸官能團在蛋白質(zhì)初級序列中發(fā)生的變化計算Composition(C)、Transition(T)和Distribution(D)。其中：Composition為各組氨基酸在整條蛋白序列中所占的比例；Transition指一組氨基酸中的氨基酸殘基和另外一組氨基酸中的氨基酸殘基相鄰的頻率；Distribution指在一條蛋白質(zhì)序列中每組氨基酸的氨基酸殘基數(shù)目的第一個、25%、50%、75%和100%在整個蛋白質(zhì)序列中所占位置的比例。所以一個氨基酸片段可以用63維的向量表示：7(計算C得到的)+21(計算T得到的(7×6)/2)+35(計算D得到的7×5)。

為了更好地從蛋白質(zhì)的氨基酸片段中捕捉蛋白質(zhì)相互作用信息，本實驗將每條蛋白質(zhì)序列劃分為10個局部區(qū)域(A-J)，見圖1。區(qū)域(A-D)是把一條蛋白質(zhì)序列分成四個相等的區(qū)域；區(qū)域(E-F)是把一條蛋白質(zhì)序列分成二個相等的區(qū)域；區(qū)域G表示位于蛋白質(zhì)序列中間的50%氨基酸片段；區(qū)域H表示整條蛋白質(zhì)序列的前75%的氨基酸片段；區(qū)域I表示整條蛋白質(zhì)序列的后75%的氨基酸片段；區(qū)域J表示整條蛋白質(zhì)序列的中間75%的氨基酸片段。一條蛋白質(zhì)序列的所有局部區(qū)域氨基酸片段的編碼，串聯(lián)在一起就形成了一條蛋白質(zhì)序列的編碼，得到630維向量。因此，本文構造了一個1 260維向量來表示每個蛋白質(zhì)對，并將其作為DPPI模型的輸入向量。

圖1 一條蛋白質(zhì)劃分為10個區(qū)域的劃分方法示意圖

1.2 深度神經(jīng)網(wǎng)絡

DNN是指一組模仿人類大腦設計的，旨在識別模式的算法。DNN由輸入層、一個或多個隱藏層以及輸出層三部分組成，如圖2所示。一般來說，第一層是輸入層，最后一層是輸出層，而中間的層都是隱藏層。相鄰層之間全連接，即第i層的任意一個神經(jīng)元與第i+1層的任意一個神經(jīng)元相連。DNN類似于一般的人工神經(jīng)網(wǎng)絡，然而，隱藏層的數(shù)量和訓練過程是不同的。Hinton等[24]利用預訓練方法緩解了局部最優(yōu)解問題，將隱含層推動到了7層后，DNN才有了真正意義上的“深度”。DNN在輸入層接收數(shù)據(jù)，在各個節(jié)點中將輸入數(shù)據(jù)與權重相結合以非線性方式轉(zhuǎn)換這些數(shù)據(jù)，通過計算平均梯度并相應地調(diào)整權重和激活函數(shù)，最后在輸出層計算最終輸出。

圖2 深度神經(jīng)網(wǎng)絡結構

雖然DNN很復雜，但是從局部模型來說，還是和感知機一樣，由一個線性關系加上一個非線性激活函數(shù)組成，用矩陣法表示，第l層的輸出為：

al=δ(Zi)=δ(wlal-1+bl)

(1)

式中：l=1,2,…,N；al-1是第l層的輸入數(shù)據(jù)；wl是第(l-1)層和第l層之間的連接權重矩陣；bl是第l層的偏置，δ表示第l層的激活函數(shù)。

目前，在DNN中，通常使用ReLU(Rectified linear unit)作為神經(jīng)元的激活函數(shù)。如式(2)所示，ReLU具有單側(cè)抑制特性，把所有的負值都變?yōu)?，而正值不變。這種單側(cè)抑制會使神經(jīng)網(wǎng)絡中的神經(jīng)元具有稀疏激活性，實現(xiàn)稀疏后的模型能夠更好地挖掘相關特征和擬合訓練數(shù)據(jù)。

δ(z)=max(0,z)

(2)

2 模型構建

2.1 數(shù)據(jù)集

本實驗采用由Pan等[30]發(fā)布于http://www.csbio.sjtu.edu.cn/bioinf/LR_PPI/Data.htm的人類蛋白序列對數(shù)據(jù)集。該數(shù)據(jù)集包含36 630條陽性樣本(有互作關系蛋白質(zhì)序列對)和36 480條陰性樣本(無互作關系蛋白質(zhì)序列對)。其中：陽性樣本取自人類蛋白質(zhì)參考數(shù)據(jù)庫(HPRD)2007版；陰性樣本取自瑞士Swiss-Prot數(shù)據(jù)庫57.3版。

實驗側(cè)重20種常見氨基酸組成的蛋白質(zhì)序列，并且蛋白質(zhì)序列編碼方法要求蛋白質(zhì)序列的長度不易太短。所以，實驗過程中除去蛋白質(zhì)序列長度少于50及含有B、J、O、U、X、Z的蛋白質(zhì)序列對，得到36 591對陽性樣本和36 324對陰性樣本，分別從陽性樣本和陰性樣本隨機選取30 000條蛋白質(zhì)序列對組成訓練集，剩下的12 915條蛋白質(zhì)序列對作為測試集。

2.2 性能評價指標

實驗采用準確率(Accuracy)、召回率(Recall)、損失率(Loss)和受試者工作特征曲線下面積AUC四個指標來評價模型性能。其中準確率和召回率計算公式如下：

(3)

(4)

式中：TP、TN、FP和FN分別代表真正、真負、假正和假負。AUC通過開源代碼計算[37]。損失率是用來衡量模型的實際輸出與期望輸出的距離，損失函數(shù)越小，表示兩個概率分布就越接近，模型的擬合性和魯棒性就越好。損失率通過交叉熵函數(shù)計算公式如下：

(5)

2.3 構建流程

DPPI模型是基于Tensorflow平臺在Python環(huán)境下構建的，其構建流程如圖3所示。主要包括以下幾步：首先，使用LD分別對有關序列對和無關序列對的氨基酸序列進行編碼，生成有關序列集和無關序列集；其次，使用隨機選擇的60 000條訓練集數(shù)據(jù)對模型進行訓練，生成DPPI模型；接著，使用剩下的12 915條測試集數(shù)據(jù)對DPPI模型進行測試；最后，對DPPI模型的預測性能進行評價，并根據(jù)評價結果調(diào)整參數(shù)，優(yōu)化DPPI模型。

圖3 DPPI模型構建流程圖

2.4 參數(shù)調(diào)整

參數(shù)調(diào)整是模型訓練過程中很重要的一步，是訓練出健壯模型的關鍵要素之一。實驗中，激活函數(shù)使用ReLU、優(yōu)化器選擇Adam、代價函數(shù)使用交叉熵。在優(yōu)化器方面，目前已經(jīng)開發(fā)了諸如RMSprop，Adagrad[27]和Adam[28]等優(yōu)化方法，其中，Adam集合了RMSprop和Adagrad兩個算法的優(yōu)點，能夠較好地處理噪聲樣本。交叉熵代價函數(shù)是用來衡量深度神經(jīng)網(wǎng)絡的預測值與實際值的一種方式，可以彌補sigmoid型函數(shù)的導數(shù)形式易發(fā)生飽和的缺陷，使訓練更快收斂。

學習率決定了權值更新的速度，設置得太大易越過最優(yōu)值，出現(xiàn)振蕩現(xiàn)象；太小會使下降速度過慢，長時間無法收斂。因此，學習率直接決定著算法的性能表現(xiàn)。Bengio[29]認為一般常用的學習率有0.000 01、0.000 1、0.001、0.01、0.1，推薦使用的是0.01，同時Bengio也指出，學習率的選擇要根據(jù)數(shù)據(jù)集的大小、特征提取方法等實際情況來確定。實驗中，設定隱含層節(jié)點數(shù)為64、激活函數(shù)為ReLU、優(yōu)化算法為Adam、批處理大小為128、迭代次數(shù)為300 000次，調(diào)整學習率的結果如表2所示。可以看出，學習率為0.001時的準確率最高、平均損失最小。

表2 DPPI模型學習率的調(diào)整

為了確定模型的寬度，設定激活函數(shù)為ReLU、優(yōu)化算法為Adam、學習率為0.001、批處理大小為128、迭代次數(shù)為300 000次，調(diào)整模型寬度的結果如表3所示。可以看出，寬度為512時，模型的準確率最高，同時訓練時間比寬度為256時增加了近一倍，而準確率、平均損失分別比寬度為256時僅僅提高了0.003 1、0.001 3，考慮到時間復雜度，本模型寬度選擇256。

表3 DPPI模型寬度的調(diào)整

模型的寬度、激活函數(shù)、優(yōu)化算法、學習率等確定之后，本文通過調(diào)整隱含層層數(shù)來確定模型的深度，調(diào)整深度的結果如表4所示。根據(jù)表4，可知網(wǎng)絡深度為[256-128-64-32]時的準確率較高、平均損失較低，訓練時間較短。

表4 DPPI模型深度的調(diào)整

丟棄率是DNN中防止過擬合、提高性能的一個很重要的參數(shù)。為了優(yōu)化DPPI模型，本文通過調(diào)整丟棄率得到7個預測模型，各預測模型的最優(yōu)結果如表5所示。從表5可知，丟棄率為0.025時準確率最高，達到96.81%，平均損失為15.72%；丟棄率為0.05時，準確率比丟棄率為0.025時的準確率降低了0.08%，同時平均損失降低了2.52%；不使用丟棄率時，準確率、AUC、Recall、平均損失分別為95.84%、97.44%、98.25%、45.38%。雖然不使用丟棄率時準確率和使用丟棄率時準確率差別不大，但不使用丟棄率的平均損失較高，所以不推薦使用。由此，DPPI-2和DPPI-3的性能較好，可以作為DPPI的最終預測模型。

表5 DPPI模型的最優(yōu)預測性能

經(jīng)過超參數(shù)調(diào)整后，本文構建了一個包含4個隱藏層，各隱藏層節(jié)點數(shù)分別為256、128、64、32的DPPI模型。經(jīng)過大量實驗和調(diào)試，總結了本實驗采用的參數(shù)，如表6所示。

表6 DPPI模型參數(shù)表

3 實 驗

3.1 DPPI模型實驗

參照表6的DPPI模型參數(shù)，根據(jù)使用和不使用丟棄率以及不同的丟棄率值，使用7個不同的DPPI模型進行計算。每個模型各迭代60萬次，每1萬次輸出一個測試結果，各輸出60個實驗結果。所有實驗結果的統(tǒng)計值見表7?？梢钥吹剑珼PPI-2的準確率最高，DPPI-1和DPPI-3稍微次之。DPPI-3的AUC、召回率和平均損失這三個指標比其他6組表現(xiàn)更優(yōu)異。特別地，DPPI-3的平均損失(15.34%)比DPPI-2的平均損失(16.99%)降低了1.65%。

表7 DPPI模型預測性能平均值

圖4為7個DPPI預測模型不同評價指標的趨勢圖。其中：1代表DPPI-1預測指標趨勢圖；2代表DPPI-2預測指標趨勢圖；3代表DPPI-3預測指標趨勢圖；4代表DPPI-4預測指標趨勢圖；5代表DPPI-5預測指標趨勢圖；6代表DPPI-6預測指標趨勢圖；7代表DPPI-7預測指標趨勢圖。從圖4(a)中可以看出，模型DPPI-6和DPPI-7隨著迭代次數(shù)的增加，準確率呈下降趨勢。DPPI-5的準確率雖然比DPPI-6和DPPI-3好，但DPPI-5準確率不穩(wěn)定，振蕩幅度稍大。從準確率來看，模型DPPI-1、DPPI-2、DPPI-3和DPPI-4準確率后期都比較穩(wěn)定，DPPI-2的準確率最好。(b)是7個DPPI模型AUC趨勢圖，可以看出，模型DPPI-2、DPPI-3和DPPI-4后期結果比較平穩(wěn)，雖然DPPI-1的結果開始較好，但后期較差。(c)是7個模型的召回率趨勢圖，DPPI-3的召回率性能較好，DPPI-5、DPPI-6和DPPI-7召回率較低，不平穩(wěn)且振蕩幅度較大。(d)是7個模型平均損失的趨勢圖，趨勢圖顯示模型DPPI-2、DPPI-3和DPPI-4結果較好，但DPPI-2振蕩幅度比DPPI-3稍大。

(a)

(b)

(c)

(d)圖4 DPPI模型各個指標預測趨勢圖

綜合表7和圖4得到最終的預測模型DPPI-3，其準確率為95.6%，平均損失為15.34%。

3.2 方法比較

近幾年，已經(jīng)有許多研究者對人蛋白互作預測提出了不同的計算方法。這些人蛋白互作預測方法以及DPPI的性能比較結果見表8?？梢钥闯?，所列方法獲得的精度均在83.90%和97.19%之間，同時，除了Sun[34]使用SAE+AC方法獲得97.19%的準確率以外，DPPI模型獲得了最好的準確率。和Sun的結果相比，雖然DPPI的準確率不算突出，但是Sun使用SAE+CT的準確率沒有DPPI模型的準確率高。從表9可見，在酒釀酵母數(shù)據(jù)集上，DPPI模型和其他采用LD編碼的方法比較，也取得最高準確率。

表8 不同方法的預測性能的比較

表9 不同算法采用LD編碼方式結果比較

SAE+AC結果優(yōu)于DPPI的原因可能在于特征提取方法的不同。AC編碼是通過選擇物理化學性質(zhì)，解釋了氨基酸與序列中相隔一定數(shù)量的氨基酸之間的相互作用，該方法考慮了最長序列30 bp的鄰近效應[32]。LD為了更好地從蛋白質(zhì)的氨基酸片段中捕捉蛋白質(zhì)相互作用信息，將一條蛋白質(zhì)序列劃分為10個局部區(qū)域，這樣分組，局部信息突出不明顯，致使丟失某些關鍵信息[37]。LD的這種缺陷在以后的研究中，可以通過增加局部區(qū)域的劃分等方法來減少特征信息的丟失。

雖然DPPI模型準確率和SAE+AC方法相比不算突出，但在蛋白互作預測方面也取得了良好的結果，且DNN去噪能力優(yōu)于SAE，代碼也比SAE簡潔，LD編碼簡單、速度快。特別地，由表10可知，LD和AC編碼72 915對人蛋白質(zhì)的時間可見在相同軟硬件計算環(huán)境下LD編碼速度比AC編碼速度快3.5倍以上。通過上面的比較可知，本文的DPPI模型與其他方法相比可以顯著提高大規(guī)模蛋白互作預測性能。

表10 AC和LD編碼時間的比較

4 結 語

深度學習算法已經(jīng)涉足許多領域，但是在蛋白互作的研究中還沒有被廣泛的應用。因此，本文采用深度神經(jīng)網(wǎng)絡DNN和LD蛋白質(zhì)序列編碼方法相結合的方法構建了蛋白互作預測模型DPPI。DPPI模型獲得準確率96.73%、AUC 99.00%、召回率99.21%和平均損失13.2%的最優(yōu)性能，以及95.60%準確率、98.65%AUC、98.89%召回率和15.34%平均損失的平均性能。和其他研究者提出的人蛋白互作預測方法比較，DPPI模型的準確率優(yōu)于Shen、You、Guo、Du、Pan等結果，但DPPI的結果沒有Sun采用的SAE+AC方法預測結果性能好。LD的這種缺陷在以后的研究中，可以通過增加局部區(qū)域等方法來減少特征信息的丟失。

本文首次采用DNN結合LD對人蛋白互作數(shù)據(jù)集構建的，用于蛋白互作預測的模型DPPI。該模型具有較強的去噪能力、編碼簡單、代碼簡潔、計算速度快、運行時間段等優(yōu)點，可以通過分層抽象學習蛋白質(zhì)對的有用特征，從數(shù)據(jù)中自動學習內(nèi)部分布式特征表示。鑒于以上優(yōu)點，DPPI模型可以作為蛋白互作預測的有益補充。