多靶點全景數(shù)字病理：從原理到應用

張新華，李才偉，張 瑜，黃勝男，石 晗，吳俊楠，任仕杰，劉珂含，高彤璐，史 冰

（1. 海南省生物醫(yī)學工程重點實驗室, 海南大學 生物醫(yī)學工程學院, 海南 ?？?570100；2. 海南大學 計算機科學與技術(shù)學院, 海南 ?？?570100）

1 引 言

腫瘤是危害人類生命健康的重大疾病，在世界各國均備受關(guān)注。根據(jù)腫瘤細胞的不同分子表達以及細胞形態(tài)，腫瘤又分為良性與惡性，其中，良性腫瘤并不致病，惡性腫瘤常被稱為癌癥。惡性腫瘤診斷的金標準即為病理診斷，其為重大疾病的診斷、預后和療效評估提供客觀依據(jù)。傳統(tǒng)的病理診斷依賴病理醫(yī)生對病理切片上的細胞和組織學病變進行閱讀和分析，從而確定腫瘤類型[1]。然而，目前病理診斷行業(yè)面臨著病理醫(yī)生數(shù)量少且分布不均、閱片效率低、病理診斷時間長、信息傳遞困難等問題[2]。

數(shù)字病理（Digital Pathology）將計算機、網(wǎng)絡會診和病理診斷相結(jié)合，采用技術(shù)手段來加快和優(yōu)化病理實驗室的工作流程[3]。1980年，數(shù)字病理第一次被應用到臨床實踐中，但是早期數(shù)字病理技術(shù)分辨率低，無法準確觀察細胞及特征[4]。1997年，F(xiàn)urness[5]等人將萬維網(wǎng)（World Wide Web,WWW）和數(shù)字病理相結(jié)合，實現(xiàn)了病理數(shù)據(jù)之間的快速傳輸。2010年，Krupinski[6]等人利用數(shù)字面板（Digital Dashboard）技術(shù)控制病理檢測系統(tǒng)，改善了檢測流程，提高了病理診斷效率[7]。近十年，隨著人工智能（Artificial Intelligence, AI）技術(shù)的復興，基于AI技術(shù)的數(shù)字病理逐步實現(xiàn)了腫瘤圖像的分割、識別等。2018年，Niazi[8]等人基于遷移學習的Inception v3算法實現(xiàn)了對乳腺癌組織中腫瘤細胞陰性與陽性的自動識別。該方法具有很高的靈敏度與特異性。數(shù)字病理從人工閱片轉(zhuǎn)化為計算機閱片[9]，該突破有助于計算機輔助診斷（Computer Aided Diagnostic, CAD）和遠程會診的開展，不僅節(jié)省了病理學家人工診斷的時間，且避免了主觀誤診、漏診的發(fā)生[10]。同時，數(shù)字病理解決了時間和地域原因產(chǎn)生的會診困難問題，提高了病理診斷的準確性和高效性，有助于醫(yī)療資源更好地合理化分配[11]。

然而，局部病理圖像無法展示病理組織的全貌。全景數(shù)字病理（Panorama Digital Pathology）技術(shù)通過對整張病理切片進行邊界重疊的多次掃描采集，并利用快速精準的圖像拼接技術(shù)實現(xiàn)了數(shù)字病理的全景成像，即全切片圖像（Whole Slide Imaging, WSI）技術(shù)[12]。早期的WSI技術(shù)可以在相對較短的時間內(nèi)產(chǎn)生較高分辨率的數(shù)字圖像，同時在多倍率及多焦面上進行全玻片掃描。但由于成像及圖像處理技術(shù)存在限制，導致全景數(shù)字病理圖像質(zhì)量較差[12-13]。因此，許多研究人員一直致力于全景成像的圖像處理工作。例如，2007年，Ma[14]等人利用Autostitch軟件實現(xiàn)了小鼠淋巴結(jié)組織的全景成像；2015年，Legesse[15]等人提出基于乘法校正算法，有效解決了全景成像過程中亮度不均勻問題，實現(xiàn)了頭頸部鱗狀細胞癌組織的全成像；2022年，Deshpande[16]等人利用SAFRON網(wǎng)絡模型有效解決了全景圖像處理過程出現(xiàn)的拼縫和偽影問題，實現(xiàn)了結(jié)直腸癌組織的全景成像。全景數(shù)字病理雖然實現(xiàn)了全玻片上的整張組織切片（單靶點）成像，但是組織病理的形態(tài)特征和結(jié)構(gòu)分布復雜，疾病的診斷需要同時分析多個靶點[17-18]。

多靶點全景數(shù)字病理技術(shù)（Multi-Target Panorama Digital Pathology）可以在單張組織切片上原位檢測出多種生物標記物的表達水平，借以識別組織的細胞表型、功能狀態(tài)及其相互關(guān)系，并給出具有統(tǒng)計學意義的細胞組學數(shù)據(jù)[19]。目前，在多靶點全景數(shù)字病理系統(tǒng)開發(fā)方面，公司的研發(fā)進度展現(xiàn)了一定的優(yōu)勢。Akoya Biosciences、Olympus、Hamamatsu等公司的儀器已經(jīng)投入到基礎(chǔ)、醫(yī)學研究中。2021年，約翰霍普金斯大學Janis M. Taube團 隊 利 用Akoya Bioscience公 司的Vectra 3成像系統(tǒng)構(gòu)建多光譜圖像分析平臺Astro Path，對接受PD-1抑制劑的黑色素瘤病人進行了全景多色數(shù)字病理分析，實現(xiàn)了黑色素瘤的免疫檢查點抑制劑7種標志物的發(fā)現(xiàn)和患者生存預測[20]。

多靶點全景病理圖像中包含細胞群體間的“空間信息”，分析這些“空間信息”對于理解疾病的病理、發(fā)展和預后至關(guān)重要。本文主要介紹多靶點全景數(shù)字病理的技術(shù)原理、技術(shù)特點及其在生物醫(yī)學方面的應用。首先介紹了傳統(tǒng)病理到多靶點全景數(shù)字病理的發(fā)展過程。接下來重點介紹了多靶點全景數(shù)字病理圖像相關(guān)技術(shù)，涉及組織樣本的準備、光學成像以及圖像處理3個方面的相關(guān)技術(shù)。簡單介紹了多靶點全景數(shù)字病理在腫瘤微環(huán)境以及腫瘤分子分型中的相關(guān)應用案例。最后，對多靶點全景數(shù)字病理的發(fā)展進行了總結(jié)與展望。

2 多靶點全景數(shù)字病理相關(guān)技術(shù)

2.1 樣本準備

2.1.1 靶點篩選

靶點[21]（生物標志物），即在血液、其他體液或組織中發(fā)現(xiàn)的生物分子，可以作為正常（或異常）過程（或狀況）、疾病的標志（如癌癥）。生物標記物可以用來區(qū)分腫瘤的性質(zhì)、確定已診斷癌癥患者的預后，預測疾病發(fā)展等，且已經(jīng)在臨床上廣泛使用。然而，不同疾病或同一疾病不同階段的靶點也不相同（表1）。合適的靶點對樣本標記、定量分析至關(guān)重要，在選擇時要考慮靶點的功能和表達部位等。

表1 靶點選擇原則Tab. 1 Target selection principles

2.1.2 組織處理

病理組織切片是組織學、發(fā)育學和病理研究的主要實驗方法和重要手段，在科研和臨床診斷實踐中發(fā)揮著重要作用。組織切片機的發(fā)明和應用允許精確切割具有一致厚度的切片且引起的損傷最小，生產(chǎn)的組織切片可用于多種分析[43]。首先，經(jīng)驗豐富的技術(shù)人員在手術(shù)病理檢查過程中進行仔細檢查，選取病變組織進行切除。切除下病變組織后立刻送到冰凍切片機中，加入包埋劑后冰凍，制成冰凍切片進行觀察保存。檢查后剩余的冰凍病理組織也可再制成石蠟切片，經(jīng)固定等步驟后觀察保存[44]。

病理組織切片主要包括兩種，石蠟切片和冰凍切片。石蠟切片[45]需將提前確定好的新鮮組織用固定液處理，使組織塊硬化并維持細胞形態(tài)。接著用乙醇或丙酮等脫水劑去除組織內(nèi)的水分，進行浸蠟和包埋，使組織變硬便于切成薄片，最后用石蠟切片機處理，并置于載玻片中烘干保存[46]。冰凍切片則無需固定材料，直接取材速凍并加包埋劑，觀察到組織出現(xiàn)白色冰體后使用冰凍切片機切割即可。制片觀察后需保存于-80 °C冰箱內(nèi)[47]。

2.1.3 組織標記

（1）免疫組織化學/免疫熒光

實驗研究中，為了能夠清楚地觀察到組織或細胞樣本中的結(jié)構(gòu)特征和成分分布，需要借用熒光基團或呈色反應定位的染色方式，使目標區(qū)域直觀呈現(xiàn)可視化效果。病理診斷研究中使用最廣泛的方法是免疫組織化學（Immunohistochemistry,IHC）[48]。該方法將酶或熒光基團與抗體偶聯(lián)作為標記物，能夠在單張病理切片中進行某一種蛋白質(zhì)的原位識別，并定位其分布情況。其中使用的熒光基團與抗體偶聯(lián)方法又稱為免疫熒光（Immunofluorescence, IF）[49]。IHC/IF可以表征腫瘤免疫微環(huán)境內(nèi)特定的細胞種類、密度和空間分布特征，實現(xiàn)半定量分析。當需要檢測多種蛋白質(zhì)時，通常使用多張組織切片，對每張切片中的每種蛋白質(zhì)單一標記，較為依賴病理學家的主觀判斷[50]。

常規(guī)的IHC/IF普遍采用間接標記方法，其流程如圖1所示。首先，對樣本上的抗原進行預處理并充分暴露后，選用封閉液將非特異性結(jié)合位點封閉。在基于辣根過氧化物酶的檢測系統(tǒng)中，還應對內(nèi)源性過氧化物酶進行阻斷，降低非特異性反應可能。其次，加入特異性識別抗原表位的鼠源或兔源的單克隆一抗試劑進行孵育。最后，使用抗對應一抗物種來源的多克隆二抗試劑進行孵育，使二抗與一抗結(jié)合[51]。該方法能夠有效放大反應信號，并且基于二抗制備的易得性和通用性可大大降低實驗成本。標記完成后，要進行復染和封片操作用于成像觀察和樣本保存。

圖1 常規(guī)免疫組織化學實驗流程Fig. 1 Conventional immunohistochemistry staining procedures

（2）多重免疫組織化學/免疫熒光

多重免疫組織化學/免疫熒光（multiplex Immunohistochemistry/Immunofluorescence, mIHC/IF）[52]

技術(shù)的出現(xiàn)使得免疫細胞的亞群、豐度、功能狀態(tài)以及它們在腫瘤微環(huán)境中的空間分布特征等信息更易被量化。該技術(shù)主要是對一張病理切片上的多種抗原靶點進行不同的抗體標記。除了酶和熒光基團，抗體還能與量子點[53]、DNA條形碼[54]等物質(zhì)進行偶聯(lián)。

在mIHC/IF中，單片多重免疫組化連續(xù)染色（Multiplexed Immunohistochemical Consecutive Staining on Single Slide, MICSSS）[55]方法最早被用于組織的多重染色。其單一抗原染色原理和普通IHC一致，區(qū)別在于每次染色后均需要對組織進行化學洗脫，需要進行幾種抗原的標記。該方法的問題在于,在逐輪的化學洗脫過程中，不同抗原信號可能在洗脫后減弱或者去除，因此還需要對標記流程進行優(yōu)化。為了避免信號的大量損失，以及對低豐度靶標的檢測過程進行研究，研究人員提出了基于酪胺信號放大（Tyramide Signal Amplification, TSA）[56]的間接標記法。該方法基于與二抗偶聯(lián)的辣根過氧化物酶檢測系統(tǒng)，在酶催化H2O2過程中，大量酪胺被激活形成共價結(jié)合位點，酪胺上連接著熒光基團、顯色染料、生物素等標記物，然后與抗原周圍的氨基酸殘基形成牢固的共價鍵，實現(xiàn)檢測信號數(shù)倍甚至幾何級倍數(shù)的放大。加熱可以除去抗體并保留共價結(jié)合的酪胺沉積。其流程如圖2所示。重復染色操作可以得到多標記的病理切片，實現(xiàn)同時多色成像。TSA還可以與MCISSS相結(jié)合實現(xiàn)倍增的多靶點標記[57]。

圖2 基于TSA的多重熒光免疫組化流程Fig. 2 Multiplex fluorescent immunohistochemistry based on TSA

（3）染料選擇

根據(jù)實驗需求，選擇染料時應考慮理化性質(zhì)、細胞毒性、色原或熒光強度、穩(wěn)定性等因素。常用的染料有兩種：一種是針對細胞器和細胞區(qū)室的特異性染料，如與DNA強力結(jié)合的熒光染料DAPI[58]；另一種是基于抗原-抗體特異性反應的免疫染色法所需染料，將能夠在成像系統(tǒng)中顯色的物質(zhì)與抗體偶聯(lián)，并通過間接標記的手段來放大信號[59]。

明場成像和熒光成像時的染料選擇方法也各有側(cè)重。選擇明場下可見的染料時，不需要特定可視化工具和軟件便可評估，但是進行同時多色成像時，需要考慮肉眼是否能夠準確區(qū)分這些顏色。選擇熒光染料時，應考慮以下因素：（i）每種熒光染料具有不同的激發(fā)和發(fā)射光譜，需要根據(jù)實驗室擁有的激光器進行選擇，并考慮組織自發(fā)熒光帶來的影響；（ii）同時多色成像時，盡量避免所選染料發(fā)射光譜重疊，防止出現(xiàn)光譜串擾；（iii）盡量避免選擇易光漂白的熒光基團或采用抗淬滅劑，光穩(wěn)定性較好的染料包括Alexa Fluor系列[60]、DyLight系列[61]、ATTO系列[62]等。此外，偶聯(lián)抗體的染料在多靶點成像時需要考慮抗體之間的交叉反應。多次復染時的循環(huán)洗脫步驟中，需要考慮不同抗原的敏感性和損失程度，從而制定合適的實驗方案。

2.2 光學成像技術(shù)與設備

在顯微成像技術(shù)基礎(chǔ)上發(fā)展的多靶點全景成像技術(shù)，主要包括基于分時或分光形式的多色成像技術(shù)、基于快速掃描的全景成像技術(shù)以及高通量成像技術(shù)幾類。目前，國內(nèi)外發(fā)展了許多成熟且適合用于多靶點全景成像的光學成像設備。下文將主要介紹用于多靶點全景成像技術(shù)的光學成像技術(shù)與設備。

2.2.1 關(guān)鍵技術(shù)

（1）多色成像技術(shù)

多色成像主要是利用探針信號的發(fā)射熒光波長差異，來實現(xiàn)對不同探針的熒光信號進行目標區(qū)分。目前常用的多色成像技術(shù)主要有分時多色、分光多色以及光譜成像幾類。

分時多色成像技術(shù)[63]是通過依次采集發(fā)射波長不同的熒光探針信號，以獲取時間序列相關(guān)的原始圖像幀。該方法原理簡單，但由于不同顏色通道圖像的采集時間存在間隔，難以避免樣品漂移，這需要后期圖像處理的配準。相比較而言，分光多色成像技術(shù)[64]是采用濾色片組將被同時激發(fā)的不同探針熒光信號反射或透射到不同探測器或同一探測器的不同區(qū)域以實現(xiàn)多色成像。該方法雖然解決了分時成像技術(shù)中的樣本漂移問題，但由于信號發(fā)射光譜分布可能存在頻域上的重疊，使得熒光分子在密度較高、強度差異較大的時候存在嚴重的信號串擾問題。為了避免熒光信號串擾問題，這兩種多色成像方法通常需要選擇發(fā)射光譜中心間隔遠的探針進行成像，因此，往往只能區(qū)分2 ～ 4種顏色[65]。

然而，數(shù)字病理需要觀察多種細胞的形態(tài)、功能狀態(tài)并研究他們之間的相互關(guān)系，這需要對組織進行多靶標觀察，而2 ～ 4種顏色的多色成像技術(shù)很難滿足數(shù)字病理的多色成像需求。為此，研究人員常采用光譜成像方法來實現(xiàn)對多靶標的成像。就圖像獲取方式而言，常用的光譜成像方法有掃描式和非掃描式兩類；就圖像光譜獲取方式而言，光譜成像又可以分為濾光片光譜解析、干涉儀光譜解析以及棱鏡等色散元件的光譜解析方法[66-68]。例如，Hess研究組[69]利用光學棱鏡進行光譜解析，如圖3所示。在該成像系統(tǒng)中，通過分光鏡將熒光分為兩路，其中一路圖像記錄熒光分子的位置信息，另一路熒光信號被棱鏡或光譜相機進行光譜拆分以獲取對應信號的全光譜信息，最終實現(xiàn)熒光分子的位置信息和光譜信息的同時檢測，并利用光譜信息實現(xiàn)探針熒光信號的多重成像[70]。該方法能夠識別熒光光譜重疊較嚴重的熒光團，能夠?qū)崿F(xiàn)對組織樣本上多靶標信號的探測，很好地解決了傳統(tǒng)分時和分光多色成像方法中顏色識別能力不足的問題。近年來，隨著半導體技術(shù)的不斷發(fā)展，各類新型快速可調(diào)濾光片器件相繼問世，如液晶可調(diào)濾光片（Liquid Crystal Tunable Filter, LCTF）[71]、聲光可調(diào)濾光片（Acousto-Optic Tunable Filter, AOTF）[72]。這些新型濾光片器件正推動著光譜成像技術(shù)向圖像獲取速度更快、光譜解析更精細的方向發(fā)展。另外，隨著光電探測器制造相關(guān)技術(shù)的發(fā)展，探測器量子效率不斷被提高，像素陣列不斷擴大，這也讓光譜成像技術(shù)的空間分辨率以及成像速度得到極大提升[73]。

圖3 光譜成像示意圖[68]（F：濾光片；BS：分光鏡；M1/M2/M3：反射鏡；P：色散棱鏡）Fig. 3 Schematic diagram of spectral imaging[68] (F: filter;BS: beam splitter; M1/M2/M3: mirror; P: dispersive prism)

利用光譜成像技術(shù)，Alex等人完成了對6種不同膜結(jié)合細胞器的相互作用研究[74]；Janis M.Taube團隊實現(xiàn)了腫瘤免疫療法中6個標記物的多靶標全景成像[20]。

（2）全景成像技術(shù)

受限于成像設備的視場大小，一張全景病理圖像的獲取，需要對切片上眾多單視場區(qū)域進行掃描成像，再根據(jù)各個視場之間的重疊部分進行多視場圖像的融合[75]。其中，全景數(shù)字病理成像技術(shù)中的掃描方式主要有3種（圖4）[76]。

圖4 面掃描和線掃描[77]Fig. 4 Area scanning and line scan[77]

一是基于走停模式的面陣掃描：在成像過程中，載物臺帶著切片進行走停等待的移動操作，移動操作中相機采集每個區(qū)域的熒光圖像。采用該方法成像時，每切換一個成像視場都需要重新對焦。但是，該方案中每次對焦都需要花費數(shù)秒時間，而一張大小為15 mm×15 mm的切片一般需要掃描上千個視場，因此，若采用基于走停模式的面陣掃描至少需要數(shù)十分鐘才能完成一張切片的掃描成像[78]。為解決對焦時間長的問題，研究人員提出了許多改進方案[79]，如焦面建模方案。該方案中，研究人員會預先選取切片上的部分區(qū)域進行焦面探測并建立模型，在成像時根據(jù)建模結(jié)果直接對焦。此方法只需花費約150秒就可以實現(xiàn)一張15 mm×15 mm切片掃描成像[77]。

二是基于線陣掃描的成像方法：將切片劃分成若干相同大小、具有部分重疊的條帶區(qū)域，成像系統(tǒng)根據(jù)焦面建模方案進行對焦；成像過程中，做勻速運動的載物臺帶動病理切片在線照明條件下與線陣傳感器同步曝光，以實現(xiàn)對條帶區(qū)域掃描成像；掃描完當前條帶區(qū)域后移動至下一個條帶，直至全切片掃描完成。在線掃描成像過程中不需要每個視場切換的走停等待，且圖像拼接過程所需的計算量隨著拼接視場區(qū)域減少而降低，因此成像速度較快[77]。例如濱松公司的Nano Zoomer采用的時間延遲積分線陣傳感器能夠增強圖像信號，使得等效的曝光時間更短，同步掃描速度也更快，在40倍放大倍率下對15 mm×15 mm的病理切片進行成像只需45秒[80]。

三是基于線掃描成像的面陣掃描成像：該方法結(jié)合了以上兩種方法的優(yōu)點，將切片劃分為若干區(qū)域，在每個區(qū)域分別采用線掃描進行圖像采集。該方法能夠在每個子區(qū)域進行更精確的對焦操作，同時解決了走停模式間歇時間長的問題，加快了掃描速度。目前，采用此設計的掃描成像儀主要有3D histech公司的Pannoramic 250 Flash III系統(tǒng)，該系統(tǒng)在40×放大倍率下對15 mm×15 mm的切片進行成像的耗時少于60秒[81]。

實現(xiàn)多靶點全景成像的必要前提是將上述多色成像技術(shù)和全景成像技術(shù)相結(jié)合。在上述3種多色成像技術(shù)中，分時多色方式目前在多色數(shù)字病理檢查設備中使用較少。利用濾光片組進行分光全景多靶點成像技術(shù)不僅需要考慮設備與染料的組合，通過降低不同熒光波段的串擾，以獲得高質(zhì)量圖像；而且需要通過優(yōu)化濾光片組濾除無用熒光和不匹配的信號干擾，降低顏色串擾?；诠庾V成像的全景多靶點成像技術(shù)有多種方法可以實現(xiàn)分光。例如，基于分段式元件或可調(diào)諧濾光片器件的方法，每次成像只能檢測單個波段的信息，采集時間會隨著檢測波段的增加而相應增加。目前常用方法是濾光片陣列，即將多波段濾光片組集成到探測器的傳感單元上，同時探測多個波段信息，但由于濾光片尺寸限制，目前最多只能檢測4個成像波段。以上方法都需要考慮以下問題：（i）將多色技術(shù)和全景技術(shù)結(jié)合時，要考慮復雜光學系統(tǒng)的搭建；（ii）在成像過程中需要高精度高速率的控制系統(tǒng)。由于近年來光學元器件和現(xiàn)代控制技術(shù)的進步，全景多靶點成像技術(shù)通過對組織樣品的快速成像，獲得了組織樣本病理信息特征。

（3）高通量成像技術(shù)

實現(xiàn)病理切片的高通量成像能力，提升病理設備的應用能力，是數(shù)字病理技術(shù)應用推廣的關(guān)鍵[77]。為此，許多研究人員針對提升成像通量的方法進行了深入的研究與探索。得益于虛擬顯微鏡技術(shù)[82]和高速自動化系統(tǒng)的發(fā)展，研究人員目前已經(jīng)開發(fā)出了一系列高通量全景數(shù)字病理成像掃描儀，在實現(xiàn)高通量成像方面取得了長足的進步[12]。數(shù)字病理切片掃描儀是一種集合光學、計算機科學、控制學、機械等諸多學科知識技術(shù)的產(chǎn)品，主要包含虛擬顯微鏡軟件系統(tǒng)、光學成像系統(tǒng)、自動化玻片載物臺系統(tǒng)、圖像探測系統(tǒng)、光源照明系統(tǒng)等組件[77]。其中自動化玻片載物臺是高速自動化成像系統(tǒng)的重要組成部分，高精度載物臺對保證成像質(zhì)量與提高掃描成像速度至關(guān)重要[83]。

總體而言，提高成像通量的關(guān)鍵是提高成像系統(tǒng)的掃描速度。在這方面，利用高精度位移臺進行線掃描或連續(xù)面掃描成像的方式能夠極大地提高成像速度。若配合快速對焦方法，系統(tǒng)能在數(shù)十秒的時間內(nèi)實現(xiàn)對整個切片的全景成像。其次，病理切片成像結(jié)束后減少新切片的裝載時間也是提高組織全景成像通量的重要環(huán)節(jié)?，F(xiàn)今的數(shù)字病理掃描儀可自動快速重新裝載切片樣本，有效地避免了人工操作引入的失誤并減少了人工操作時間。還有部分設備可進行多批次處理，能夠?qū)崿F(xiàn)單次裝載就可實現(xiàn)數(shù)十至數(shù)百張切片的自動掃描成像[75]，極大地提高了病理切片的掃描成像通量。例如，Olympus公司開發(fā)的研究級全玻片掃描系統(tǒng)VS 200（圖5）采用多托盤加載器方案，能夠?qū)崿F(xiàn)單次裝載210片，在明場20倍放大倍率下單張切片成像所需時間約為80秒[84]。

圖5 Olympus VS200 研究級全玻片掃描系統(tǒng)[84]Fig. 5 Olympus VS200 research-grade slide scanner[84]

2.2.2 全景病理商品化設備

全景病理成像技術(shù)目前已經(jīng)較為成熟，許多廠商生產(chǎn)的全景數(shù)字病理成像設備已經(jīng)被廣泛用于生物學、病理學、組織形態(tài)學等相關(guān)的科學研究及醫(yī)療診斷過程中。這里，將介紹幾種商品化的全景病理成像設備，并對其性能參數(shù)進行對比，見表2。

表2中列出了目前科學研究和臨床醫(yī)療中使用的大部分全景數(shù)字病理掃描成像設備。Zeiss公司的Axio Scan.Z1全自動數(shù)字玻片掃描系統(tǒng)可實現(xiàn)樣本的明場及熒光成像。明場模式下，利用20倍放大倍率成像單張切片（15 mm×15 mm）所需時間為240秒。該系統(tǒng)的熒光成像模式最高可實現(xiàn)9色成像，且一次最高可裝載100張玻片，采用濾光片式的分光多色方法的數(shù)字病理設備有Olympus、Zeiss等品牌。Zeiss公司的Axio Scan.Z1全自動數(shù)字玻片掃描系統(tǒng)擁有明場、熒光以及偏振光3種成像方式。該系統(tǒng)的熒光成像模式采用高靈敏sCOMS探測器，配合多個濾光輪可高速切換通道，最高可實現(xiàn)9色成像，且一次最高可裝載100張玻片，能夠快速獲取高通量數(shù)據(jù)[85]。Olympus公司推出的全玻片掃描系統(tǒng)VS200[84]的成像模式多達5種，并可進行不同成像模式的組合觀察。該系統(tǒng)使用電動濾光片轉(zhuǎn)輪配合不同染色方案實現(xiàn)多靶點全景成像，并能夠支持不同規(guī)格的載玻片。不同成像模式的組合能夠更好地滿足研究人員不同成像需要。采用光譜成像方式的光譜型成像設備有Akoya公司的Vectra系列和Polaris系列等。Akoya Biosciences公司的Vectra3自動定量病理成像系統(tǒng)采用多光譜成像方式，多路復用能力最多可分離7種顏色，結(jié)合inFORM?軟件分析系統(tǒng)，能夠檢測腫瘤微環(huán)境中多個弱表達的生物標志物[20]。

表2 全景數(shù)字病理設備產(chǎn)品主要參數(shù)Tab. 2 The main parameters of panoramic digital pathology equipments

2.3 圖像處理技術(shù)

基于多靶點全景高通量成像系統(tǒng)，可以獲得多幅局部多色病理圖像。在同一幅多色病理圖像中包含多個靶點的病理信息，因此，首先要對多色病理圖像進行顏色解析，然后利用多色拼接算法對多個子區(qū)域圖像進行拼接構(gòu)成全景數(shù)字病理圖像并可視化，最后對多靶點全景數(shù)字病理圖像進行定量分析，找出多靶點病理之間的關(guān)聯(lián)。

2.3.1 圖像重建

在當前常用的光譜成像方法中，多光譜成像顯微鏡系統(tǒng)先捕獲多光譜圖像，再由多個圖像平面組成多層圖像“立方體”，這些平面通過光譜來對應于液晶可調(diào)諧濾波器所選擇的波長。然后，使用逆最小二乘擬合將多重染色樣本的圖像解混。解混分離每個熒光團的自熒光和重疊發(fā)射信號，從而去除自熒光背景，產(chǎn)生各個信號特定的“成分”平面[20]，完成多色病理圖像多色解析（靶點解析）。

靶點解析后的圖像是小視場多色熒光圖像，利用圖像拼接技術(shù)提取相鄰小視場多色圖像重疊部分的特征點，通過匹配相鄰圖像的重疊區(qū)域的特征點，將多張小視場多色圖像拼接成一張全景多色圖像。圖像拼接流程如圖6所示。

圖6 全景數(shù)字病理圖像拼接流程Fig. 6 Mosaic process of panoramic digital pathological images

圖像配準和圖像融合是直接影響圖像拼接性能的兩個步驟。空間域中圖像配準算法一般分為基于區(qū)域的圖像配準和基于特征的圖像配準。對于基于圖像區(qū)域?qū)崿F(xiàn)圖像配準的方法，Plattard[86]等提出互信息法，通過重疊區(qū)域的聯(lián)合熵來評判兩張圖像的信息相互包含程度，根據(jù)聯(lián)合熵便可以實現(xiàn)圖像的配準?；趫D像特征的圖像配準，提取具有特殊性質(zhì)的特征點集作為匹配依據(jù)，常用的特征檢測器有Harris、FAST（Features from Accelerated Segment Test）、SURF（Speeded-Up Robust Features）、SIFT（Scale-Invariant Feature Transform）。由于Harris會產(chǎn)生大量密集角點，F(xiàn)AST難以區(qū)分邊緣點和噪聲點，特征點配準方法中SIFT和其改進算法SURF[87]應用最為廣泛。SIFT通過尺度空間篩選尺度和旋轉(zhuǎn)不變興趣點，根據(jù)圖像局部區(qū)域的梯度方向?qū)M一步篩選的關(guān)鍵點賦予方向，然后用一組向量對特征點及其鄰域像素點信息進行描述?；诓煌瑘D像融合方法，拼接算法分為平滑過渡和最佳拼縫，基于平滑過渡拼接的方法可進一步分為基于羽化、金字塔和基于梯度的拼接[88]。

2.3.2 數(shù)據(jù)存儲及可視化

醫(yī)院掃描產(chǎn)生的圖像數(shù)據(jù)量很大，拼接后一張全景圖像大小就為800 M ～ 1 G。以南方醫(yī)科大學南方醫(yī)院采購醫(yī)用設備招標項目為例，要求數(shù)字化病理掃描系統(tǒng)指標如下：放大倍率分別為20×和40×，持續(xù)產(chǎn)出量達到7小時400片[89]。在醫(yī)院中每年將產(chǎn)生數(shù)百萬張病理醫(yī)學圖像，年存儲增量可達TB級。因此，在多靶點全景數(shù)字病理研究中要重點考慮病理圖像數(shù)據(jù)存儲及可視化方式。

病理數(shù)據(jù)存儲策略需要考慮持續(xù)增長的容量需求，如蘭烏特勒支大學醫(yī)學中心病理系通過建立標準的數(shù)字病理存儲系統(tǒng)實現(xiàn)全面數(shù)字病理[90]。其存儲方式主要采用分層策略：第一層為低延遲、高帶寬存儲系統(tǒng)，其將為虛擬存儲集群（操作系統(tǒng)、數(shù)據(jù)庫）和數(shù)字切片提供本地短期存儲。第二層是存儲于網(wǎng)絡連接（Network Attached Storage, NAS）上的全院系統(tǒng)，具備高度可擴展的存儲容量（最高達PB級），數(shù)字圖像在歸檔后將存儲在該層。

全景圖像可視化視野范圍大，存儲信息多，一次可實現(xiàn)整張全景圖像可視化，但處理時間久，通常不能進行實時可視化。在查看大視場圖像時，由于計算機屏幕的限制，不能一次性加載最高分辨圖像。目前的可視化采用多分辨率層次金字塔模型，主要是根據(jù)原始圖像構(gòu)建圖像序列，序列中的每個圖像稱為一個層，每一層都是原始圖像不同分辨率下的圖像。利用該方法每次可視化只需按需加載部分圖像數(shù)據(jù)，不僅可以減少內(nèi)存加載，而且可以解決文件存儲和帶寬之間的矛盾，實現(xiàn)快速實時可視化，方便醫(yī)生瀏覽整張全景圖像。

2.3.3 定量分析

（1）預處理

圖像質(zhì)量對后期定量分析很重要，處理不當會導致病理圖像定量分析準確性下降。降低圖像質(zhì)量的原因可能有疾病異質(zhì)性、切片制備、圖像采集過程條件不一致等。采用預處理方法可以在一定程度上減少誤差，如組織偽影檢測、圖像去噪、染色標準化、增強圖像對比度等[91]。其中，組織偽影檢測與染色標準化是常用的預處理方法。正確檢測組織學圖像中的組織和偽影是保證圖像質(zhì)量的前提。常用組織和偽影檢測方法有濾波器與閾值化相結(jié)合[92]、語義分割算法[93]、特征提取分類器[94]等。染色標準化是圖像處理的基礎(chǔ)，Massimo Salv等人總結(jié)了三種染色標準化策略，一是全局顏色歸一化：首先從模板圖像中提取全局信息（例如RGB直方圖、亮度），然后映射到源圖像。二是染色分離后的顏色歸一化：根據(jù)模板圖像的顏色分布，分離單個染料的權(quán)重以改變原始圖像。三是利用深度網(wǎng)絡的顏色轉(zhuǎn)移：采用風格轉(zhuǎn)移方法將源圖像的染色風格更改為模板風格[95]。接下來將從組織形態(tài)識別、細胞表型檢測、空間距離分析方面定量分析多靶點全景病理圖像。

（2）組織形態(tài)識別

在組織病理分析過程中，病理學家通常通過評估細胞核的多形性和細胞結(jié)構(gòu)的空間排列來區(qū)分正常組織、非惡性和惡性病變[96]。針對某些疾病的病理診斷需求,以淋巴細胞識別、有絲分裂數(shù)目檢測、細胞核大小識別為例，從整張病理切片中識別并分離出上述細胞或組織結(jié)構(gòu)以進行數(shù)字病理分析。

傳統(tǒng)方法主要依賴于數(shù)字圖像處理技術(shù)，采用基于各種特征描述符的手工特征提取方法，例如根據(jù)顏色、紋理、形狀和組合描述符等實現(xiàn)細胞或組織的識別和分類。2013年，Ciresan[97]等人首次使用滑動窗在數(shù)據(jù)集中截取大量小樣本，然后采用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network, CNN）分類模型對樣本做有無有絲分裂的二分類, 以檢測有絲分裂數(shù)目。Chen[98]等人使用基于分離色彩通道的卷積神經(jīng)網(wǎng)絡生成細胞概率響應圖，并在響應圖中自動檢測免疫細胞。回歸/分類框架將對象識別視為一個回歸或分類問題，采用統(tǒng)一框架直接獲得最終結(jié)果（類別和位置）。

（3）細胞表型檢測

細胞表型是多個基因和蛋白表達的細胞過程的集合體，決定了細胞特定的形態(tài)和功能。了解細胞表型對于了解癌癥進展和免疫治療反應的機制至關(guān)重要。將細胞內(nèi)成分檢測技術(shù)與多色免疫熒光分析方法相結(jié)合，可檢測不同細胞亞群合成的細胞因子，如對淋巴細胞亞群和白血病免疫表型分析[99]。

目前有些學者構(gòu)建了專業(yè)的數(shù)字圖像分析軟件，結(jié)合機器學習算法完成細胞表型檢測。如Koelzer[100]等人使用多重IHC和數(shù)字圖像分析軟件對PDL1表達進行識別和計算定量，然后利用隨機森林算法實現(xiàn)免疫細胞的分類和定量分析。Sun團隊開發(fā)了新型計算工具Scissor，可以在單細胞數(shù)據(jù)中識別出與給定表型相關(guān)的細胞亞群[101]。Scissor首先通過量化每個單細胞和每個大量樣品之間的相似性，整合與表型相關(guān)的大量表達數(shù)據(jù)和單細胞數(shù)據(jù)，然后優(yōu)化與樣本表型相關(guān)的矩陣回歸模型，以識別相關(guān)亞群?；谏疃葘W習（Deep Learning, DL）的圖像分析也被廣泛用于多靶點圖像定量分析中的細胞表型檢測。Harder等人使用高精度多分辨率配準方法和基于網(wǎng)絡架構(gòu)GooglieNet的卷積神經(jīng)網(wǎng)絡來區(qū)分黑色素和IHC標記的陽性免疫細胞[102]。

（4）空間距離分析

在組織細胞表型的基礎(chǔ)上計算不同細胞之間的空間關(guān)系，進而對細胞之間的相互作用做出推測，也可以計算出組織交界面兩側(cè)的細胞密度，對細胞的浸潤程度進行分析。如觀察免疫T細胞與腫瘤細胞的聚集傾向和接觸范圍、判斷不同樣本組之間的免疫效果差異等。

將多染色面板和開源圖像分析軟件相結(jié)合用以實現(xiàn)免疫細胞的定量分析。Oguejiofor K等人通過Vectra自動多光譜成像系統(tǒng)[103]、Nuance FX多光譜成像系統(tǒng)軟件和inFORM?高級圖像分析軟件實現(xiàn)了對腫瘤浸潤淋巴細胞（Tumor Infiltrating Lymphocytes, TILs）與人乳頭瘤病毒腫瘤狀態(tài)和患者生存率之間的關(guān)系分析[104]。Failmezge[105]等人提出了拓撲腫瘤圖（Topological Tumor Graphs,TTG），其基于自動圖像分析提供的細胞空間映射，將每個細胞視為一個節(jié)點，如果它們在空間上接近35 μm，則繪制細胞之間的邊緣，由此可得出細胞類型之間的空間相互作用。Barua等利用Gcross空間距離分布方法實現(xiàn)了每種細胞類型豐度和空間位置以及它們彼此之間接近度的分析，該方法可以在微米級半徑范圍內(nèi)找到至少一個任意給定類型的免疫細胞，驗證了肺癌細胞和特定免疫細胞在腫瘤微環(huán)境中的空間鄰近性預后意義[106]。

3 多靶點全景數(shù)字病理應用

多靶點全景數(shù)字病理技術(shù)可以標記檢測多種細胞結(jié)構(gòu)和環(huán)境，通過分析位置分布和監(jiān)測病理特征，有助于進一步了解細胞組織間的相互作用及功能。多靶點全景數(shù)字病理利用免疫熒光成像技術(shù)對細胞內(nèi)部蛋白質(zhì)分子等的分布狀態(tài)進行精確觀測，解決了傳統(tǒng)檢測手段面臨的檢測時間長、成像視野小、分辨率不足等問題，推動了醫(yī)療及生物應用的后續(xù)研究和發(fā)展。多靶點全景數(shù)字病理在生物醫(yī)學領(lǐng)域的應用主要包括腫瘤微環(huán)境、腫瘤分子分型等。

3.1 腫瘤微環(huán)境

腫瘤微環(huán)境由癌細胞、惡性上皮細胞和多種基質(zhì)細胞等構(gòu)成，癌細胞的增殖、侵襲和轉(zhuǎn)移等生物學行為受到宿主基質(zhì)細胞特性的影響[107]，因此，微環(huán)境的相互作用與癌細胞致病過程密切相關(guān)。在發(fā)掘生物標志物和潛在藥物靶點上，腫瘤微環(huán)境利用其機制特性，為后續(xù)研究提供關(guān)鍵幫助[108]，腫瘤微環(huán)境如圖7（彩圖見期刊電子版）所示[109]。

圖7 腫瘤微環(huán)境[109]Fig. 7 Tumor micro environment[109]

利用腫瘤微環(huán)境中細胞結(jié)構(gòu)及組織組成之間層次調(diào)節(jié)的特征，調(diào)控細胞對疾病的反應。但是一些蛋白標記物獨特地分布于亞細胞體積中腫瘤塊的不同部分，可以對這些蛋白標記物進行定向檢測。非小細胞肺癌研究利用Akoya多色免疫熒光技術(shù)，對新輔助治療前后的腫瘤免疫微環(huán)境進行7色多靶標標記，對腫瘤免疫微環(huán)境的免疫細胞浸潤進行量化分析，驗證了治療前后腫瘤免疫微環(huán)境的動態(tài)變化[110]。目前已有的研究在如何構(gòu)建腫瘤微環(huán)境上仍然有許多無法克服的問題，如大視場成像、分辨率等，而多靶點全景數(shù)字病理可以通過對腫瘤微環(huán)境標記出多個靶點，進行多方位的組織成像，成功定位細胞、產(chǎn)物的位置分布，有利于研究腫瘤微環(huán)境多個層次的異質(zhì)性。Obradovic等人利用多靶點定量免疫熒光驗證了異質(zhì)性疾病腎透明細胞癌（Clear Cell Renal Cell Carcinoma, ccRCC）微環(huán)境中特異性的TREM2/APOE/C1Q上調(diào)巨噬細胞亞群，這一關(guān)鍵發(fā)現(xiàn)可作為預測腎透明細胞癌復發(fā)的潛在生物標志物[111]。

3.2 腫瘤分子分型

1999年美國癌癥研究所提出了腫瘤分子分型的概念，即從形態(tài)學領(lǐng)域轉(zhuǎn)向分子水平對腫瘤進行系統(tǒng)劃分，其主要是通過分子水平表達差異（如抗體表達、免疫標志物）進行分型[112]。21世紀以來，各個團隊也一直致力于研究腫瘤分型。2006年，Hu等利用微陣列數(shù)據(jù)針對乳腺癌分子建立了一個新的亞型預測因子，基于此，提出了一種新型的乳腺癌分子型，為腫瘤前瞻性提供了一種客觀方法[113]。在此基礎(chǔ)上，利用多靶點方法對腫瘤區(qū)域不同分子表達進行標記，進一步使用全景數(shù)字病理對腫瘤分子分型進行精確劃分。Helmink等利用多色免疫熒光技術(shù)對三級淋巴結(jié)構(gòu)進行多靶點標記（如圖8（彩圖見期刊電子版）所示），針對細胞內(nèi)的生物標志物進行開發(fā)從而對其中的免疫細胞進行精確分型[114]。

圖8 三級淋巴結(jié)構(gòu)免疫標記熒光成像[114]Fig. 8 Immunolabeling fluorescence imaging of tertiary lymphoid structures[114]

使用全景成像技術(shù)將玻片上的樣本進行掃描采集成像生成圖像數(shù)據(jù)集，并對這些數(shù)據(jù)集圖像進行拼接，在大視場和高分辨率條件下觀察多色免疫熒光染色情況[20]，進而依據(jù)免疫標志物的差異從分子水平進行腫瘤分子分型。除此之外，多靶點全景數(shù)字病理技術(shù)可以根據(jù)腫瘤組織原位來測定不同免疫細胞亞群（如B細胞、T細胞）表型、狀態(tài)及相互關(guān)系[115]，為腫瘤分子分型提供分析數(shù)據(jù)和依據(jù)，進而為臨床上個性化治療制定策略和方案[111]。

4 結(jié)束語

多靶點全景數(shù)字病理是病理學和形態(tài)學研究的重要手段，其揭示了細胞組織之間相互作用以及功能變化。本文從基礎(chǔ)技術(shù)和生物醫(yī)學應用兩方面介紹了多靶點全景數(shù)字病理。在基礎(chǔ)技術(shù)中介紹了多靶點全景數(shù)字病理的生物樣本處理、光學成像和圖像處理3方面相關(guān)技術(shù)：（1）生物樣本準備，使讀者了解如何選擇靶點、處理組織樣本和樣本標記，從而獲得多靶點標記的組織樣本；（2）光學成像，講述了光譜解析的多色成像原理，介紹了面掃描與線掃描的全景成像技術(shù)，以及虛擬顯微鏡技術(shù)和高速自動化系統(tǒng)的結(jié)合實現(xiàn)了大視場高通量光學成像技術(shù)；（3）圖像處理，介紹了如何通過顏色解析和圖像拼接實現(xiàn)全景多靶點圖像并定量分析多靶點之間的關(guān)聯(lián)表達。在應用方面簡單介紹了多靶點全景數(shù)字病理在腫瘤微環(huán)境和腫瘤分子分型方面的研究。這些研究有助于揭示細胞組織間的相互作用及功能變化，有助于推動多靶點全景病理圖像在生物醫(yī)學領(lǐng)域的研究。

雖然多靶點全景數(shù)字病理技術(shù)已被應用于生物醫(yī)學領(lǐng)域，但是它的發(fā)展還不成熟，仍然有許多待完善的地方。例如在選擇靶點方面，可以結(jié)合多靶點專家知識庫，從而獲得針對某種疾病更合適的靶點；在實現(xiàn)全景掃描成像方面，可以通過優(yōu)化復雜的光學成像系統(tǒng)進而實現(xiàn)更高性能的“多色、全景、高通量”光學成像；在圖像處理方面，可以結(jié)合深度學習來實現(xiàn)顏色解析和圖像拼接，進而為定量分析提供高質(zhì)量的圖像數(shù)據(jù)，通過優(yōu)化算法減少數(shù)據(jù)處理時間，實現(xiàn)數(shù)據(jù)實時可視化，方便病理醫(yī)生瀏覽整張全景圖像完成病理診斷等。

然而，通過調(diào)研該領(lǐng)域目前的研究現(xiàn)狀以及分析實現(xiàn)多靶點全景數(shù)字病理的主要影響因素，多靶點全景數(shù)字病理的發(fā)展將面臨的一些關(guān)鍵技術(shù)挑戰(zhàn)如下：樣本多標記免疫熒光染色時如何解決抗體沖突問題[116]；光譜成像時重復信號串色干擾問題[117]；定量分析時，如何解決定量分析標準化等問題[116]。這些關(guān)鍵問題的解決，需要進一步的深入研究。