元光遠(yuǎn),沈仲?gòu)|,*,王 宇,水雁斌,劉樹彬
(1.核探測(cè)與核電子學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室,中國(guó)科學(xué)技術(shù)大學(xué),安徽 合肥 230026;2.中國(guó)科學(xué)技術(shù)大學(xué) 近代物理系,安徽 合肥 230026)
微結(jié)構(gòu)氣體探測(cè)器(micro-pattern gas detector, MPGD),如GEM(gas electron multiplier)[1]、THGEM(thick GEM)[2]、Micromegas[3]等,因其面積大、時(shí)間空間位置分辨率高等優(yōu)點(diǎn),在粒子物理、天文觀測(cè)、核醫(yī)學(xué)等領(lǐng)域有廣闊的應(yīng)用前景[4-5]。在未來(lái)MPGD的應(yīng)用中,通常要求讀出電子學(xué)系統(tǒng)具備可裁剪性好、通道規(guī)模大(數(shù)十路至上萬(wàn)路)、數(shù)據(jù)總帶寬高(1 Gb/s以上)、工作靈活性好、適應(yīng)不同ASIC(application specific integrated circuit)等特點(diǎn)。如在升級(jí)后的ATLAS中,MPGD通道數(shù)將達(dá)到2×106,數(shù)據(jù)率將達(dá)到1 Tb/s量級(jí)[6]。在預(yù)研中的中國(guó)環(huán)形正負(fù)電子對(duì)撞機(jī)(Circular Electron Positron Collider, CEPC)中,通道數(shù)將達(dá)到百萬(wàn)路,數(shù)據(jù)率也將達(dá)到100 Gb/s量級(jí)[7]。
FELIX(frontend link exchange)系統(tǒng)具有工作方式靈活、可擴(kuò)展性高、數(shù)據(jù)帶寬大、兼容性好等優(yōu)點(diǎn),能滿足MPGD對(duì)于讀出電子學(xué)系統(tǒng)的需求[8]。針對(duì)MPGD對(duì)讀出電子學(xué)的需求,本文提出一種基于FELIX的MPGD通用電子學(xué)系統(tǒng)的整體架構(gòu)方案,設(shè)計(jì)實(shí)現(xiàn)可完成4 096路AGET模擬通道讀出或10 240路MICROROC半數(shù)字通道讀出的電子學(xué)系統(tǒng),并與探測(cè)器一起進(jìn)行宇宙線徑跡探測(cè),以驗(yàn)證該設(shè)計(jì)方案的可行性。
面向MPGD的通用讀出電子學(xué)系統(tǒng)框圖如圖1所示,由完成探測(cè)器模擬信號(hào)數(shù)字化的前端模塊,完成多個(gè)前端模塊與FELIX卡之間數(shù)據(jù)匯總的GBT模塊,完成數(shù)據(jù)讀出的FELIX系統(tǒng),以及完成系統(tǒng)控制、數(shù)據(jù)存儲(chǔ)和離線數(shù)據(jù)處理的數(shù)據(jù)處理終端(DAQ)系統(tǒng)組成。
前端模塊主要用于完成探測(cè)器輸出信號(hào)調(diào)理以及數(shù)字化。為減少長(zhǎng)距離傳輸帶來(lái)的噪聲等問(wèn)題,前端模塊安裝在探測(cè)器上,在探測(cè)器前端完成數(shù)字化。根據(jù)具體應(yīng)用需求,前端模塊可搭載不同的ASIC芯片,并在設(shè)計(jì)上適應(yīng)探測(cè)器信號(hào)、機(jī)械接口等具體需求。本文采用基于AGET的模擬讀出前端模塊以及基于MICROROC的半數(shù)字讀出前端模塊完成系統(tǒng)聯(lián)調(diào)。
GBT模塊功能為利用分時(shí)復(fù)用構(gòu)建虛擬通道完成多個(gè)前端模塊與FELIX卡之間的數(shù)據(jù)傳輸[9]。本文設(shè)計(jì)的GBT板可通過(guò)RJ45電接口或SFP光纖接口與前端電子學(xué)完成數(shù)據(jù)傳輸,分別可完成20塊基于MICROROC的前端模塊或8塊基于AGET的前端模塊讀出。
圖1 面向MPGD的通用讀出電子學(xué)系統(tǒng)框架Fig.1 Architecture of scalable readout electronics system for MPGD
FELIX系統(tǒng)是讀出電子學(xué)系統(tǒng)數(shù)據(jù)采集與數(shù)據(jù)處理終端的數(shù)據(jù)節(jié)點(diǎn)[8,10]。FELIX系統(tǒng)采用PCIE接口、光纖傳輸?shù)雀咚贁?shù)據(jù)傳輸技術(shù),最大帶寬可達(dá)百Gb/s。同時(shí)提供分時(shí)復(fù)用建立虛擬通道的解決方案,可滿足多通道的需求。目前,F(xiàn)ELIX可完成2塊GBT板的數(shù)據(jù)讀出,未來(lái)FELIX卡升級(jí)后可完成24塊GBT板的數(shù)據(jù)讀出。
數(shù)據(jù)處理終端通過(guò)商用網(wǎng)絡(luò)技術(shù)與FELIX系統(tǒng)通信,完成系統(tǒng)控制、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等。
該架構(gòu)的核心設(shè)計(jì)思想是由硬件搭建從前端電子學(xué)模塊到軟件的高帶寬透明硬件通道,由軟件根據(jù)實(shí)際的應(yīng)用需求完成相應(yīng)的功能,因此通用性好,對(duì)不同的前端ASIC芯片、應(yīng)用場(chǎng)景、工作模式具有很好的兼容性。同時(shí)該架構(gòu)采用分時(shí)復(fù)用方案搭建虛擬通道,可擴(kuò)展性好,可滿足MPGD對(duì)多通道數(shù)的需求。
1) 基于MICROROC的前端電子學(xué)模塊
MICROROC(MICRO mesh gaseous structure readout chip)芯片由法國(guó)Omega小組于2010年設(shè)計(jì)[11]。每塊MICROROC芯片可完成64路半數(shù)字通道讀出,動(dòng)態(tài)范圍為1~500 fC?;贛ICROROC的前端模塊設(shè)計(jì)如圖2所示[12]。其前端與探測(cè)器相連的接口采用80針、50 mil(1 mil=0.025 4 mm)間距的ERNI-154744連接器,以實(shí)現(xiàn)高密度讀出。每個(gè)模塊集成4片MICROROC芯片共256通道用于探測(cè)器信號(hào)讀出,最大數(shù)據(jù)率為20 Mb/s。其與GBT板之間采用RJ45電傳輸,由3對(duì)傳輸速率為160 Mb/s的差分線組成,包括由GBT板傳輸?shù)?路時(shí)鐘、1路數(shù)據(jù),以及發(fā)送到GBT板的1路數(shù)據(jù)。前端模塊主控芯片為Xilinx A7 FPGA,完成整個(gè)模塊的系統(tǒng)控制。
圖2 基于MICROROC的前端模塊設(shè)計(jì)框圖Fig.2 Diagram of MICROROC chip carrier
噪聲水平是衡量電子學(xué)性能的重要指標(biāo)。本文采用S型曲線測(cè)試得到的MICROROC通道噪聲如圖3所示,其中橫坐標(biāo)是噪聲水平,縱坐標(biāo)是落在該噪聲范圍內(nèi)的通道數(shù)。結(jié)果表明,大部分通道噪聲不超過(guò)0.2 fC,滿足MPGD讀出需求。
2) 基于AGET的前端電子學(xué)模塊
AGET(ASIC for general electronics for time projection chambers,面向時(shí)間投影室的通用ASIC芯片)由法國(guó)Scalay實(shí)驗(yàn)室在AFTER芯片的基礎(chǔ)上研制而成[13]。每塊AGET可完成64通道模擬信號(hào)采集,每路電子學(xué)通道前端集成了電荷靈敏放大器(CSA)、濾波成形電路、由512個(gè)開關(guān)電容構(gòu)成的環(huán)形存儲(chǔ)陣列以及甄別觸發(fā)電路。
圖3 基于MICROROC的前端模塊噪聲Fig.3 Noise of MICROROC chip carrier
圖4為基于AGET的前端模塊設(shè)計(jì)框圖,每個(gè)前端模塊集成4片AGET芯片,可完成256路電子學(xué)通道的讀出[14]。探測(cè)器信號(hào)經(jīng)AGET芯片完成波形采樣后,由ADC芯片AD9522完成波形數(shù)字化。前端模塊與GBT板之間采用光纖傳輸,鏈路速率為400 Mb/s,其中有效數(shù)據(jù)率為200 Mb/s。基于AGET的前端模塊將光纖鏈路恢復(fù)出的時(shí)鐘作為系統(tǒng)時(shí)鐘,從而實(shí)現(xiàn)與GBT板時(shí)鐘同步。該模塊主控芯片為Xilinx A7 FPGA。
圖4 基于AGET的前端模塊設(shè)計(jì)框圖[14]Fig.4 Diagram of AGET chip carrier[14]
在沒有輸入時(shí),采用隨機(jī)觸發(fā)對(duì)各電子學(xué)通道的信號(hào)進(jìn)行采集可完成噪聲測(cè)試。圖5所示為AGET通道噪聲,噪聲均不超過(guò)0.4 fC,滿足MPGD讀出需求。
圖5 基于AGET的前端模塊噪聲Fig.5 Noise of AGET chip carrier
圖6 GBT模塊設(shè)計(jì)框圖Fig.6 Diagram of GBT module
GBT模塊是前端模塊與FELIX卡之間的數(shù)據(jù)通道,GBT模塊設(shè)計(jì)框圖如圖6所示。GBT模塊與FELIX卡之間通過(guò)光纖鏈路完成數(shù)據(jù)傳輸,鏈路傳輸速率為4.8 Gb/s,用戶數(shù)據(jù)率為3.2 Gb/s。該鏈路稱為GBT link。GBT板與前端模塊之間的鏈路稱為Elink[15],分別設(shè)計(jì)基于RJ45電傳輸和基于SFP光纖傳輸?shù)腅link,用于完成MICROROC前端模塊和AGET前端模塊的數(shù)據(jù)讀出。1個(gè)GBT模塊最多可完成20個(gè)基于MICROROC的前端模塊數(shù)據(jù)讀出,或8個(gè)基于AGET的前端模塊數(shù)據(jù)讀出。GBT模塊的核心功能由Xilinx K7-410T FPGA完成,其主要功能利用分時(shí)復(fù)用將高速的GBT link數(shù)據(jù)通道分成多路相對(duì)低速的前端電子學(xué)模塊數(shù)據(jù)通道,如分成40路80 Mb/s Elink、20路160 Mb/s Elink或10路320 Mb/s Elink。
作為GBT模塊的主控模塊,F(xiàn)PGA邏輯主要功能為利用分時(shí)復(fù)用建立虛擬通道[16],完成多個(gè)前端電子學(xué)模塊與FELIX系統(tǒng)之間的數(shù)據(jù)通信,其設(shè)計(jì)框圖如圖7所示。該邏輯GBT作為透明的數(shù)據(jù)通道,前端模塊可近似看成直接與FELIX卡完成數(shù)據(jù)傳輸。GBT板與FELIX卡之間的數(shù)據(jù)傳輸采用GBT frame編碼,該編碼方式可完成1位誤碼修正、2位誤碼檢測(cè)功能。在面向MICROROC前端模塊的邏輯設(shè)計(jì)中,Elink物理層采用RJ45接口電傳輸、160 Mb/s Elink數(shù)據(jù)通道,可實(shí)現(xiàn)20個(gè)MICROROC前端模塊的數(shù)據(jù)讀出。面向AGET前端模塊的邏輯設(shè)計(jì)中,Elink物理層采用SFP接口光纖傳輸、320 Mb/s Elink數(shù)據(jù)通道,每個(gè)GBT板可實(shí)現(xiàn)8個(gè)AGET前端模塊的數(shù)據(jù)讀出。
圖7 GBT邏輯設(shè)計(jì)框圖Fig.7 Diagram of GBT logic
此外,邏輯中還集成了1個(gè)慢控制模塊,可完成軟件復(fù)位、工作模式切換、狀態(tài)監(jiān)測(cè)等功能。GBT板從FELIX接收時(shí)鐘作為系統(tǒng)時(shí)鐘,同時(shí)通過(guò)Elink下發(fā)時(shí)鐘到前端模塊中,實(shí)現(xiàn)整個(gè)系統(tǒng)的時(shí)鐘同步。
對(duì)基于RJ45電傳輸和基于SFP光纖傳輸?shù)腅link通道開展12 h的雙向誤碼率測(cè)試,傳輸速率分別為320 Mb/s和400 Mb/s,未發(fā)現(xiàn)誤碼,在置信度90%的前提下可認(rèn)為誤碼率分別小于2.9×10-13和2.3×10-13。對(duì)GBT link開展24 h的雙向誤碼率測(cè)試,傳輸速率為4.8 Gb/s,未發(fā)現(xiàn)誤碼,在置信度90%的前提下可認(rèn)為誤碼率小于1×10-14。
FELIX系統(tǒng)是為ATLAS升級(jí)而設(shè)計(jì)的數(shù)據(jù)獲取系統(tǒng)。其設(shè)計(jì)目標(biāo)在于成為前端讀出電子學(xué)與大型商業(yè)網(wǎng)絡(luò)之間的通用數(shù)據(jù)路由系統(tǒng)。1個(gè)FELIX系統(tǒng)由1個(gè)帶PCIE接口的服務(wù)器(FELIX Server)及1塊被稱為FELIX卡(FELIX card)的PCIE擴(kuò)展卡組成。目前常用的FELIX卡有FLX709和FLX712。FLX709是基于Xilinx開發(fā)板VC709實(shí)現(xiàn)的FELIX卡,以Virtex7 FPGA為主控芯片,集成了4路SFP+光纖接口作為與前端電子學(xué)之間的數(shù)據(jù)鏈路,以及PCIE GEN3 Lane×8接口作為與FELIX服務(wù)器之間的數(shù)據(jù)通道[10]。FLX712由布魯克海文國(guó)家實(shí)驗(yàn)室設(shè)計(jì),采用Virtex Ultrascale+FPGA作為主控芯片,采用PCIE Gen3 Lane×16作為與FELIX服務(wù)器之間的數(shù)據(jù)通道,共48路miniPOD光纖接口可完成與前端電子學(xué)之間的數(shù)據(jù)傳輸[17]。
設(shè)計(jì)使用Xilinx的開發(fā)板VC709作為FELIX卡。經(jīng)測(cè)試,F(xiàn)ELIX卡與FELIX服務(wù)器之間的平均傳輸帶寬可達(dá)44 Gb/s。
宇宙線徑跡探測(cè)平臺(tái)由上、下各1層作為符合探測(cè)器的塑料閃爍體探測(cè)器、6層完成宇宙線信號(hào)探測(cè)的Micromegas探測(cè)器以及相應(yīng)的讀出電子學(xué)構(gòu)成。當(dāng)粒子穿過(guò)探測(cè)器裝置時(shí),上、下的塑料閃爍體探測(cè)器給出觸發(fā)信號(hào),Micromegas探測(cè)器完成宇宙線粒子探測(cè),由電子學(xué)系統(tǒng)讀出Micromegas探測(cè)器信號(hào),即可實(shí)現(xiàn)宇宙線粒子探測(cè)。Micromegas探測(cè)器由中國(guó)科學(xué)技術(shù)大學(xué)設(shè)計(jì)制造,靈敏區(qū)面積為150 mm×150 mm,工作氣體為93%Ar與7%CO2混合氣體,二維條讀出,條間距為400 μm,每維有384路探測(cè)器信號(hào),6層12個(gè)維度共4 096路探測(cè)器通道。
基于MICROROC的前端模塊為半數(shù)字讀出型前端板,適應(yīng)超大規(guī)模讀出通道數(shù)。因此在該系統(tǒng)中,采用直接讀出。每個(gè)MICROROC chip carrier可完成256路通道讀出,6層探測(cè)器共需18塊MICROROC板4 096路電子學(xué)通道。圖8為記錄的1次宇宙線事例。每條黑色線為每維的擊中位置,兩條黑線的交叉處即為宇宙線擊中的探測(cè)器位置。將6層探測(cè)器擊中位置擬合直線,就可得到宇宙線穿過(guò)探測(cè)器的徑跡。
圖8 應(yīng)用MICROROC重建的宇宙線徑跡Fig.8 Rebuilt cosmic track applying MICROROC
基于AGET的前端模塊采用位置編碼讀出方式[18-19],1個(gè)維度384路探測(cè)器通道需1個(gè)AGET芯片64路電子學(xué)通道完成讀出,6層探測(cè)器共使用4個(gè)基于AGET的前端模塊,12塊AGET芯片共768路電子學(xué)通道完成數(shù)據(jù)讀出。
基于AGET的前端模塊為波形采樣讀出,可得到宇宙線事例的波形、峰值、上升沿等信息。圖9a為1次宇宙線事例中1個(gè)維度的探測(cè)器通道采集到的探測(cè)器信號(hào),圖9b為重建的宇宙線徑跡。利用基于AGET前端模塊采集到的信號(hào)峰值信息可得到宇宙線能譜,其中1個(gè)維度的宇宙線能譜如圖10所示,符合朗道分布。
圖9 基于AGET采集到的波形以及重建的宇宙線徑跡Fig.9 Waveform of cosmic ray event and rebuilt cosmic ray track applying AGET
圖10 宇宙線能譜Fig.10 Cosmic ray spectrum
設(shè)計(jì)了1套面向MPGD的通用可擴(kuò)展讀出電子學(xué)系統(tǒng)架構(gòu),該架構(gòu)支持通道數(shù)多、對(duì)不同的前端ASIC芯片支持好。采用適用于MPGD的AGET和MICROROC兩款芯片,完成了數(shù)字讀出和模擬讀出的原型系統(tǒng)設(shè)計(jì),并利用電子學(xué)原型系統(tǒng)與Micromegas探測(cè)器完成了宇宙線徑跡探測(cè)。該系統(tǒng)工作方式靈活、通用性好、兼容性好、可擴(kuò)展性好,可很好適應(yīng)MPGD的讀出需求。對(duì)于未來(lái)規(guī)模更大的讀出需求,也可采用FLX712進(jìn)行系統(tǒng)升級(jí)來(lái)滿足。
向?yàn)楸疚碾娮訉W(xué)系統(tǒng)設(shè)計(jì)提供幫助的布魯克海文國(guó)家實(shí)驗(yàn)室的陳虎成、陳凱、鄔維浩以及提供Micromegas探測(cè)器的中國(guó)科學(xué)技術(shù)大學(xué)的張志永致謝。