基于功能磁共振成像的立體圖像分辨

李?元，鄭宏娜，姚?力，龍志穎，侯春萍

?

基于功能磁共振成像的立體圖像分辨

李?元1，鄭宏娜2，姚?力2, 3，龍志穎3，侯春萍1

(1. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072；2. 北京師范大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100875； 3. 北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室，北京 100875)

視覺是人與外界互動(dòng)獲取信息的主要手段，而雙目視差信息是人腦估計(jì)外界環(huán)境深度結(jié)構(gòu)的重要視覺線索之一．因此，研究人腦處理雙目視差的神經(jīng)機(jī)制對(duì)了解人類的視覺系統(tǒng)意義重大．功能磁共振成像(fMRI)技術(shù)為雙目視差研究提供了有效手段．目前在fMRI研究中，雖然已經(jīng)有很多研究利用fMRI技術(shù)深入探究了人腦處理雙目視差信息的神經(jīng)機(jī)制，但是利用該技術(shù)采集的人腦信號(hào)如何分辨包含雙目視差信息的立體圖像依然有待研究．針對(duì)這一問題，設(shè)計(jì)了一種基于fMRI的實(shí)驗(yàn)，該實(shí)驗(yàn)選用隨機(jī)點(diǎn)圖生成人造立體視圖像作為實(shí)驗(yàn)刺激；相較于自然立體圖像，該種立體圖像可以更加方便地提取出立體圖像中包含的圖像特征．結(jié)合實(shí)驗(yàn)特性提出了一種基于lasso回歸算法的體素編碼模型，該模型利用了視覺感受野的稀疏特性，可以較好地借助立體圖像中的二維特征并對(duì)fMRI數(shù)據(jù)進(jìn)行編碼分析和解碼分析．其編碼分析結(jié)果表明利用體素編碼模型可以較好預(yù)測(cè)人腦接收立體圖像的腦信號(hào)的體素廣泛分布在人腦的各個(gè)視覺區(qū)中，并且大部分體素分布在初級(jí)視區(qū)V1、V2d和V3d中．解碼分析結(jié)果表明，初級(jí)視覺區(qū)V1可以利用立體圖像中的二維特征實(shí)現(xiàn)立體圖像的識(shí)別，并且背側(cè)視覺區(qū)V3d、V7和hMT＋/V5可以與V1協(xié)同工作進(jìn)行立體圖像的識(shí)別．

功能磁共振成像；體素編碼模型；解碼；立體視覺

視覺信息占人類依靠五官所獲得信息總量的80%，是人類從客觀世界獲得信息的主要來源[1]．通過視覺信息產(chǎn)生的深度知覺對(duì)人類至關(guān)重要，它可以幫助人類判斷物體間的相對(duì)距離，實(shí)現(xiàn)對(duì)物體的抓取和躲避等各種動(dòng)作，是人類與外界進(jìn)行交互的一種十分重要的視覺特性．而雙目視差信息則是人眼產(chǎn)生深度知覺的重要線索之一．因此，人腦如何加工雙目視差信息一直都是認(rèn)知神經(jīng)科學(xué)領(lǐng)域的研究熱點(diǎn)．

針對(duì)雙目視差神經(jīng)機(jī)制的研究，最早可以追溯到20世紀(jì)60年代．最初，研究人員在貓的大腦中發(fā)現(xiàn)了對(duì)雙目視差敏感的神經(jīng)元[2]，而后在猴子大腦中的多個(gè)視覺區(qū)陸續(xù)發(fā)現(xiàn)了與處理雙目視差相關(guān)的神經(jīng)元[3-7]．類似地，在針對(duì)人類的研究中，已經(jīng)有諸多學(xué)者通過功能磁共振成像(fMRI)技術(shù)證明了人腦對(duì)雙目視差的處理并非集中于某個(gè)特定的視覺區(qū)，而是廣泛分布于視覺區(qū)的腹背側(cè)通路中[8-13]，甚至一些頂葉區(qū)域和前運(yùn)動(dòng)皮層也參與了雙目視差的加工[14-15]．

雖然探究人腦處理雙目視差神經(jīng)機(jī)制的fMRI研究已經(jīng)比較廣泛，但上述研究從立體視覺刺激中所提取的雙目視差特征較為單一；人腦實(shí)際接收到的立體視覺刺激卻含有更豐富的特征；這些特征分布在一個(gè)立體空間中，它們含有的視差等級(jí)信息和空間位置信息均不相同，人腦通過處理這些特征從而識(shí)別出外界的場(chǎng)景并進(jìn)一步與外界進(jìn)行交互．因此，利用fMRI技術(shù)探究人腦如何利用立體圖像中含有的特征進(jìn)行立體圖像的識(shí)別是一項(xiàng)很有意義的工作，而該項(xiàng)工作的核心在于能否找到立體圖像特征與fMRI數(shù)據(jù)間的映射關(guān)系．Gallent組首次提出了體素編碼模型的概念，并通過該模型成功使用fMRI數(shù)據(jù)實(shí)現(xiàn)了二維自然圖像的識(shí)別[16]．該種模型具有很強(qiáng)的泛化性，通過改變刺激特征和特征與fMRI數(shù)據(jù)間的映射關(guān)系可以將其應(yīng)用到各種視覺領(lǐng)域的研究中．而后，該研究小組使用該種模型實(shí)現(xiàn)了自然場(chǎng)景的語義識(shí)別、自然圖片的重構(gòu)等工作[17-18]．除該組外，其他研究者也通過使用這種體素編碼模型實(shí)現(xiàn)了基于fMRI數(shù)據(jù)的二維圖像識(shí)別和重構(gòu)等工作[19-20]．然而針對(duì)立體圖像的識(shí)別工作目前還鮮有人涉及．

綜上所述，本研究旨在考察能否利用圖像的二維視覺特征實(shí)現(xiàn)對(duì)立體圖像刺激的識(shí)別．本研究設(shè)計(jì)了一種fMRI實(shí)驗(yàn)，并提出一種體素編碼模型，通過該模型實(shí)現(xiàn)基于fMRI數(shù)據(jù)的立體圖像刺激的識(shí)別．

1?研究材料與實(shí)驗(yàn)設(shè)計(jì)

1.1?被試

兩名北京師范大學(xué)的碩士研究生作為被試參加了本次fMRI實(shí)驗(yàn)．兩名被試的性別以及參加實(shí)驗(yàn)時(shí)的年齡分別為被試1(男性，24歲)，被試2(男性，26歲)．所有被試身體健康，視力或矯正視力正常，均通過了實(shí)驗(yàn)前進(jìn)行的立體圖片測(cè)試，擁有正常的立體視覺．所有被試在實(shí)驗(yàn)前均已了解實(shí)驗(yàn)內(nèi)容并在簽署知情同意書后參加實(shí)驗(yàn)．本次實(shí)驗(yàn)通過了北京師范大學(xué)倫理委員會(huì)的同意．

1.2?實(shí)驗(yàn)設(shè)計(jì)

1.2.1?實(shí)驗(yàn)刺激

本實(shí)驗(yàn)的刺激分為兩類，分別是用于訓(xùn)練體素編碼模型的棋盤格刺激(checkerboard)和進(jìn)行立體圖像刺激識(shí)別的圖形刺激(graph)．

對(duì)于棋盤格刺激，首先在灰色背景的中央?yún)^(qū)域劃分出10×10個(gè)棋盤格，每個(gè)棋盤格的視角尺寸為1.11°×1.11°．每張棋盤格刺激圖片中包含了4種不同的棋盤格，分別為帶有交叉視差信息(-10′)的隨機(jī)點(diǎn)棋盤格、帶有非交叉視差信息(10′)的隨機(jī)點(diǎn)棋盤格、帶有零視差信息(0′)的隨機(jī)點(diǎn)棋盤格以及灰色背景棋盤格．660種棋盤格刺激圖片被制作，圖片間4種棋盤格的位置隨機(jī)分布．

對(duì)于圖形刺激，依然在灰色背景的中央?yún)^(qū)域劃分出10×10個(gè)棋盤格，每個(gè)棋盤格的視角尺寸為1.11°×1.11°．與棋盤格刺激圖片不同，每張圖形刺激圖片中只包含兩種棋盤格，分別為帶有視差信息的隨機(jī)點(diǎn)棋盤格以及灰色背景棋盤格，其中隨機(jī)點(diǎn)棋盤格中包含的視差信息應(yīng)該為3種視差信息(交叉視差、非交叉視差和零視差)中的一種．通過將特定位置的棋盤格定義為隨機(jī)點(diǎn)棋盤格的方法，本文研究制作了兩類圖形刺激，即5種字母圖形刺激和5種形狀圖形刺激．圖1(a)、(b)分別展示了本實(shí)驗(yàn)所用的一種棋盤格刺激和全部10種圖形刺激的實(shí)際形態(tài)以及它們所包含的視差信息分布情況．

所有刺激的中心均有一個(gè)十字形的注視點(diǎn)，注視點(diǎn)覆蓋的視角為0.6°×0.6°．所有實(shí)驗(yàn)刺激通過3D液晶顯示器呈現(xiàn)，顯示器型號(hào)為LG D2343p，分辨率為1080p．被試在掃描過程中佩戴3D偏振眼鏡觀看實(shí)驗(yàn)刺激，觀看距離為110cm．

1.2.2?雙目視差實(shí)驗(yàn)

本文實(shí)驗(yàn)包含兩種實(shí)驗(yàn)刺激序列(run)，分別為擬合體素編碼模型的模型擬合序列和用來測(cè)試模型性能的模型測(cè)試序列．兩種實(shí)驗(yàn)刺激序列均采用組塊(block)設(shè)計(jì)．

每個(gè)被試需要執(zhí)行30個(gè)模型擬合序列．每個(gè)序列中包含22個(gè)棋盤格刺激組塊和23個(gè)注視點(diǎn)組塊，每種棋盤格刺激圖片對(duì)應(yīng)1個(gè)棋盤格刺激組塊，并且該刺激中的隨機(jī)點(diǎn)以6Hz的頻率閃爍，組塊時(shí)長6s．注視點(diǎn)組塊只包含了含有注視點(diǎn)的灰色背景，時(shí)長同為6s．兩種組塊交替出現(xiàn)，并且實(shí)驗(yàn)的開始和結(jié)束均為注視點(diǎn)組塊．每個(gè)序列中的棋盤格刺激組塊不會(huì)重復(fù)，即在執(zhí)行所有模型擬合序列期間，每種棋盤格刺激組塊只會(huì)出現(xiàn)一次．

每個(gè)被試需要執(zhí)行兩類(字母組和形狀組)模型測(cè)試序列，兩類模型測(cè)試序列分別包含5種字母圖形刺激和5種形狀圖形刺激．對(duì)于每一組，每個(gè)被試執(zhí)行5個(gè)序列，每個(gè)序列中包含10個(gè)圖形刺激組塊和11個(gè)注視點(diǎn)組塊，每種圖形刺激對(duì)應(yīng)2個(gè)圖形刺激組塊，組塊時(shí)長12s且只包含一種圖形刺激，并且該刺激中的隨機(jī)點(diǎn)以6Hz的頻率閃爍．注視點(diǎn)組塊只包含了含有注視點(diǎn)的灰色背景，時(shí)長同為12s．兩種組塊交替出現(xiàn)，并且實(shí)驗(yàn)開始和結(jié)束均為注視點(diǎn)組塊．每組5個(gè)序列中包含的圖形刺激均相同，但是呈現(xiàn)順序有所不同．整體實(shí)驗(yàn)范式如圖1(c)所示．同時(shí)，為了保證被試的注意力一直處在一個(gè)較高水平上，屏幕中心的注視點(diǎn)顏色會(huì)隨機(jī)產(chǎn)生變化．

圖1?實(shí)驗(yàn)設(shè)計(jì)示意

1.2.3?視覺區(qū)定位實(shí)驗(yàn)

1.2.4?實(shí)驗(yàn)順序安排

兩個(gè)被試采集的所有fMRI數(shù)據(jù)需要通過4次實(shí)驗(yàn)(session)完成．對(duì)于被試1，前兩次實(shí)驗(yàn)中各包含15個(gè)模型擬合序列，時(shí)長約為1.5h．第3次實(shí)驗(yàn)包含10個(gè)模型測(cè)試序列，時(shí)長約為1.0h．第4次實(shí)驗(yàn)用于收集被試腦區(qū)定位的實(shí)驗(yàn)數(shù)據(jù)，其實(shí)驗(yàn)順序?yàn)棰俦辉嚫叻直媛式Y(jié)構(gòu)像掃描；②ROI定位實(shí)驗(yàn)(4個(gè)視網(wǎng)膜映射區(qū)域定位實(shí)驗(yàn)，2個(gè)LOC定位實(shí)驗(yàn)以及2個(gè)hMT＋/V5定位實(shí)驗(yàn))，時(shí)長約為50min．該被試在第1天完成了前3次實(shí)驗(yàn)的數(shù)據(jù)采集，并在第2天完成了第4次實(shí)驗(yàn)的數(shù)據(jù)采集．

對(duì)于被試2，其實(shí)驗(yàn)的整體順序與被試1的相同．唯一不同的是，該被試在第1天完成了前3次實(shí)驗(yàn)的數(shù)據(jù)采集，并在一周后完成了第4次實(shí)驗(yàn)的數(shù)據(jù)采集．

1.3?實(shí)驗(yàn)掃描參數(shù)

實(shí)驗(yàn)中所有fMRI數(shù)據(jù)均使用北京師范大學(xué)腦成像中心的西門子3.0T磁共振掃描儀進(jìn)行采集．功能像采用平面回波成像(echo planar imaging，EPI)序列．所有實(shí)驗(yàn)中功能像采集參數(shù)包括：30slices，TR/TE/flip angle=2000ms/30ms/90°，F(xiàn)OV＝192mm× 192mm，matrix＝64×64，slice thick＝3mm，gap thick＝0mm．結(jié)構(gòu)像的全腦分辨率為1.33mm×1mm×1mm．

2?體素編碼模型在實(shí)驗(yàn)中的構(gòu)建與應(yīng)用

2.1?數(shù)據(jù)預(yù)處理

采集到的所有fMRI數(shù)據(jù)通過BrainVoyager QX軟件進(jìn)行預(yù)處理．預(yù)處理的步驟包含頭動(dòng)矯正(realignment)、時(shí)間層矯正(slice timing)、時(shí)域高通濾波(high pass filter)．并將經(jīng)過上述預(yù)處理的數(shù)據(jù)標(biāo)準(zhǔn)化至Talairach空間[27-28]．

2.2?體素編碼模型的構(gòu)建

體素編碼模型的構(gòu)建可以分為3步，即實(shí)驗(yàn)刺激的特征提取、定義體素激活響應(yīng)以及構(gòu)建特征與體素激活響應(yīng)間的映射關(guān)系．本文將分節(jié)依次對(duì)這3個(gè)步驟進(jìn)行描述．

2.2.1?實(shí)驗(yàn)刺激的特征提取

從圖1(b)可以看出，本文使用的實(shí)驗(yàn)刺激均通過一個(gè)10×10棋盤進(jìn)行表示．基于這種特性，本文對(duì)實(shí)驗(yàn)刺激中的每個(gè)棋盤格進(jìn)行了二值化操作，并將二值化后得到的圖像作為特征．具體操作方法如下．

2.2.2?定義體素激活響應(yīng)

本文將通過GLM分析得到的值作為體素對(duì)不同棋盤格刺激的真實(shí)激活響應(yīng)．對(duì)每個(gè)被試的30個(gè)模型擬合序列分別進(jìn)行GLM分析，每個(gè)序列中包含的22種棋盤格刺激對(duì)應(yīng)22個(gè)條件(conditon)，作為GLM中的22個(gè)回歸因子．通過GLM分析得到每個(gè)體素對(duì)應(yīng)的660個(gè)棋盤格刺激的660個(gè)回歸權(quán)重值．

同樣地，對(duì)于每個(gè)被試的兩組共10個(gè)模型測(cè)試序列，同樣對(duì)每個(gè)序列進(jìn)行GLM分析，每個(gè)序列中包含的5種圖形刺激對(duì)應(yīng)5個(gè)條件，作為GLM的5個(gè)回歸因子．通過GLM分析得到每個(gè)體素對(duì)應(yīng)的10種圖形刺激的50個(gè)回歸權(quán)重值．

2.2.3?Lasso體素編碼模型的構(gòu)建

雖然沒有任何相關(guān)研究表明外界刺激特征與fMRI體素響應(yīng)存在線性映射關(guān)系．但不可否認(rèn)的是，目前大多數(shù)相關(guān)研究中依然使用了線性模型去構(gòu)建體素編碼模型并取得了較好的研究成果[16-29]．前人的研究已經(jīng)證明神經(jīng)元編碼本身具有稀疏性，即神經(jīng)元應(yīng)該只對(duì)外界刺激中的某個(gè)區(qū)域有響應(yīng)[30-31].因此在構(gòu)建特征與體素響應(yīng)的線性映射時(shí)應(yīng)該考慮引入這種稀疏特性．基于這種考慮，本文在構(gòu)建線性體素編碼模型時(shí)，使用了加入L1限制的lasso線性回歸算法．通過L1限制進(jìn)行回歸時(shí)可以將部分特征的權(quán)重置為0，從而保證體素的激活響應(yīng)只與所有特征中的一部分產(chǎn)生關(guān)聯(lián)，達(dá)到了將特征稀疏化的目的．線性回歸的基本公式為

?(1)

?(2)

對(duì)于每個(gè)體素，利用所有棋盤格刺激的特征以及對(duì)應(yīng)的執(zhí)行上述步驟，最終可以分別估計(jì)出權(quán)重．從而構(gòu)建出基于lasso的體素編碼模型．

2.3?基于體素編碼模型的解碼分析

本文研究使用的解碼方法可以得到每個(gè)ROI識(shí)別立體圖像刺激的識(shí)別準(zhǔn)確率，從而定位出人腦對(duì)處理立體圖像刺激有幫助的腦區(qū)．該方法的基本思路與之前的研究相似[16]．為了消除篩選體素?cái)?shù)量對(duì)最終結(jié)果的影響，對(duì)于每個(gè)ROI，本文選出了數(shù)量各異的體素集群，并通過每個(gè)集群分別進(jìn)行立體圖像刺激的識(shí)別并計(jì)算識(shí)別準(zhǔn)確率，而后將所有體素集群對(duì)應(yīng) 的識(shí)別準(zhǔn)確率進(jìn)行平均作為該ROI最終的識(shí)別準(zhǔn)?確率．

前人的研究已經(jīng)表明人腦處理不同外界刺激時(shí)并非將這些刺激交由單一腦區(qū)進(jìn)行處理；相對(duì)地，不同腦區(qū)處理的外界刺激種類會(huì)有交集[13-32]．因此，在對(duì)本文研究所用實(shí)驗(yàn)刺激進(jìn)行解碼時(shí)，單獨(dú)的ROI可能并不能充分地利用從實(shí)驗(yàn)刺激中所提取的特征進(jìn)行解碼．基于這種考慮，本文在進(jìn)行基于ROI的解碼分析時(shí)，除了預(yù)先定義的10個(gè)ROI，也考慮使用不同ROI合并形成的組合ROI去進(jìn)行解碼分析．在所有ROI中V1作為處理視覺信息最基礎(chǔ)的腦區(qū)已被證明可以處理多種視覺特征，并且已經(jīng)有研究表明該腦區(qū)會(huì)接收來自于高級(jí)腦區(qū)的信息反饋[33]．因此，本文將V1與其他9個(gè)ROI依次合并組成新的9個(gè)組合ROI——V1＋V2d，V1＋V3d，V1＋V3A，V1＋V7，V1＋V5，V1＋V2v，V1＋V3v，V1＋hV4和V1＋LOC．因此，本文要依次對(duì)10個(gè)ROI和9個(gè)組合ROI進(jìn)行解碼分析．

本文采集到的模型測(cè)試序列的數(shù)據(jù)中，每種圖形刺激對(duì)應(yīng)了不同時(shí)間點(diǎn)下的5種不同的腦狀態(tài)激活模式．由于fMRI數(shù)據(jù)本身包含很大的噪聲，因此這5種激活模式中可能有的激活模式已經(jīng)被噪聲影響以致于無法準(zhǔn)確地反映人腦接收對(duì)應(yīng)立體圖像刺激時(shí)的真實(shí)激活模式．為了防范這種問題，本文在識(shí)別模型測(cè)試序列中的10種圖形刺激時(shí)并沒有將該識(shí)別問題轉(zhuǎn)化成一個(gè)簡單的多分類問題，而是通過如下方法進(jìn)行計(jì)算．

(1) 提取每個(gè)ROI的體素集群．對(duì)于每個(gè)ROI中的每個(gè)體素，首先將模型測(cè)試序列中的10種圖形刺激輸入到體素編碼模型中得到10種預(yù)測(cè)激活響應(yīng)，并按照?qǐng)D形刺激的類別(字母圖形和形狀圖形)分為兩類各5種．同時(shí)每個(gè)體素共有50種真實(shí)激活響應(yīng)，這些激活響應(yīng)分別對(duì)應(yīng)了10種圖形刺激，即每種圖形刺激對(duì)應(yīng)了5種真實(shí)激活響應(yīng)，計(jì)算每5種真實(shí)激活響應(yīng)的平均值即可得到10種平均真實(shí)激活響應(yīng)．將得到10種平均真實(shí)激活響應(yīng)按照?qǐng)D形刺激的類別分為兩類各5種．分別計(jì)算每類5種真實(shí)激活響應(yīng)與對(duì)應(yīng)的5種預(yù)測(cè)激活響應(yīng)的皮爾遜相關(guān)系數(shù)，得到兩類各1個(gè)相關(guān)性系數(shù)；并將其分別作為預(yù)測(cè)字母圖形刺激和形狀圖形刺激的模型預(yù)測(cè)準(zhǔn)確率．分別按照這兩種預(yù)測(cè)準(zhǔn)確率的高低對(duì)ROI中的體素進(jìn)行排序，從而構(gòu)建出兩種新的體素排序序列，即字母排序序列和形狀排序序列．對(duì)于后續(xù)的解碼分析，在識(shí)別字母圖形刺激時(shí)，選取形狀排序序列中預(yù)測(cè)準(zhǔn)確率最高的前個(gè)體素構(gòu)成一個(gè)體素集群并進(jìn)行后續(xù)的解碼分析．同理，在識(shí)別形狀圖形刺激時(shí)，選取字母排序序列中預(yù)測(cè)準(zhǔn)確率最高的前個(gè)體素構(gòu)成一個(gè)體素集群并進(jìn)行后續(xù)的解碼分析．的變化范圍為10到對(duì)應(yīng)ROI的體素?cái)?shù)量，變化間隔為5個(gè)體素．

?(3)

其中

?(4)

2.4?基于體素編碼模型的編碼分析

解碼分析的結(jié)果可以直接衡量不同ROI間識(shí)別準(zhǔn)確率的差異，從而定位識(shí)別立體圖形刺激能力最強(qiáng)的腦區(qū)．然而，對(duì)于體素級(jí)的分析，使用解碼分析方法很難做到．因此，為了更全面地分析數(shù)據(jù)，編碼分析也是一種必要的分析手段．在編碼分析中，本文研究目的旨在可以直觀看出人腦各個(gè)腦區(qū)中具有較高模型預(yù)測(cè)準(zhǔn)確率的體素分布．基于此目的，本文首先將在解碼分析中為每個(gè)體素定義的預(yù)測(cè)字母圖形刺激和預(yù)測(cè)形狀圖形刺激時(shí)的兩個(gè)模型預(yù)測(cè)準(zhǔn)確率進(jìn)行平均，并將該平均值作為每個(gè)體素預(yù)測(cè)全部圖形刺激的模型預(yù)測(cè)準(zhǔn)確率．而后，本文將0.2設(shè)為閾值，將預(yù)測(cè)準(zhǔn)確率高于該閾值的體素映射到人腦皮層上，該閾值的設(shè)定參考了前人的研究[29-34]．

3?實(shí)驗(yàn)結(jié)果

3.1?解碼分析結(jié)果

圖2展示了2個(gè)被試10個(gè)ROI的識(shí)別準(zhǔn)確率．本文分別將10個(gè)ROI的體素集群作為樣本使用SPSS軟件(版本20.0)進(jìn)行了單樣本T檢驗(yàn)，從而檢驗(yàn)各個(gè)ROI的識(shí)別準(zhǔn)確率是否顯著高于隨機(jī)水平，單樣本T檢驗(yàn)結(jié)果如表1所示．表1中“#”表示對(duì)應(yīng)ROI的識(shí)別準(zhǔn)確率不顯著高于隨機(jī)水平．結(jié)果表明，被試1的V1、V2d、V2v、V3v和hV4的識(shí)別準(zhǔn)確率顯著高于隨機(jī)水平且＜0.0005．被試2的V3d和V7的識(shí)別準(zhǔn)確率顯著高于隨機(jī)水平且＜0.0005．

表1?ROI的單樣本T檢驗(yàn)結(jié)果

Tab.1?One-sample T test results of ROIs

圖2?ROI的識(shí)別準(zhǔn)確率

圖3和圖4展示了2個(gè)被試V1中體素集群的識(shí)別準(zhǔn)確率變化曲線，縱坐標(biāo)表示體素集群的識(shí)別準(zhǔn)確率，橫坐標(biāo)表示體素集群含有的體素?cái)?shù)量．圖右上方的數(shù)字表示了圖2中V1的準(zhǔn)確率，該準(zhǔn)確率通過平均V1中所有體素集群識(shí)別準(zhǔn)確率來得到．從圖中可以看出，如果把體素集群數(shù)量限定在固定的范圍內(nèi)(體素?cái)?shù)量大于400)，兩個(gè)被試的V1均可以獲得穩(wěn)定且較高的識(shí)別準(zhǔn)確率．

圖3?被試1的V1中體素集群的識(shí)別準(zhǔn)確率變化曲線

圖4 被試2的V1中體素集群的識(shí)別準(zhǔn)確率變化曲線

圖5展示了2個(gè)被試9個(gè)組合ROI的識(shí)別準(zhǔn)確率．本文分別將9個(gè)組合ROI的體素集群作為樣本使用SPSS軟件(版本20.0)進(jìn)行了單樣本T檢驗(yàn)，從而檢驗(yàn)各個(gè)組合ROI的識(shí)別準(zhǔn)確率是否顯著高于隨機(jī)水平，單樣本T檢驗(yàn)結(jié)果如表2所示．表2中“#”表示對(duì)應(yīng)組合ROI的識(shí)別準(zhǔn)確率不顯著高于隨機(jī)水平．單樣本T檢驗(yàn)結(jié)果表明，被試1的所有組合ROI的識(shí)別準(zhǔn)確率均顯著高于隨機(jī)水平且＜0.0005．被試2的V1＋V3d和V1＋V5的識(shí)別準(zhǔn)確率顯著高于隨機(jī)水平(V1＋V3d：＜0.0005；V1＋V5：＜0.001)，V1＋V7的識(shí)別準(zhǔn)確率邊緣顯著高于隨機(jī)水平且＝0.053．

表2?組合ROI的單樣本T檢驗(yàn)結(jié)果

Tab.2?One-sample T test results of combine ROIs

注：表中的值為單樣本T檢驗(yàn)后得到的值.

圖5?組合ROI的識(shí)別準(zhǔn)確率

3.2?編碼分析結(jié)果

圖6展示了兩個(gè)被試模型預(yù)測(cè)準(zhǔn)確率的大腦皮層映射．圖中橘黃色區(qū)域表示預(yù)測(cè)準(zhǔn)確率高于0.2的區(qū)域．可以看出兩個(gè)被試模型預(yù)測(cè)準(zhǔn)確率較高的體素均主要分布在初級(jí)視覺區(qū)(V1，V2d和V3d)中，但同時(shí)其他腦區(qū)也存在具有較高預(yù)測(cè)準(zhǔn)確率的體素．

圖6 兩個(gè)被試的模型預(yù)測(cè)準(zhǔn)確率的大腦皮層映射

4?討?論

本文研究旨在設(shè)計(jì)出一種fMRI實(shí)驗(yàn)，并提出一種可以應(yīng)用于該實(shí)驗(yàn)數(shù)據(jù)分析的體素編碼模型．基于感受野的特性，本文提取了立體圖像的二維特征構(gòu)建出基于lasso的體素編碼模型，實(shí)現(xiàn)了對(duì)立體圖像的識(shí)別．

基于10個(gè)ROI的解碼分析結(jié)果表明被試1識(shí)別準(zhǔn)確率顯著高于隨機(jī)水平的腦區(qū)為V1、V2d、V2v、V3v和hV4；而被試2識(shí)別準(zhǔn)確率顯著高于隨機(jī)水平的腦區(qū)為V3d和V7(見圖2)．這些腦區(qū)均已被證明參與了立體視覺的加工[35-36]．雖然兩個(gè)被試10個(gè)ROI的解碼分析結(jié)果沒有表現(xiàn)出很好的一致性，但是通過圖3和圖4的結(jié)果可以看出兩個(gè)被試V1腦區(qū)的立體圖像識(shí)別準(zhǔn)確率雖然隨體素集群包含的體素?cái)?shù)量變化有一定的波動(dòng)，但當(dāng)體素?cái)?shù)量大于400時(shí)，均能獲得穩(wěn)定且較高的識(shí)別準(zhǔn)確率．該結(jié)果表明V1在利用二維特征對(duì)立體視覺刺激解碼的過程中起到了關(guān)鍵作用．而兩個(gè)被試基于9個(gè)組合ROI的解碼分析結(jié)果也進(jìn)一步證明了V1對(duì)于人腦識(shí)別立體圖像的重要性(見圖5)．從圖中可以看出，兩個(gè)被試組合ROI識(shí)別準(zhǔn)確率結(jié)果的一致性有明顯提高．V1＋V3d、V1＋V7和V1＋V5均獲得了一致高于隨機(jī)水平的識(shí)別準(zhǔn)確率．表明了V3d、V7和hMT＋/V5在識(shí)別立體圖像時(shí)可以與V1協(xié)同工作并獲得較高的識(shí)別準(zhǔn)確率．值得注意的是，這3個(gè)腦區(qū)均位于背側(cè)視覺通路，而背側(cè)通路被認(rèn)為與處理視差信息有關(guān)[12]．這也進(jìn)一步加強(qiáng)了本文研究結(jié)論的說服力．

編碼分析結(jié)果表明模型預(yù)測(cè)能力強(qiáng)的體素主要分布在初級(jí)視覺區(qū)的背側(cè)部分(V1、V2d和V3d)．該結(jié)果與解碼分析結(jié)果比較相符，表明初級(jí)視覺皮層對(duì)于人腦通過二維特征去識(shí)別三維圖片具有重要作用．前人的研究也已經(jīng)證實(shí)初級(jí)視覺區(qū)與多種初級(jí)視覺特征的處理有關(guān)[33-38]，這也間接證明了本文構(gòu)建模型的合理性．

前人的研究已經(jīng)證明通過初級(jí)視覺皮層能夠利用二維特征構(gòu)建體素編碼模型解碼二維圖像[16]．本文研究則使用二維特征構(gòu)建體素編碼模型去解碼立體圖像．雖然受此影響，其識(shí)別準(zhǔn)確率低于前人對(duì)二維圖像識(shí)別準(zhǔn)確率，但是本文研究的結(jié)果進(jìn)一步證明了二維視覺特征對(duì)于分辨立體圖像同樣起到非常重要的作用．在將來的研究中，探究如何從立體圖像中合理地提取三維特征并將其用來進(jìn)行立體圖像的識(shí)別是本文筆者未來的研究方向．

5?結(jié)?語

本文研究提取了立體圖像刺激中的二維特征，并通過lasso線性回歸算法構(gòu)建了體素編碼模型，從而對(duì)fMRI數(shù)據(jù)進(jìn)行編碼和解碼分析．分析結(jié)果表明初級(jí)視覺皮層中的體素?fù)碛休^強(qiáng)的解碼能力；并且V1和背側(cè)高級(jí)視覺區(qū)具有識(shí)別立體圖像的能力．

前人的研究已經(jīng)證明通過初級(jí)視覺皮層能夠利用二維特征構(gòu)建體素編碼模型解碼二維圖像[16]．本文研究則使用二維特征構(gòu)建體素編碼模型去解碼立體圖像．其研究結(jié)果進(jìn)一步證明了二維視覺特征對(duì)于分辨立體圖像同樣起到非常重要的作用．在將來的研究中，探究如何從立體圖像中合理的提取三維特征并將其用來進(jìn)行立體圖像的識(shí)別是本文作者未來的研究方向．

［1］ Kolster H，Mandeville J B，Arsenault J T，et al. Visual field map clusters in macaque extrastriate visual cortex[J]. Journal of Neuroscience，2009，29(21)：7031-7039.

［2］ Barlow H B，Blakemore C，Pettigrew J D. The neural mechanism of binocular depth discrimination[J]. The Journal of Physiology，1967，193(2)：327-342.

［3］ Poggio G F，Gonzalez F，Krause F. Stereoscopic mechanisms in monkey visual cortex：Binocular correlation and disparity selectivity[J]. The Journal of Neuroscience，1988，8(12)：4531-4550.

［4］ Hinkle D A，Connor C E. Disparity tuning in macaque area V4[J]. Neuroreport，2001，12(2)：365-369.

［5］ Burkhalter A，Van Essen D C. Processing of color，form and disparity information in visual areas VP and V2 of ventral extrastriate cortex in the macaque monkey[J]. The Journal of Neuroscience，1986，6(8)：2327-2351.

［6］ Deangelis G C，Newsome W T. Organization of disparity-selective neurons in macaque area MT[J]. The Journal of Neuroscience，1999，19(4)：1398-1415.

［7］ Roy J P，Komatsu H，Wurtz R H. Disparity sensitivity of neurons in monkey extrastriate area MST[J]. The Journal of Neuroscience，1992，12(7)：2478-2492.

［8］ Minini L，Parker A J，Bridge H. Neural modulation by binocular disparity greatest in human dorsal visual stream[J]. Journal of Neurophysiology，2010，104(1)：169-178.

［9］ Li Y，Zhang C，Hou C，et al. Stereoscopic processing of crossed and uncrossed disparities in the human visual cortex[J]. BMC Neuroscience，2017，18(1)：80-1-15.

［10］ Sun H C，Luca M D，Ban H，et al. Differential processing of binocular and monocular gloss cues in human visual cortex[J]. Journal of Neurophysiology，2016，115(6)：2779-2790.

［11］ Finlayson N J，Zhang X，Golomb J D. Differential patterns of 2D location versus depth decoding along the visual hierarchy[J]. NeuroImage，2017，147：507-516.

［12］ Goncalves N R，Ban H，Sánchez-Panchuelo R M，et al. 7 Tesla fMRI reveals systematic functional organization for binocular disparity in dorsal visual cortex[J]. The Journal of Neuroscience，2015，35(7)：3056-3072.

［13］ Preston T J，Li S，Kourtzi Z，et al. Multivoxel pattern selectivity for perceptually relevant binocular disparities in the human brain[J]. The Journal of Neuroscience，2008，28(44)：11315-11327.

［14］ Georgieva S，Peeters R，Kolster H，et al. The processing of three-dimensional shape from disparity in the human brain[J]. The Journal of Neuroscience，2009，29(3)：727-742.

［15］ Patten M L，Welchman A E. fMRI activity in posterior parietal cortex relates to the perceptual use of binocular disparity for both signal-in-noise and feature difference tasks[J]. PloS One，2015，10(11)：e0140696-1-22.

［16］ Kay K N，Naselaris T，Prenger R J，et al. Identifying natural images from human brain activity[J]. Nature，2008，452(7185)：352-355.

［17］ Stansbury D E，Naselaris T，Gallant J L. Natural scene statistics account for the representation of scene categories in human visual cortex[J]. Neuron，2013，79(5)：1025-1034.

［18］ Naselaris T，Prenger R J，Kay K N，et al. Bayesian reconstruction of natural images from human brain activity[J]. Neuron，2009，63(6)：902-915.

［19］ Zuiderbaan W，Harvey B M，Dumoulin S O. Image identification from brain activity using the population receptive field model[J]. PloS One，2017，12(9)：e0183295-1-17.

［20］ Wen H，Shi J，Zhang Y，et al. Neural encoding and decoding with deep learning for dynamic natural vision[J]. Cerebral Cortex，2016，28(12)，4136-4160.

［21］ Warnking J，Dojat M，Guérin-Dugué A，et al. fMRI retinotopic mapping：Step by step[J]. NeuroImage，2002，17(4)：1665-1683.

［22］ Tyler C W，Likova L T，Chen CC，et al. Extended concepts of occipital retinotopy[J]. Current Medical Imaging Reviews，2005，1(3)：319-329.

［23］ Tootell R B，Hadjikhani N，Hall E K，et al. The retinotopy of visual spatial attention[J]. Neuron，1998，21(6)：1409-1422.

［24］ Tootell R B，Hadjikhani N. Where is ‘dorsal V4’in human visual cortex? Retinotopic，topographic and functional evidence[J]. Cerebral Cortex，2001，11(4)：298-311.

［25］ Zeki S，Watson J，Lueck C，et al. A direct demonstration of functional specialization in human visual cortex[J]. The Journal of Neuroscience，1991，11(3)：641-649.

［26］ Kourtzi Z，Kanwisher N. Cortical regions involved in perceiving object shape[J]. The Journal of Neuroscience，2000，20(9)：3310-3318.

［27］ Lancaster J L，Rainey L H，Summerlin J L，et al. Automated labeling of the human brain：A preliminary report on the development and evaluation of a forward-transform method[J]. Human Brain Mapping，2015，5(4)：238-242.

［28］ Lancaster J L，Woldorff M G，Parsons L M，et al. Automated talairach atlas labels for functional brain mapping[J]. Human Brain Mapping，2015，10(3)：120-131.

［29］ Naselaris T，Olman C A，Stansbury D E，et al. A voxel-wise encoding model for early visual areas decodes mental images of remembered scenes[J]. NeuroImage，2015，105：215-228.

［30］ Hubel D H，Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat’s visual cortex[J]. The Journal of Physiology，1962，160(1)：106-154.

［31］ Hubel D H，Wiesel T N. Receptive fields and functional architecture of monkey striate cortex[J]. Journal of Physiology，1968，195(1)：215-243.

［32］ Huth A G，Nishimoto S，Vu A T，et al. A continuous semantic space describes the representation of thousands of object and action categories across the human brain[J]. Neuron，2012，76(6)：1210-1224.

［33］ Murray S O，Boyaci H，Kersten D. The representation of perceived angular size in human primary visual cortex[J]. Nature Neuroscience，2006，9(3)：429-434.

［34］ St-Yves G，Naselaris T. The feature-weighted receptive field：An interpretable encoding model for complex feature spaces[J]. NeuroImage，2018，180(10)：188-202.

［35］ Orban G A，Sunaert S，Todd J T，et al. Human cortical regions involved in extracting depth from motion[J]. Neuron，1999，24(4)：929-940.

［36］ Buckthought A，Mendola J D. Neural Mechanisms for Binocular Depth，Rivalry and Multistability[M]. London：INTECH Open Access Publisher，2012.

［37］ Nasr S，Polimeni J R，Tootell R B. Interdigitated color-and disparity-selective columns within human visual cortical areas V2 and V3[J]. The Journal of Neuroscience，2016，36(6)：1841-1857.

［38］ Nasr S，Tootell R B. Visual field biases for near and far stimuli in disparity selective columns in human visual cortex[J]. NeuroImage，2016，168：358-365.

Discrimination of Stereo Images by the Human Brain Based on fMRI

Li Yuan1，Zheng Hongna2，Yao Li2, 3，Long Zhiying3，Hou Chunping1

(1. School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China； 2. College of Information Science and Technology，Beijing Normal University，Beijing 100875，China； 3. State Key Laboratory of Cognitive Neuroscience and Learning，Beijing Normal University，Beijing 100875，China)

Vision is a main pathway for human understanding of the physical world. Binocular disparity is an important visual cue in the human brain’s estimation of depth structure in the environment. Therefore，exploring the neural mechanism of disparity processing is essential for understanding the human visual system. Functional magnetic resonance imaging(fMRI)technology provides an effective method for the study of binocular disparity in humans. Although some fMRI studies have explored the neural mechanism of binocular disparity processing，it has remained unclear as to how to discriminate stereo images from the observed fMRI data. In this study，an fMRI experiment was designed and the artificial stereo images by random dot stereograms were used as experimental stimuli. Compared with the natural stereo image，the image features in the artificial stereo image can be extracted more easily. Considering the characteristics of the experiment designed，a voxel-wise encoding model based on lasso was proposed. The model with the sparsity of the visual receptive field can utilize the 2D visual features of stereo images to perform encoding and decoding analyses from fMRI data. The encoding analysis results indicated that the voxels were distributed in various visual areas，which could accurately predict the human brain signals from stereo images by voxel-wise encoding models. Most of these voxels were distributed in the primary visual areas V1，V2d and V3d. The decoding analysis results indicated that primary visual area V1 had higher discriminative power to stereo image by using 2D features of stereo images. Moreover，the dorsal visual areas V3d，V7 and hMT＋/V5 could work with V1 to discriminate stereo images.

functional magnetic resonance imaging(fMRI)；voxel-wise encoding model；decoding；stereo vision

10.11784/tdxbz201808004

TP3-05

A

0493-2137(2019)06-0608-10

2018-08-01；

2018-09-20.

李?元（1987—），男，博士研究生，liyuan06024209@hotmail.com.

侯春萍，hcp@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(61520106002，61471262)；國家自然科學(xué)基金重點(diǎn)資助項(xiàng)目(61731003).

the National Natural Science Foundation of China(No.61520106002，No.61471262)，the Key Program of the National Natural Science Foundation of China(No.61731003).

(責(zé)任編輯：王曉燕)