視頻與數(shù)據(jù)聯(lián)動采集與分析系統(tǒng)

劉朝輝， 熊建文， 吳先球

(華南師范大學(xué)物理與電信工程學(xué)院，廣州 510006)

?

視頻與數(shù)據(jù)聯(lián)動采集與分析系統(tǒng)

劉朝輝， 熊建文*， 吳先球

(華南師范大學(xué)物理與電信工程學(xué)院，廣州 510006)

摘要：提出了一種實驗視頻與實驗數(shù)據(jù)同步采集系統(tǒng)，利用網(wǎng)絡(luò)攝像頭采集現(xiàn)場視頻，自行設(shè)計基于ARM Cortex-M內(nèi)核芯片STM32F103RBT6的網(wǎng)絡(luò)數(shù)據(jù)采集卡采集實驗現(xiàn)場數(shù)據(jù)．視頻和數(shù)據(jù)都通過以太網(wǎng)以TCP協(xié)議傳輸?shù)接嬎銠C(jī)處理．采用虛擬儀器軟件LabVIEW對采集到的數(shù)據(jù)進(jìn)行可視化呈現(xiàn)和數(shù)據(jù)分析，利用時間索引實現(xiàn)視頻和數(shù)據(jù)聯(lián)動分析與檢索，根據(jù)實驗數(shù)據(jù)變化點和實驗關(guān)鍵點檢索對應(yīng)實驗細(xì)節(jié)視頻和數(shù)據(jù)波形．該系統(tǒng)為實驗視頻與數(shù)據(jù)分析提供更為全面、完整、精確的依據(jù)，提高其分析效率和科學(xué)性．

關(guān)鍵詞：實驗視頻； 數(shù)據(jù)采集； LabVIEW

常規(guī)的實驗記錄方式有書面、數(shù)據(jù)采集和實驗現(xiàn)象拍照錄像等方式，數(shù)據(jù)采集和實驗現(xiàn)場錄像可以為實驗分析提供有效依據(jù)，現(xiàn)實中很多物理實驗耗時長，數(shù)據(jù)量大，現(xiàn)象復(fù)雜，實驗視頻和數(shù)據(jù)需要實驗分析者耗費大量時間梳理、整合、分析，效率較低．雖然已經(jīng)提出了利用視頻對實驗過程進(jìn)行評價的方法[1]，但仍然存在分析效率和全面性的局限．本文提出一種視頻與數(shù)據(jù)聯(lián)動采集系統(tǒng)，可同步采集實驗視頻和實驗數(shù)據(jù)，經(jīng)過軟件處理后對實驗數(shù)據(jù)進(jìn)行分析和挖掘，直接將實驗數(shù)據(jù)的變化和整體趨勢以可視化圖像的形式呈現(xiàn)出來，并可根據(jù)實驗數(shù)據(jù)變化聯(lián)動檢索實驗視頻和數(shù)據(jù)波形細(xì)節(jié)，為實驗數(shù)據(jù)分析提供全面、精確、完整的依據(jù)，提高實驗分析的效率和科學(xué)性．

1系統(tǒng)設(shè)計與實現(xiàn)

1.1系統(tǒng)設(shè)計

視頻與數(shù)據(jù)聯(lián)動采集系統(tǒng)應(yīng)用于實驗過程記錄和分析，所記錄的視頻清晰度和數(shù)據(jù)精確完整度要滿足實驗分析要求．系統(tǒng)設(shè)計結(jié)構(gòu)(圖1)主要包括：網(wǎng)絡(luò)數(shù)據(jù)采集器、網(wǎng)絡(luò)攝像頭、用于數(shù)據(jù)與視頻記錄分析的計算機(jī)．系統(tǒng)前端包含數(shù)據(jù)采集和視頻采集模塊，實驗數(shù)據(jù)的采集通過網(wǎng)絡(luò)數(shù)據(jù)采集卡完成，普通物理學(xué)實驗主要包含力學(xué)、熱學(xué)、光學(xué)、電學(xué)實驗內(nèi)容[2]，實驗所涉及的物理量通過相關(guān)的傳感器轉(zhuǎn)換為可采集的電壓信號后傳輸?shù)骄W(wǎng)絡(luò)數(shù)據(jù)采集卡進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)傳輸．實驗視頻采集通過網(wǎng)絡(luò)攝像頭完成．采集到的實驗視頻和實驗數(shù)據(jù)都采用同一IEEE 802.3 兼容的以太網(wǎng)傳輸，計算機(jī)接收到實驗視頻和實驗數(shù)據(jù)后進(jìn)行數(shù)據(jù)記錄與分析．

圖1　視頻與數(shù)據(jù)聯(lián)動采集系統(tǒng)結(jié)構(gòu)

Figure 1Structure of video and data synchronous acquisition system

1.2網(wǎng)絡(luò)數(shù)據(jù)采集

1.2.1網(wǎng)絡(luò)數(shù)據(jù)采集卡的硬件設(shè)計本實驗數(shù)據(jù)記錄系統(tǒng)要滿足實時、可靠和低成本等3個條件．?dāng)?shù)據(jù)采集器有2路數(shù)據(jù)采集，采樣率在5～100 KBps范圍內(nèi)(可根據(jù)實驗要求調(diào)節(jié))，8位采樣精度，前端模擬放大器信號輸入范圍為-8～+8 V．針對不同物理實驗設(shè)置不同傳感器和信號調(diào)理電路，通過信號轉(zhuǎn)換、電壓偏置和信號放大等一系列模擬信號調(diào)理，把力、熱、電和光等物理實驗信號轉(zhuǎn)換成可采集的模擬電壓信號，傳輸?shù)綌?shù)據(jù)采集卡進(jìn)行模數(shù)轉(zhuǎn)換和數(shù)據(jù)傳輸．

網(wǎng)絡(luò)數(shù)據(jù)采集卡核心采用意法半導(dǎo)體出品的高性能、低成本、低功耗ARM Cortex-M內(nèi)核芯片STM32F103RBT6[3]，該芯片內(nèi)置了模擬數(shù)字轉(zhuǎn)換器ADC、DMA直接存儲器訪問、通用定時器和串行外設(shè)接口SPI等資源．以太網(wǎng)絡(luò)芯片采用MicroChip公司SPI總線的網(wǎng)絡(luò)芯片ENC28J60，該芯片是一款帶有標(biāo)準(zhǔn)行業(yè)串行外設(shè)接口的獨立以太網(wǎng)控制器,與STM32F103RBT6的SPI的接口通信．采集到的實驗數(shù)據(jù)通過IEEE 802.3 兼容的以太網(wǎng)傳輸?shù)接嬎銠C(jī)進(jìn)行處理．網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)的設(shè)計框架如圖2所示．

圖2　網(wǎng)絡(luò)數(shù)據(jù)采集卡結(jié)構(gòu)

STM32F103RBT6內(nèi)置ADC的輸入范圍是0～3.3 V，測試信號因傳感器不同而電壓范圍不同，因此必須對測量信號進(jìn)行抬升、放大或衰減等模擬信號調(diào)理．本網(wǎng)絡(luò)數(shù)據(jù)采集卡采用LM324四運放搭建的同相衰減放大電路，通過抬升輸入電壓，結(jié)合衰減和放大倍數(shù)，將輸入到采集卡的模擬電壓信號調(diào)節(jié)在ADC輸入范圍之內(nèi)．

1.2.2網(wǎng)絡(luò)數(shù)據(jù)采集的軟件設(shè)計STM32F103RBT6單片機(jī)是數(shù)模轉(zhuǎn)換和數(shù)據(jù)緩沖、數(shù)據(jù)傳輸?shù)暮诵模?dāng)采集到的數(shù)據(jù)以DMA方式存滿2 Kbytes內(nèi)置RAM空間后，立即控制網(wǎng)絡(luò)芯片通過以太網(wǎng)TCP協(xié)議傳輸緩沖的數(shù)據(jù)，保證實驗數(shù)據(jù)實時、可靠、完整的傳輸．

網(wǎng)絡(luò)數(shù)據(jù)采集卡采用ENC28J60以太網(wǎng)控制器和uIP1.0以太網(wǎng)協(xié)議棧實現(xiàn)采集卡與計算機(jī)的通信[4]．uIP協(xié)議棧由瑞典計算機(jī)科學(xué)學(xué)院的Adam Dunkels開發(fā)，通過去掉TCP/IP中不常被用到的功能，簡化TCP/IP的通信流程，但依然擁有保證網(wǎng)絡(luò)通信的基本功能．采集卡以TCP服務(wù)器模式等待客戶端連接，默認(rèn)端口是1200，計算機(jī)是TCP客戶端．

STM32F103RBT6芯片本身包含有2個12位逐次逼近型的模擬數(shù)字轉(zhuǎn)換器，有18個通道，可測量16個外部信號源和2個內(nèi)部信號源，各個通道能執(zhí)行單次、連續(xù)、掃描或間斷模式．本數(shù)據(jù)采集卡采用ADC1的規(guī)則通道單次掃描轉(zhuǎn)換，即規(guī)則通道有多個轉(zhuǎn)換，每次每個轉(zhuǎn)換只執(zhí)行一次，為減少數(shù)據(jù)傳輸量，只緩沖和傳輸模數(shù)轉(zhuǎn)換后數(shù)據(jù)的高8位．在定時器4中斷處理程序中件控制ADC轉(zhuǎn)換，通過調(diào)整定時器的載入值調(diào)整模數(shù)轉(zhuǎn)換采樣率．采集到的數(shù)據(jù)通過直接存儲器訪問DMA模式存儲到指定的內(nèi)存空間并在DMA中斷中停止定時器4以達(dá)到停止ADC模數(shù)轉(zhuǎn)換的目的，DMA傳輸中斷程序中同時觸發(fā)TCP中斷標(biāo)志將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)去．?dāng)?shù)據(jù)采集和傳輸?shù)牧鞒倘鐖D3所示，實際程序中的模數(shù)轉(zhuǎn)換和數(shù)據(jù)發(fā)送控制在DMA中斷處理程序中完成[5]．

圖3　數(shù)據(jù)采集和傳輸?shù)牧鞒?/p>

1.3網(wǎng)絡(luò)視頻采集

實驗視頻的清晰度要滿足實驗觀察要求，同時要兼顧視頻傳輸帶寬和視頻存儲的系統(tǒng)要求，本系統(tǒng)采用聯(lián)視威PNP T系列網(wǎng)絡(luò)攝像頭，支持640×480分辨率，自帶云臺，具有低照度補(bǔ)光功能，網(wǎng)絡(luò)攝像頭帶軟件開發(fā)包．

視頻與數(shù)據(jù)記錄軟件采用LabVIEW2013編寫，LabVIEW是由美國國家儀器(NI)公司研制開發(fā)的圖形化編輯語言，程序是框圖的形式，結(jié)構(gòu)清晰，便于針對不同實驗快速調(diào)整和修改．軟件以ActiveX方式調(diào)用攝像頭的開發(fā)包，開發(fā)包建立在數(shù)據(jù)通訊和視頻處理軟件上層，提供調(diào)用接口，通過設(shè)置攝像頭開發(fā)包的IAxRemote控件參數(shù)實現(xiàn)云臺控制、視頻屬性設(shè)置、網(wǎng)絡(luò)錄像功能．以LabVIEW編寫的網(wǎng)絡(luò)攝像頭控制和錄像程序框圖如圖4所示．該視頻記錄系統(tǒng)錄制的視頻格式為AVI格式．

圖4　網(wǎng)絡(luò)攝像頭控制和錄像程序框圖

2實驗視頻與數(shù)據(jù)分析軟件設(shè)計

視頻與數(shù)據(jù)分析在計算機(jī)端完成，軟件主要分為2個部分：一是對全局實驗數(shù)據(jù)變化趨勢的可視化呈現(xiàn)，分析和挖掘出實驗關(guān)鍵數(shù)據(jù)點，便于找出實驗規(guī)律和實驗關(guān)鍵點；二是根據(jù)實驗關(guān)鍵數(shù)據(jù)檢索相關(guān)實驗視頻和具體實驗數(shù)據(jù)，顯示關(guān)鍵的實驗細(xì)節(jié)視頻和實驗數(shù)據(jù)波形，便于高效地分析實驗細(xì)節(jié)．LabVIEW有強(qiáng)大的數(shù)據(jù)處理功能，可發(fā)揮計算機(jī)的數(shù)據(jù)處理能力，利用軟件實現(xiàn)傳統(tǒng)硬件儀器所具有的功能[6]．軟件內(nèi)置大量諸如波形顯示、數(shù)字表頭、數(shù)字信號處理、波形分析、文件存取和硬件讀寫等子程序和控件[7]，以這些成熟的子程序和控件為基礎(chǔ)，在短時間內(nèi)開發(fā)出界面友好、性能優(yōu)良的虛擬儀器．針對不同的物理實驗，只要進(jìn)行相關(guān)控件和程序的增加或修改就可完成不同物理量的采集和分析．

2.1全局實驗數(shù)據(jù)變化趨勢的可視化呈現(xiàn)與分析

軟件對采集到的2路電壓信號進(jìn)行數(shù)據(jù)處理，采用LabVIEW編程實現(xiàn)對全局實驗數(shù)據(jù)變化趨勢的可視化呈現(xiàn)、分析和挖掘．實驗數(shù)據(jù)以LabVIEW的Waveform數(shù)據(jù)格式存儲，該格式可記錄多通道數(shù)據(jù)的絕對時間、采樣率、幅度值．軟件對存儲的各通道的數(shù)據(jù)進(jìn)行讀取，并按照相關(guān)實驗物理量的定標(biāo)進(jìn)行幅值轉(zhuǎn)換，根據(jù)數(shù)據(jù)記錄起始時間、采樣率和采樣點數(shù)實現(xiàn)實驗物理量數(shù)據(jù)還原，通過LabVIEW的Waveform Graph顯示控件顯示數(shù)據(jù)波形．對實驗數(shù)據(jù)的進(jìn)一步挖掘可以為實驗分析提供更為直觀有效的參考依據(jù)，信號的頻率、幅度、直流偏置是物理實驗信號的重要參數(shù)，采用LabVIEW內(nèi)置信號周期分析子程序“Cycle Average and RMS VI”完成周期電壓信號頻率的計算，LabVIEW內(nèi)置數(shù)字信號處理子程序“Amplitude and Levels VI”完成信號的直流值和電壓峰峰幅度值提取，Waveform Graphs圖像顯示形式直接顯示實驗數(shù)據(jù)波形[8]．圖5C顯示以實驗時間索引的實驗過程全局物理量變化趨勢，分為信號頻率軸、直流電壓軸、電壓幅度軸和階段軸等4個主軸，縱軸代表各物理量的幅度，橫軸上設(shè)有可以自由拖動的實驗時間游標(biāo)．頻率軸、直流軸和幅度軸整體數(shù)據(jù)變化趨勢可以反應(yīng)出全程實驗自變量和應(yīng)變量變化規(guī)律，階段軸記錄實驗過程中操作者在完成重要實驗參數(shù)調(diào)整后按下的按鍵序列，可以作為關(guān)鍵實驗步驟的標(biāo)記，便于進(jìn)行實驗細(xì)節(jié)檢索．圖5A顯示的是實驗時間游標(biāo)所在時刻對應(yīng)的具體實驗視頻．圖5B顯示的是實驗時間游標(biāo)所在時刻對應(yīng)的具體的實時實驗數(shù)據(jù)波形，下方通過數(shù)據(jù)分析顯示實時波形的頻率、峰峰值、周期和直流偏置數(shù)值．

圖5　視頻與數(shù)據(jù)記錄分析界面

根據(jù)實驗分析需要，將需要觀察的自變量和因變量數(shù)組分別輸入到LabVIEW的XY Plot控件的X軸和Y軸繪制自變量和因變量關(guān)系圖像，例如在RLC串聯(lián)電路特性實驗中，自變量信號源頻率與因變量電路中電阻R兩端的電壓響應(yīng)關(guān)系圖，直接可以反應(yīng)電路的工作點和電路參數(shù)，利用自變量和因變量的關(guān)系圖直觀判斷實驗狀況．有的情況下靜態(tài)的全局趨勢圖不足以直觀反應(yīng)實驗的動態(tài)過程，利用LabVIEW的3D Graph中的3D comet繪圖功能，將自變量和因變量按記錄序列順序依次逐個顯示，快速回放整個自變量和因變量的變化過程,這個回放過程和實驗流程對應(yīng)，通過觀察快速數(shù)據(jù)回放，更好地對實驗過程進(jìn)行定性和定量分析．

2.2聯(lián)動檢索實驗數(shù)據(jù)和實驗視頻

利用實驗全局的物理量變化趨勢圖像可以對實驗過程全局的規(guī)律進(jìn)行分析．從頭至尾完整地觀看整個實驗過程記錄進(jìn)行實驗分析的效率很低，根據(jù)實驗關(guān)鍵數(shù)據(jù)檢索相關(guān)實驗細(xì)節(jié)視頻和具體實驗數(shù)據(jù)波形，對實驗關(guān)鍵點進(jìn)行分析是提高實驗分析效率的關(guān)鍵．

視頻數(shù)據(jù)以AVI格式存儲，實驗數(shù)據(jù)以LabVIEW的Waveform數(shù)據(jù)格式存儲，2種存儲格式的文件都可以時間為索引，因此通過時間值可以將視頻和數(shù)據(jù)記錄聯(lián)動起來．在分析軟件界面上數(shù)據(jù)變化趨勢圖像上拖動游標(biāo)時，軟件后臺查找到游標(biāo)位置對應(yīng)的實驗時間，利用該時間值反向檢索視頻和數(shù)據(jù)文件，找到對應(yīng)時刻的實驗視頻和具體數(shù)據(jù)波形序列后，進(jìn)行讀取并顯示出該時刻實時視頻和數(shù)據(jù)波形，達(dá)到以游標(biāo)所在的實驗關(guān)鍵點檢索實驗細(xì)節(jié)視頻和實驗數(shù)據(jù)波形的目的，便于對實驗現(xiàn)象和實驗數(shù)據(jù)細(xì)節(jié)進(jìn)行分析．視頻與數(shù)據(jù)聯(lián)動檢索的工作流程如圖6所示．具體應(yīng)用時，可結(jié)合具體實驗原理，在峰峰值、直流、頻率和階段碼這4條軸上找到和實驗分析相關(guān)的實驗關(guān)鍵點和跳變點，將游標(biāo)移動到相應(yīng)位置，軟件界面就會聯(lián)動顯示出對應(yīng)時刻的具體實驗視頻(圖5A)和數(shù)據(jù)波形(圖5B)，便于進(jìn)行實驗細(xì)節(jié)分析．

圖6　視頻與數(shù)據(jù)聯(lián)動檢索流程

3結(jié)論

根據(jù)實驗分析要求，設(shè)計完成一個實驗視頻與數(shù)據(jù)聯(lián)動采集系統(tǒng)，并用軟件LabVIEW實現(xiàn)數(shù)據(jù)和視頻的記錄和聯(lián)動檢索．通過對全局實驗數(shù)據(jù)記錄的分析和可視化，實現(xiàn)對整個實驗過程的全局呈現(xiàn)；利用實驗數(shù)據(jù)和實驗視頻的聯(lián)動檢索，實現(xiàn)根據(jù)實驗數(shù)據(jù)變化和實驗關(guān)鍵點檢索實驗細(xì)節(jié)視頻和實驗數(shù)據(jù)，便于對實驗細(xì)節(jié)進(jìn)行分析，提高實驗分析效率和科學(xué)性．

參考文獻(xiàn)：

[1]李玉峰,熊建文.基于網(wǎng)絡(luò)技術(shù)的大學(xué)生物理實驗素養(yǎng)評價初探[J].新疆師范大學(xué)學(xué)報(自然科學(xué)版),2012,31(2):109.

LI Y F,XIONG J W.Assessment research on under-graduates’ physics experimenttal literacy based on network technology[J].Journal of Xinjiang Normal University(Natural Sciences Edition),2012,31(2):109.

[2]軒植華.大學(xué)物理實驗[M].北京:高等教育出版社, 2001:58.

[3]張旭, 亓學(xué)廣, 李世光,等.基于STM32電力數(shù)據(jù)采集系統(tǒng)的設(shè)計[J].電子測量技術(shù), 2010, 33(11):91.

ZHANG X,QI X G,LI S G,et al.Design of electric power data acquisition system based on STM32[J].Electronic Measurement Technology,2010, 33(11):91.

[4]汪三青.基于STM32的嵌入式網(wǎng)絡(luò)協(xié)議UIP的移植與分析[D].武漢:武漢理工大學(xué), 2011:66.

WANG S Q.Transplantation and analysis of embedded network protocol of UIP based STM32[D].Wuhan: Wuhan University of Technology, 2011:66.

[5]劉軍.例說STM32[M].北京:北京航空航天大學(xué)出版社, 2011:78.

[6]呂紅英,吳先球,葉穗紅,等. 用LabVIEW實現(xiàn)PC與自制信號發(fā)生器的串行通信[J].華南師范大學(xué)學(xué)報(自然科學(xué)版), 2004(3):61.

LV H Y,WU X Q,YE S H,et al.Serial communication between PC and Home-Built signal generator using LabVIEW[J].Journal of South China Normal University(Natural Science Edition),2004(3):61.

[7]陳更生, 龔桂香.虛擬儀器LabVIEW開發(fā)系統(tǒng)的組成和應(yīng)用[J].華南師范大學(xué)學(xué)報(自然科學(xué)版), 1998(4):15.

CHENG G S,GONG G X.The compositon and application of virtual instrument LabVIEW development system[J].Journal of South China Normal University(Natural Science Edition),1998(4):15.

[8]候國屏, 王珅, 葉齊鑫.LabVIEW7.1編程與虛擬儀器設(shè)計[M].北京:清華大學(xué)出版社, 2005:58.

【中文責(zé)編：莊曉瓊英文責(zé)編：肖菁】

A Video and Data Synchronous Acquisition and Analysis System

LIU Zhaohui, XIONG Jianwen*, WU Xianqiu

(School of Physics and Telecommunication Engineering, South China Normal University, Guangzhou 510006, China)

Abstract：Physical experiments require acquisition of data and recording of experimental phenomena to facilitate the detailed analysis, a video and data synchronous acquisition system is presented in this paper, using the webcam capture live video, experiment data acquisition card which is based on ARM Cortex-M core chip of STM32F103RBT6. Video and data are transferred to the computers by TCP protocol through ethernet. Data visualization and data analysis are programmed by the software called LabVIEW. Video and data linkage and analysis are based on time indexing. The retrieval of detailed experimental video and data waveforms are based on data change points and indices of the key points in experiments. The system provides a more comprehensive, complete and accurate basis for experimental analysis, improving the efficiency of experimental analysis.

Key words：video of experiments; data acquisition; LabVIEW

中圖分類號：TP391.7

文獻(xiàn)標(biāo)志碼：A

文章編號:1000-5463(2016)02-0124-05

*通訊作者:熊建文，教授，Email：jwxiong@scnu.edu.cn.

基金項目：廣東省教育部產(chǎn)學(xué)研結(jié)合項目(2011B090400199);廣東省高等教育教學(xué)研究和改革項目(GDJG20142152);廣州市科技和信息化局科普計劃項目(2014KP000043)

收稿日期：2015-03-20《華南師范大學(xué)學(xué)報(自然科學(xué)版)》網(wǎng)址：http://journal.scnu.edu.cn/n