• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于STM32和FPGA的聲源成像系統(tǒng)設(shè)計(jì)

      2018-07-27 12:23:22佘黎煌張立立
      實(shí)驗(yàn)室研究與探索 2018年7期
      關(guān)鍵詞:麥克風(fēng)聲源上位

      岳 蒂, 欒 峰, 佘黎煌, 丁 山, 張立立

      (東北大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,沈陽 110169)

      0 引 言

      近年來,隨著科學(xué)技術(shù)和生活水平的提高,人們越來越注重對聲音進(jìn)行控制和處理。而正確的確定聲音位置是實(shí)現(xiàn)聲音控制的前提,因此聲源定位技術(shù)應(yīng)運(yùn)而生[1]。多年來聲源定位是國內(nèi)外研究的重點(diǎn)課題,初期的研究主要應(yīng)用于雷達(dá)、聲吶等軍事系統(tǒng)[1]。隨著時(shí)代的發(fā)展,聲源定位技術(shù)也逐漸地應(yīng)用到民用和工業(yè)系統(tǒng)中,比如:視頻電話會議、智能機(jī)器人聽覺[2]、機(jī)器故障診斷、降噪等。隨著嵌入式技術(shù)的迅速發(fā)展,當(dāng)前市場上的聲源定位類產(chǎn)品,在設(shè)計(jì)實(shí)現(xiàn)上仍存在一些問題[3],例如,如何降低成本,如何縮小體積以提高可移動與便攜性等[4-5]。因此,聲源定位的研究與開發(fā)具有較強(qiáng)的實(shí)際價(jià)值和理論意義。本文以聲源定位算法為核心,設(shè)計(jì)了一個(gè)基于嵌入式平臺的聲源定位及成像系統(tǒng)。

      1 系統(tǒng)的硬件設(shè)計(jì)

      系統(tǒng)的主控制器使用同類產(chǎn)品中性能較高的增強(qiáng)型STM32單片機(jī),其時(shí)鐘頻率達(dá)到168 MHz、功耗低、具有更快的模數(shù)轉(zhuǎn)換速度、更強(qiáng)大的輸入/輸出端口 (input/output, I/O)復(fù)用功能以及更快的通用同步/異步串行接收/發(fā)送器(Universal Synchronous / Asynchronous Receiver / Transmitter, USART)和串行外設(shè)接口(Serial Peripheral Interface, SPI)通信速度[6]。系統(tǒng)主要包括FPGA模塊、TF卡模塊、FSMC接口、USB模塊和Qt上位機(jī)等模塊。

      整體框架如圖1所示。TF卡模塊負(fù)責(zé)存儲數(shù)據(jù)、USB模塊負(fù)責(zé)下位機(jī)與Qt上位機(jī)之間的數(shù)據(jù)通信、Qt上位機(jī)負(fù)責(zé)將系統(tǒng)得到的聲源信息通過圖形用戶界面顯示出來。綜合設(shè)計(jì)實(shí)現(xiàn)了對空間區(qū)域內(nèi)進(jìn)行聲源定位并通過上位機(jī)進(jìn)行聲源成像顯示的功能。

      圖1 系統(tǒng)的整體框架圖

      1.1 TF卡模塊

      由于系統(tǒng)所需數(shù)據(jù)量大、占用空間多,而STM32自身的內(nèi)存空間有限,大多數(shù)情況下需要從外部設(shè)備讀取數(shù)據(jù)再做處理,因此系統(tǒng)需要引入數(shù)據(jù)存儲單元。針對小型嵌入式系統(tǒng),大多都使用SD卡或TF卡。開發(fā)板板載的是TF卡接口,STM32系列芯片上帶有SDIO 控制器[7],iCore3 核心板上將SDIO 連接到TF卡座上,硬件連接如圖2所示。

      圖2 TF卡模塊

      1.2 FPGA模塊

      雖然STM32已經(jīng)有一定的運(yùn)算速度,但是由于該系統(tǒng)工程計(jì)算量和數(shù)據(jù)量較大,如果運(yùn)算速度低,實(shí)時(shí)性和工程實(shí)現(xiàn)效果將不能得到保證。FPGA擁有時(shí)鐘頻率高、內(nèi)部延遲小、工作效率高、并行運(yùn)行、存儲方式多樣、設(shè)計(jì)靈活通用和全部的控制邏輯由硬件完成等優(yōu)點(diǎn)[8-9]。因此系統(tǒng)采用FPGA模塊實(shí)現(xiàn)系統(tǒng)中運(yùn)算量比較大的矩陣自相關(guān)計(jì)算。

      綜合使用鎖相環(huán)(Phase Locked Loop, PLL)倍頻、雙口隨機(jī)存取存儲器(Random Access Memory, RAM)、乘法器等模塊,并通過Verilog HDL語言編程實(shí)現(xiàn)此功能。FPGA模塊中的整體電路架構(gòu)如圖3所示。

      圖3 FPGA模塊的整體電路架構(gòu)圖

      1.3 USB 模塊

      iCore3開發(fā)板的USB接口通過調(diào)用STM32的庫來實(shí)現(xiàn)STM32的USB設(shè)備通信,由于STM32 芯片不帶高速物理層(Physical Layer,PHY),這里用STM32和USB330連接的方式來實(shí)現(xiàn)數(shù)據(jù)的高速傳輸,硬件連接示意圖如圖4所示。

      圖4 USB模塊

      1.4 FSMC高速并行傳輸模塊

      可變靜態(tài)存儲控制器FSMC是STM32系列采用一種新型的存儲器擴(kuò)展技術(shù),在外部存儲器擴(kuò)展方面具有獨(dú)特的優(yōu)勢,可根據(jù)系統(tǒng)的應(yīng)用需要,方便地進(jìn)行不同類型大容量靜態(tài)存儲器的擴(kuò)展[10]。本系統(tǒng)主要用FSMC來實(shí)現(xiàn)STM32與FPGA 間高速并行的數(shù)據(jù)傳輸。STM32自帶FSMC 控制器,本系統(tǒng)為實(shí)現(xiàn)FSMC 與FPGA 之間的通信,在FPGA 內(nèi)部建立一個(gè)RAM塊,F(xiàn)PGA橋接STM32和RAM塊,通過FSMC總線從STM32向RAM塊中寫入數(shù)據(jù),然后FPGA讀取RAM 中的數(shù)據(jù)進(jìn)行運(yùn)算。FSMC總線連接的原理圖如圖5所示。

      圖5 FSMC接口原理圖

      1.5 Qt上位機(jī)

      本文利用基于STM32與FPGA搭建的系統(tǒng)來實(shí)現(xiàn)聲源定位成像,數(shù)據(jù)包含聲音和圖像。上位機(jī)主要是將計(jì)算得到的聲源位置信息通過圖形用戶界面顯示出來。本系統(tǒng)采用Qt圖形界面框架作為上位機(jī)顯示軟件,設(shè)計(jì)如圖6所示的界面,實(shí)現(xiàn)如下功能:上位機(jī)點(diǎn)擊連接按鈕向下位機(jī)發(fā)送連接請求,下位機(jī)進(jìn)行連接,連接成功后,上位機(jī)通過向下位機(jī)發(fā)送命令完成數(shù)據(jù)傳輸,上位機(jī)接收數(shù)據(jù)并進(jìn)行處理和顯示。

      圖6 Qt上位機(jī)圖形界面

      本系統(tǒng)中,上位機(jī)接收兩個(gè)類型數(shù)據(jù):一是當(dāng)前的圖片數(shù)據(jù),二是經(jīng)系統(tǒng)運(yùn)算得到的聲音強(qiáng)度數(shù)據(jù)。圖片數(shù)據(jù)不做任何處理,在聲音強(qiáng)度數(shù)據(jù)經(jīng)過均值濾波后,使用RGB888類型的調(diào)用函數(shù)將聲音強(qiáng)度數(shù)據(jù)與圖像數(shù)據(jù)的紅(Red,R)、綠(Green,G)、藍(lán)(Blue,B)3個(gè)分量按照顯色原理進(jìn)行疊加,最后將合成后的圖像進(jìn)行顯示。

      2 系統(tǒng)的軟件設(shè)計(jì)

      本系統(tǒng)的主程序流程圖如圖7所示,主要由初始化程序、數(shù)據(jù)調(diào)用程序、聲源定位算法、數(shù)據(jù)傳輸程序、均值濾波算法、數(shù)據(jù)成像程序等幾部分組成。系統(tǒng)上位機(jī)為Qt,下位機(jī)主要為STM32,F(xiàn)PGA歸STM32控制。系統(tǒng)啟動后,首先進(jìn)行初始化。然后由Qt發(fā)起信號建立連接,STM32處于連接檢測狀態(tài),直至連接成功。成功后STM32將TF卡內(nèi)的聲音原始數(shù)據(jù)按照要求提取,并將數(shù)據(jù)做簡單處理后送入FPGA進(jìn)行自相關(guān)運(yùn)算,再經(jīng)過算法處理后, STM32將得到的數(shù)據(jù)做索引排序后將有用數(shù)據(jù)保留并寫入TF卡中。接下來STM32將處理完后的結(jié)果和圖像數(shù)據(jù)送入上位機(jī)。上位機(jī)接收到聲音強(qiáng)度數(shù)據(jù)和圖像數(shù)據(jù)后,先進(jìn)行均值濾波再進(jìn)行成像顯示,至此,系統(tǒng)實(shí)現(xiàn)了聲源定位及成像顯示的全過程。

      圖7 系統(tǒng)的主程序流程圖

      2.1 聲源定位算法

      在麥克風(fēng)陣列聲源定位方法中,基于到達(dá)時(shí)間差(Time Difference of Arrival,TDOA)的聲源定位算法有著運(yùn)算原理易于理解、定位精度較高等特點(diǎn),因此適用于在嵌入式設(shè)備上實(shí)現(xiàn)?;赥DOA的聲源定位算法實(shí)現(xiàn)過程,一般分為延時(shí)估計(jì)和聲源定位兩個(gè)部分,時(shí)延估計(jì)的精確度直接決定了聲源定位的精度,所以是算法的核心部分[11-12]。時(shí)延估計(jì)方法有很多,應(yīng)用較為廣泛的是基于相關(guān)分析的估計(jì)方法[13]。

      (1) TDOA時(shí)延估計(jì)算法原理。聲波在空氣中以一定的速度傳播,不同位置的麥克風(fēng)接收到的聲音信號有不同的相位,利用彼此間的相位差可獲取同一個(gè)聲源信號到達(dá)每個(gè)麥克風(fēng)的時(shí)間延遲。在近場模型中,聲源的時(shí)延如圖8所示。Mi、Mj為兩個(gè)麥克風(fēng),M0為參考麥克風(fēng),Xi(n)、Xj(n)為兩個(gè)麥克風(fēng)接收到的聲音信號,d為兩個(gè)麥克風(fēng)之間的距離,t為信號到達(dá)兩麥克風(fēng)之間的時(shí)間延遲,c為聲音在空氣中的傳播速度,c·t為聲程差,為任意點(diǎn)聲源到達(dá)各個(gè)麥克風(fēng)的距離,為任意點(diǎn)聲源到達(dá)參考麥克風(fēng)的距離。

      圖8 聲源的時(shí)延原理圖

      (2) TDOA 時(shí)延估計(jì)算法中的自相關(guān)。已知聲源所在平面與麥克風(fēng)所在平面平行,且距離、麥克風(fēng)的坐標(biāo)已知,假設(shè)聲源處在圖像的某一塊區(qū)域內(nèi),則可計(jì)算出任意點(diǎn)聲源到達(dá)各個(gè)麥克風(fēng)的距離L和參考原點(diǎn)的距離L0:

      從而計(jì)算出聲源到達(dá)每個(gè)麥克風(fēng)與參考原點(diǎn)的相對距離差[14]:

      ΔL=L-L0

      (3)

      在已知聲音在空氣中的傳播速度v和采樣頻率f就可以得出每個(gè)麥克風(fēng)相對于參考原點(diǎn)的相對時(shí)延:

      (4)

      將實(shí)際的聲音數(shù)據(jù)按照每一區(qū)域內(nèi)相對于參考原點(diǎn)的相對時(shí)延做延遲后取出每一區(qū)域的多通道數(shù)據(jù)分別構(gòu)成矩陣A,將這些矩陣分別自相關(guān),歸一化后構(gòu)成聲音強(qiáng)度矩陣SP,聲音強(qiáng)度矩陣中的值越大則對應(yīng)的區(qū)域是聲源位置的可能性就越大[15]。

      SP=ATA

      (5)

      2.2 基于FPGA的自相關(guān)運(yùn)算

      通常情況下,矩陣自相關(guān)按照定義的方法編碼即可,但是在FPGA中需要一次性用矩陣兩列對應(yīng)位置上的元素同時(shí)相乘,而如果矩陣每一列的元素?cái)?shù)量比較大,一般的 FPGA 芯片的資源有限,難以滿足要求。因此將的自相關(guān)運(yùn)算簡化為的任意一行數(shù)據(jù)和的每一列數(shù)據(jù)的相關(guān)運(yùn)算,經(jīng)實(shí)驗(yàn)驗(yàn)證此方法歸一化后與完整的自相關(guān)歸一化后定位效果一致。

      TF卡中存儲的數(shù)據(jù)類型是浮點(diǎn)型,在Quartus II中,兩個(gè)浮點(diǎn)數(shù)相乘至少需要5個(gè)時(shí)鐘周期,這樣對程序運(yùn)行速度、時(shí)間以及設(shè)計(jì)難度產(chǎn)生了負(fù)面影響。為了加快運(yùn)行速度,又由于FSMC是16位的數(shù)據(jù)線,因此將浮點(diǎn)數(shù)處理為16位整型數(shù)據(jù)進(jìn)行運(yùn)算。為了節(jié)省FPGA內(nèi)的資源,最終選擇用乘累加的方法來實(shí)現(xiàn)該運(yùn)算,基本流程如圖9所示。I1和I2是乘法器的兩個(gè)輸入,矩陣的元素按照行的順序依次流入通道,每一行的第一個(gè)元素賦給I1,剩下的幾個(gè)元素依次賦給I2,逐次依此進(jìn)行乘累加和運(yùn)算,即可得到自相關(guān)結(jié)果。

      圖9 自相關(guān)數(shù)據(jù)流動圖

      3 系統(tǒng)功能測試

      為了驗(yàn)證此套設(shè)計(jì)方案的合理性,先對設(shè)計(jì)聲源成像系統(tǒng)進(jìn)行分模塊的功能測試,再對整體進(jìn)行性能測試。

      3.1 FSMC總線與FPGA通信測試

      在FPGA內(nèi)部建立RAM塊,通過FSMC總線從STM32向RAM塊中寫入0~511的字符型數(shù)據(jù),然后將RAM內(nèi)數(shù)據(jù)讀取后并進(jìn)行取反顯示。結(jié)果如圖10所示。

      圖10 FSMC總線測試結(jié)果

      3.2 USB傳輸功能測試

      STM32通過USB上傳一幅圖片到上位機(jī),顯示圖片并測試傳輸速度。結(jié)果如圖11所示,并得到傳輸速度為32.7 m/s。圖片選用系統(tǒng)測試時(shí)使用攝像頭從聲源場采集到的圖片,圖中實(shí)驗(yàn)人員通過手機(jī)播放聲音設(shè)置聲源點(diǎn),手機(jī)下方即為聲源處,系統(tǒng)通過多通道麥克風(fēng)陣列采集聲音數(shù)據(jù)。

      圖11 USB傳輸測試結(jié)果

      3.3 系統(tǒng)性能測試

      系統(tǒng)的最終運(yùn)行結(jié)果如圖12和13所示,圖中紅色矩形為麥克風(fēng)采集的聲音數(shù)據(jù)經(jīng)過系統(tǒng)運(yùn)算處理得到的聲源圖像。通過將聲源圖像疊加到攝像頭采集的圖片上,可以驗(yàn)證系統(tǒng)的定位成像結(jié)果準(zhǔn)確。

      圖12 自相關(guān)運(yùn)算由STM32中完成

      對比聲源成像效果可得,矩陣自相關(guān)運(yùn)算由FPGA和STM32的處理結(jié)果基本一致。在FPGA晶振為25 MHz的前提下,進(jìn)一步的實(shí)際測試表明,由STM32和FPGA完成成像計(jì)算耗時(shí)分別為0.8 s和0.6 s。因此,本套系統(tǒng)的設(shè)計(jì)方案在完成聲源定位和成像功能的基礎(chǔ)上,通過合理的使用FPGA,縮短了算法的計(jì)算時(shí)間、提高了系統(tǒng)的成像效率,達(dá)到了由STM32和FPGA 協(xié)同完成聲源定位及成像的預(yù)期設(shè)計(jì)目標(biāo)。

      4 結(jié) 語

      本文根據(jù)聲源定位研究現(xiàn)狀以及現(xiàn)有聲源定位產(chǎn)品存在的不足,結(jié)合嵌入式技術(shù)的發(fā)展成果,通過分析現(xiàn)有的定位方法,研究并設(shè)計(jì)了基于STM32和FPGA的聲源定位和成像系統(tǒng)。利用STM32外設(shè)豐富、易于實(shí)現(xiàn),F(xiàn)PGA并行運(yùn)行、運(yùn)行速度快的優(yōu)勢,采用STM32作為主控制器,利用FPGA實(shí)現(xiàn)復(fù)雜的矩陣自相關(guān)運(yùn)算,并在此基礎(chǔ)上將聲源可視化,完成成像顯示。本文的意義在于應(yīng)用嵌入式技術(shù),通過STM32與FPGA的協(xié)同設(shè)計(jì),在硬件平臺上實(shí)現(xiàn)了聲源定位與成像系統(tǒng)。此嵌入式聲源成像系統(tǒng)有效地提高了系統(tǒng)的運(yùn)行速度,增加了聲源定位的效率,而且其硬件集成度高、功耗低,這些都為聲源定位系統(tǒng)的小型化和便攜化的開發(fā)與設(shè)計(jì)提供了參考。

      猜你喜歡
      麥克風(fēng)聲源上位
      虛擬聲源定位的等效源近場聲全息算法
      Binaural Rendering based on Linear Differential Microphone Array and Ambisonic Reproduction
      基于GCC-nearest時(shí)延估計(jì)的室內(nèi)聲源定位
      電子制作(2019年23期)2019-02-23 13:21:12
      基于數(shù)字麥克風(fēng)的WIFI語音發(fā)射機(jī)
      電子測試(2018年23期)2018-12-29 11:11:24
      特斯拉 風(fēng)云之老阿姨上位
      車迷(2018年12期)2018-07-26 00:42:22
      “三扶”齊上位 決戰(zhàn)必打贏
      麥克風(fēng)的藝術(shù)
      基于ZigBee和VC上位機(jī)的教室智能監(jiān)測管理系統(tǒng)
      運(yùn)用內(nèi)積相關(guān)性結(jié)合迭代相減識別兩點(diǎn)聲源
      麥克風(fēng)
      沅江市| 鸡西市| 道真| 玛纳斯县| 柳林县| 桐乡市| 孟村| 都昌县| 犍为县| 府谷县| 昌宁县| 霍城县| 南华县| 科技| 桃园市| 邢台市| 衡东县| 德庆县| 庆云县| 绍兴县| 紫阳县| 遂宁市| 丹江口市| 广饶县| 渭源县| 石泉县| 集安市| 萍乡市| 石柱| 平远县| 交口县| 清水河县| 仁怀市| 琼结县| 马鞍山市| 梓潼县| 七台河市| 林西县| 大城县| 长治市| 镇巴县|