虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR)技術(shù)在漁業(yè)上的應用

王鐘澤 馬曉飛 段金榮，

(1 南京農(nóng)業(yè)大學無錫漁業(yè)學院，江蘇無錫 214081；2 中國水產(chǎn)科學研究院淡水漁業(yè)研究中心，江蘇無錫 214081)

漁業(yè)是經(jīng)濟的重要組成部分，不僅為人類提供魚、蝦、貝、藻等食品，同時也具有重要的休閑、娛樂功能，例如垂釣、觀賞捕魚、旅游度假等一體的生產(chǎn)經(jīng)營形式，眾多知識性教育形式的水族館、海洋博物館等。我國“十四五”規(guī)劃中提出，漁業(yè)應該進入加快推進高質(zhì)量發(fā)展、爭取盡早實現(xiàn)現(xiàn)代化的關(guān)鍵階段。近年來，三維(3D)建模、游戲引擎、編程等技術(shù)的發(fā)展和頭戴顯示器(簡稱“頭顯”)等設(shè)備成本的降低，推動了虛擬現(xiàn)實(virtual reality，VR)技術(shù)和增強現(xiàn)實(augmented reality，AR)技術(shù)的快速發(fā)展和應用。VR和AR技術(shù)在水產(chǎn)養(yǎng)殖、休閑漁業(yè)、水產(chǎn)新設(shè)備的開發(fā)、水產(chǎn)教育與培訓等方面都具有較大的應用前景。

1 VR和AR技術(shù)

1.1 VR技術(shù)簡介

VR技術(shù)即虛擬現(xiàn)實技術(shù)，是通過計算機仿真技術(shù)、傳感技術(shù)、三維圖像技術(shù)等構(gòu)建的虛擬環(huán)境以增強用戶虛擬體驗的新技術(shù)[1]。虛擬現(xiàn)實系統(tǒng)可以分為非沉浸式虛擬現(xiàn)實系統(tǒng)、沉浸式虛擬現(xiàn)實系統(tǒng)、分布式虛擬現(xiàn)實系統(tǒng)和增強現(xiàn)實系統(tǒng)。非沉浸式系統(tǒng)技術(shù)簡單只用3D建模和編程技術(shù)就可以完成制作，使用鼠標或者數(shù)據(jù)手套在顯示器上進行操作。沉浸式虛擬現(xiàn)實系統(tǒng)利用頭顯、觸覺手套等設(shè)備把用戶的視覺、聽覺、觸覺等封閉起來，目前主要使用Unity 3D或者虛幻引擎制作相應的軟件產(chǎn)品。其中，頭顯和觸覺手套等設(shè)備的制作需要用到傳感器技術(shù)，視覺跟蹤技術(shù)，語音輸入輸出技術(shù)，聽覺、力覺和觸覺感知等技術(shù)[2]。目前VR技術(shù)已被用于很多方面，如虛擬訪問水下場所[3]、研究背痛康復[4]、使用全景視頻作為街景質(zhì)量審查方法等[5]。我國于2016年發(fā)布的《國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略綱要》將此技術(shù)列為戰(zhàn)略任務之一[6]。

1.2 AR技術(shù)簡介

AR技術(shù)即增強現(xiàn)實技術(shù)，是一種實時通過相機影像的位置和角度精算，并加上圖像分析技術(shù)，將真實世界信息與虛擬世界信息無縫集成的新技術(shù)，并且可以將屏幕上的虛擬場景與現(xiàn)實世界進行互動[7]。由于AR能增強對真實環(huán)境的輸出、設(shè)備更便捷、專家可通過共享視圖遠程指導現(xiàn)場工作人員，因此在教育、遠程操作、建筑、工業(yè)等領(lǐng)域具有明顯的優(yōu)勢。

2 VR和AR技術(shù)在水產(chǎn)養(yǎng)殖中的應用

近年來，VR和AR技術(shù)不斷進入到農(nóng)業(yè)和養(yǎng)殖領(lǐng)域，如在景觀設(shè)計中觀察植物生長[8]、VR農(nóng)場項目游覽[9]、可視化農(nóng)產(chǎn)品設(shè)計、VR養(yǎng)殖[10]、VR農(nóng)產(chǎn)品廣告、AR養(yǎng)殖等[11]。AR技術(shù)在農(nóng)業(yè)上可作為信息收集器，手機AR軟件或者AR眼鏡可以通過相機不斷地收集碎片化信息，經(jīng)過分析后綜合呈現(xiàn)出來。

2.1 AR技術(shù)在水產(chǎn)養(yǎng)殖中的應用

AR技術(shù)有助于提高水產(chǎn)養(yǎng)殖行業(yè)的生產(chǎn)力。如通過AR與水下機器人的結(jié)合，養(yǎng)殖者可以便捷地分析水產(chǎn)品的健康情況、池塘水質(zhì)和存活率等。Laranjeira等[12]的論文闡述了混合現(xiàn)實在利用遙控潛水器探索深海環(huán)境方面的優(yōu)勢和挑戰(zhàn)，介紹了法國海洋科學研究所開展的一項開發(fā)方案，并用技術(shù)專題和使用案例舉例說明來自相機的視覺3D感知被證明能夠?qū)崿F(xiàn)AR概念。He等[13]使用增強現(xiàn)實可視化算法自主研發(fā)了用于水質(zhì)檢測的輕型水下機器人。2019年，Anders[14]探討了水產(chǎn)養(yǎng)殖中水下無人機的增強現(xiàn)實技術(shù)。該論文討論了水產(chǎn)養(yǎng)殖與增強現(xiàn)實相關(guān)的問題，介紹了一些行業(yè)案例，認為增強現(xiàn)實技術(shù)在未來的魚類養(yǎng)殖中將發(fā)揮重要作用。他還測試了一種叫做ORB-SLAM的SLAM方法來實現(xiàn)水下增強現(xiàn)實應用的魯棒(Robust Control)跟蹤和定位。ORB-SLAM有一個AR演示，可在機器人操作系統(tǒng)中運行，AR內(nèi)容的創(chuàng)作在Unity 3D中使用Vuforia的AR庫完成，通過VSLAM對水下目標進行定位和跟蹤。隨著圖像識別技術(shù)的日趨成熟，許多國家開始使用攝像頭監(jiān)控漁船的捕撈，對捕獲的魚類進行識別，從而避免非法捕撈[15]。對魚類健康的分析也可使用相似的技術(shù)，即首先對魚群、魚類體表特征、水質(zhì)照片進行采集，通過深度卷積網(wǎng)絡(luò)架構(gòu)建立學習模型，采用圖像數(shù)據(jù)集進行訓練，接著進行模型遷移以匹配識別任務，使用TensorFlow作為后端框架，當水下機器人進入水中拍攝照片或視頻時可通過顯示器實時看到水中場景，并分析魚類的健康信息。

全球魚類健康服務服務供應商STIM將歐瑞威爾AR頭戴計算機和遠程協(xié)作方案引入水產(chǎn)養(yǎng)殖行業(yè)，對全球孤立的漁場實現(xiàn)每年數(shù)次的魚類健康檢查。漁場可以與STIM的健康人員及時取得聯(lián)系，上傳采樣測試結(jié)果，并能遠程得到魚類專家的評估。歐瑞威爾的頭戴計算機采用安卓系統(tǒng)，以AR、AI和loT物聯(lián)網(wǎng)技術(shù)捕捉數(shù)據(jù)，使用語音操作視線下方的微型高清顯示屏，其AR遠程養(yǎng)殖技術(shù)可解決魚類養(yǎng)殖中的健康管理和遠程協(xié)作問題，對我國漁業(yè)有著很好的借鑒意義。Rahman等[16]設(shè)計了一個針對蝦類養(yǎng)殖管理的傳感、機器學習和增強現(xiàn)實的集成框架，并開發(fā)了一個可視化交互頁面，可使用Microsoft HoloLens 2 AR頭戴顯示器訪問水質(zhì)數(shù)據(jù)，對水中溶解氧、pH和溫度實現(xiàn)最佳預測。Xi等[17]的論文中以水產(chǎn)養(yǎng)殖為例，展示了3個增強現(xiàn)實在農(nóng)業(yè)管理的案例。魚類的喂食需要考慮水質(zhì)和池塘生物等復雜決策，使用AR技術(shù)可優(yōu)化飼料管理；AR技術(shù)可以幫助農(nóng)場主有效地分析農(nóng)場信息，調(diào)整換水計劃，使池塘溶解氧保持在合適的范圍；使用增強現(xiàn)實協(xié)作技術(shù)可以與專家分享魚塘視圖信息，在工作時得到精確的指導。AR技術(shù)在水產(chǎn)養(yǎng)殖上的應用可提高綜合生產(chǎn)力和管理效率，做到規(guī)?；B(yǎng)殖。

2.2 VR技術(shù)在水產(chǎn)養(yǎng)殖中的應用

VR技術(shù)在水產(chǎn)養(yǎng)殖中可用于漁場的三維可視化管理、漁業(yè)設(shè)備的可視化設(shè)計。三維可視化平臺具有方便管理信息內(nèi)容、運行便捷、功能豐富等優(yōu)點，還可以對人員和設(shè)備實現(xiàn)智能監(jiān)控及一些其他功能。通過AI智能監(jiān)控的分析功能，可及時發(fā)現(xiàn)池塘中魚類的不良狀態(tài)或者對闖入的人員進行警告處理等。其主要使用Three.js或者Cesium.js框架加載三維模型并制作一些特效，通過Echart或Chart.js及其他可視化平臺設(shè)計圖表。

借助三維建模技術(shù)設(shè)計漁業(yè)設(shè)備，可以將模具和組裝過程輸入計算機進行處理，在組裝過程中出現(xiàn)的差錯可及時通過計算機進行修改，還可以在虛擬環(huán)境中對產(chǎn)品進行檢測，觀察各部分性能是否正常。通過虛擬現(xiàn)實技術(shù)可以將產(chǎn)品更好地表達出來，確保產(chǎn)品的可靠性，降低制造成本，縮短產(chǎn)品生產(chǎn)時間[18]。

虛擬現(xiàn)實技術(shù)還可用于飼料和魚藥銷售統(tǒng)計網(wǎng)站的建立和作為水產(chǎn)養(yǎng)殖培訓的工具。在網(wǎng)頁中可運用VRML技術(shù)來展示三維產(chǎn)品及服務，給消費者以自由操作空間來全方位多角度地了解產(chǎn)品功能[19]。挪威科技大學的Kawan等[20]建立了魚類3D模型，在Unity3D游戲引擎中制作3D虛擬世界來模擬魚類的生態(tài)系統(tǒng)、種群動態(tài)等行為，并設(shè)置一些參數(shù)研究魚類行為隨時間的變化。該項目的研究主要是為了教育和培訓，在虛擬世界中用戶可以通過設(shè)置一些參數(shù)，直觀地看到模擬的效果，這樣經(jīng)過短時間的培訓就可以獲得專業(yè)技能，幫助他們從事漁業(yè)工作。

3 VR和AR在休閑漁業(yè)中的應用

休閑漁業(yè)是利用漁業(yè)設(shè)備、漁村空間、漁具、漁業(yè)產(chǎn)品、漁業(yè)生產(chǎn)場地、漁業(yè)自然資源和人文資源等，經(jīng)過合理規(guī)劃發(fā)揮漁業(yè)的休閑旅游功能[21]。休閑漁業(yè)為漁業(yè)經(jīng)濟轉(zhuǎn)型提供了基礎(chǔ)，拓寬了漁業(yè)發(fā)展的道路。休閑漁業(yè)主要包括以釣魚和捕魚為標志的經(jīng)營形式，以海洋、江河、湖泊等自然環(huán)境開發(fā)的漁業(yè)景點，以科普教育形態(tài)的海洋博物館、水族館等幾類方向，其中許多方面都可以運用到VR和AR技術(shù)。

3.1 VR在垂釣和捕魚中的應用

在垂釣和捕魚中使用VR技術(shù)可以極大地增加人們的樂趣，克服感知的局限性，改善探索未知自然界的能力。在2017年美國消費電子展覽會(CES)上，臻迪科技有限公司發(fā)布了首款具有尋魚和誘魚兩大功能的水下小海鰩釣魚機器人，給用戶帶來了沉浸式和可視化釣魚新體驗。VR釣魚機器人將VR技術(shù)與無人機技術(shù)結(jié)合起來，面向垂釣、捕魚、水下拍攝、沉浸式游覽等場景[22]。水下VR垂釣機器人搭載聲吶技術(shù)可以探測魚群位置、水下地貌等信息，內(nèi)置誘魚燈及LED燈光配置釣魚線，可以自動將魚鉤送到魚群最多的位置。通過VR相機和手機APP，操縱者可以實時查看水下場景及魚類上鉤的瞬間，增加釣魚樂趣，還可以開闊釣魚者水下世界的視野。釣魚機器人搭載的聲吶探測可四處移動尋找魚群蹤跡，把探測器移動到水中更好地識別魚類所在位置的地貌和坐標。VR相機可以直接查看魚群大小和種類，通過VR釣魚機器人可實現(xiàn)在大中型水庫中更加高效地進行魚類捕撈和減少漁船的油耗。

3.2 VR在漁業(yè)景點交互式漫游系統(tǒng)研發(fā)的應用

虛擬漫游系統(tǒng)已經(jīng)成為景點對外宣傳最直觀的表現(xiàn)形式，可為景點樹立良好的形象，還可以讓來訪者便捷地瀏覽景點的風光和相關(guān)介紹。由于全景交互式漫游不需要進行三維建模，只需要全景圖或者全景視頻就可以制作，因此廣泛應用在樓盤展示、景區(qū)宣傳、校園漫游等領(lǐng)域中[23]。我國具有眾多的漁業(yè)自然資源，這些地區(qū)可制作全景虛擬漫游系統(tǒng)來提高自己的知名度。Pano2VR是一款專業(yè)的全景圖轉(zhuǎn)化軟件，可以輕易把全景圖轉(zhuǎn)化為超文本5.0(HTML5)格式，實現(xiàn)720度查看場景內(nèi)容，并可以增加視頻、音頻、文字等交互性信息，全景圖可以輕易通過市面各種全景相機拍攝獲取，目前1臺全景相機的價格也僅僅幾百元。使用Pano2VR可快速簡單低成本地針對漁業(yè)場所開發(fā)出相應的虛擬漫游場景介紹，也可以將全景圖放在720云VR平臺上進行編輯和在線訪問，Mozilla開發(fā)的A-Frame WebVR框架也可對全景圖或全景視頻實現(xiàn)720度的查看內(nèi)容。沉浸式的VR漫游系統(tǒng)可以使用Blender建模軟件和Unity3D軟件開發(fā)并配合沉浸式VR頭盔進行使用。福建省海洋與漁業(yè)局共同研發(fā)了綜合“海、陸、空”海洋觀測設(shè)備的VR體驗平臺、海洋印象館VR和全息浴缸互動體驗系統(tǒng)。該項目在第二屆數(shù)字中國建設(shè)峰會展覽中吸引了眾多的觀眾排隊體驗，受到了好評。Jung[24]使用Blender建模和Three.js技術(shù)構(gòu)建了Web端的VR/AR應用程序，向游客介紹韓國濟州島的文化遺產(chǎn)，提供了一種直觀的方式來體驗島上的文化遺址。

3.3 VR和AR在水族館和海洋館中的應用

水族館和海洋館不僅是展示水生動植物的場所，更具有科普教育功能，但其造價比較昂貴，受限條件比較多，在城市中普及率不高。使用虛擬現(xiàn)實技術(shù)構(gòu)建水族館可以克服時間和空間的限制。劉箴[25]使用VRML和3DS max實現(xiàn)某虛擬水族館的場景。虛擬水族館為觀察魚類提供了新的技術(shù)手段，在一定程度上也可以增加場景與人之間的互動。在虛擬水族館和海洋館中不僅可以模擬真實環(huán)境中的魚類生活場景，還可以保護珍貴生物，避免了因地理位置等因素對生物生存的不良影響。馬來西亞大學的伊斯梅爾在移動設(shè)備上創(chuàng)建了1個VR水族館，可以幫助人們學習和了解魚類[26]。恒潤集團西灣海洋VR館將創(chuàng)意與虛擬體驗相融合，設(shè)計了“720VR海嘯體驗”“潛水艇VR海底探險”和“飛躍西灣”3個項目，可使用戶真實地體驗海洋世界。筆者團隊使用Blender軟件構(gòu)建魚類模型，并制作魚類游動的動畫效果，把模型導入Unity3D中并加載谷歌的Cardboard VR插件，最后打包成apk軟件，用戶可使用Cardboard VR眼鏡在手機端看到魚類游動的逼真場景(見圖1)。

圖1 使用VR眼鏡在手機端看到的魚類游動場景

水族館和海洋館經(jīng)營者也可以使用AR技術(shù)來增強游客的體驗，吸引游客的興趣。如新加坡的藝術(shù)科學博物館配備了帶有云臺的手機作為虛擬世界的窗口，乘客可以在特定地點看到一些瀕危動物，實現(xiàn)了與真實世界的互動。2020年開幕的Xpark水族館策劃了一系列以企鵝為主題的AR體驗，用戶通過下載手機APP掃描館內(nèi)的隱藏版符號，可欣賞到AR動畫，游客還可與企鵝、白鯨等拍照留念。丹戎巴勞漁民博物館中的一個畫廊用增強現(xiàn)實技術(shù)來增加與游客的互動[27]。此類AR產(chǎn)品通常使用Unity3D中的Vuforia Engibe AR插件開發(fā)。

4 VR和AR技術(shù)在水產(chǎn)教學中應用

使用AR和VR技術(shù)組織教學，可以把知識以三維形式表現(xiàn)出來，有利于學生對知識的理解，加強學生記憶，增加學習興趣[28]。Putri[29]以40名學生為樣本，進行了光與光學主題的探究式虛擬實驗活動，實驗數(shù)據(jù)表明，虛擬實驗室活動可提高學生的科學素養(yǎng)。水產(chǎn)是一個應用性較強的學科，水產(chǎn)類課程應以提高學生解決問題的能力、培養(yǎng)實用型人才為導向[30]。把VR和AR技術(shù)應用在水產(chǎn)課堂教學、構(gòu)建仿真實驗室、水產(chǎn)養(yǎng)殖和實習平臺可以有效地提高學生的動手能力。挪威科技大學使用虛擬現(xiàn)實AR設(shè)計水產(chǎn)養(yǎng)殖模擬器，結(jié)合頭顯設(shè)備，為學生講解水產(chǎn)養(yǎng)殖中的技術(shù)，包括魚類疾病預防和逃逸預防等[31]。挪威科技大學還開發(fā)了一款虛擬漁場應用軟件，該應用可以使學生通過計算機或者VR設(shè)備參觀漁場，用來增加學生對水產(chǎn)養(yǎng)殖的興趣。挪威弗雷亞當?shù)氐酿B(yǎng)殖場與NTNU、SINTEF和Sar-Trandelag縣合作,聯(lián)合開發(fā)了一個虛擬現(xiàn)實水產(chǎn)養(yǎng)殖模擬器[32]，用于向公眾傳播鮭魚養(yǎng)殖知識，還可為學生和員工提供培訓機會。VR技術(shù)可以在水產(chǎn)養(yǎng)殖教學課堂為學生提供逼真、生動的環(huán)境。在《魚類學》課堂上為學生講解魚類時，查看通過計算機建立的虛擬魚類模型，可以根據(jù)需要任意放大、旋轉(zhuǎn)、平移魚類虛擬模型。圖2是筆者團隊上線的一個3D魚類虛擬標本產(chǎn)品，可在任何能訪問網(wǎng)絡(luò)的設(shè)備查看。該產(chǎn)品使用Three.js技術(shù)加載了Blender軟件導出的魚類glb模型，可實現(xiàn)秒級加載數(shù)據(jù)，訪問地址為https://ringstar.top。

圖2 3D魚類虛擬標本展示

自2013年起，教育相關(guān)部門通過建立國家級虛擬實驗教學中心和設(shè)立國家級虛擬仿真實驗室等項目積極引導高效開展相關(guān)工作[33]。虛擬仿真教學使學生在虛擬環(huán)境中進行高效的學習，可以實現(xiàn)良好效果，是對傳統(tǒng)實驗教學的革新[34]。中國海洋大學依托專門的團隊搭建了虛擬仿真實驗平臺，實現(xiàn)了實驗、實習、實訓等教學任務，取得了較為明顯的教學效果。水產(chǎn)實習受養(yǎng)殖周期、季節(jié)等條件限制，學生在實習時往往只能參與部分生產(chǎn)活動，實習效果得不到保障。利用虛擬現(xiàn)實技術(shù)開發(fā)的虛擬水產(chǎn)實習項目，可以模擬工廠化水產(chǎn)養(yǎng)殖，解決實習受養(yǎng)殖周期、季節(jié)、地域等條件的限制，學生可以在項目中反復練習，強化水產(chǎn)實踐技能。如廣州世峰數(shù)字科技企業(yè)開發(fā)了針對水產(chǎn)養(yǎng)殖生產(chǎn)實習的VR仿真項目。虛擬仿真實驗室還可以解決傳統(tǒng)實驗教學的高成本、高消耗等問題。目前大連海洋大學水產(chǎn)學院已建立了3D水產(chǎn)養(yǎng)殖虛擬仿真實驗室，開發(fā)出接近真實的實驗環(huán)境，學生在實驗中的每個步驟都會生成實驗報告[35]。3D水產(chǎn)虛擬實驗室可以降低教師的負擔，改變傳統(tǒng)的實驗模式，使實驗更加規(guī)范合理。使用VR和AR技術(shù)為學生建立良好的學習環(huán)境，不僅可以調(diào)動學生的積極性，給學生留下深刻印象，還可以提升教學質(zhì)量，降低教學成本，彌補教學中條件的不足，對學生技能的提升起到積極的作用[36]。

5 展望

如今VR和AR所需的技術(shù)已經(jīng)日漸成熟，各種應用正在快速增長。VR和AR技術(shù)在漁業(yè)上的應用有利于推動水產(chǎn)行業(yè)人才的快速發(fā)展、魚類產(chǎn)量的提高以及漁業(yè)的可持續(xù)發(fā)展，其巨大的潛力也將推動水產(chǎn)養(yǎng)殖和水產(chǎn)捕撈的巨大變革。然而，VR和AR的在漁業(yè)上應用也存在一些困難，例如需要配置高質(zhì)量的頭顯設(shè)備，資金投入量大，維護費用較高等[37]。此外，虛擬現(xiàn)實核心技術(shù)的觸覺反饋系統(tǒng)與真實感覺仍有很多差距，增強現(xiàn)實設(shè)備的研發(fā)仍面臨很多問題[38]。雖然VR和AR在漁業(yè)上的很多應用仍處于初級階段，但是，隨著技術(shù)的發(fā)展，VR和AR技術(shù)必將在不久的將來對漁業(yè)產(chǎn)生更多更深遠的影響。