洪 辰,劉子豪,汪許倩,高 樂,鄭震宇
(嘉興學(xué)院信息科學(xué)與工程學(xué)院,浙江嘉興 314001)
正常養(yǎng)殖或從海里捕獲的對蝦受到環(huán)境中細(xì)菌 或病毒的侵染,抑或在運輸、加工過程中保鮮不當(dāng)均可能導(dǎo)致對蝦關(guān)聯(lián)產(chǎn)品新鮮度下降。新鮮度作為衡量蝦主要的品質(zhì)指標(biāo),保證了對蝦產(chǎn)品質(zhì)量安全的基礎(chǔ),新鮮的蝦即使價格高,也同樣暢銷。南美白對蝦,因其味美、營養(yǎng)價值高,需求量持續(xù)增大,據(jù)2020 年中國漁業(yè)統(tǒng)計年鑒顯示,我國南美白對蝦養(yǎng)殖產(chǎn)量已達(dá)181.56 萬噸,年總產(chǎn)量一直居于所有養(yǎng)殖蝦類的首位,是我國養(yǎng)殖產(chǎn)量最高的蝦種。凍熟對蝦作為我國近年來一種新的熟制對蝦加工產(chǎn)品,主要以南美白對蝦為原料加工制成,自投放市場后,需求不斷增長,但由于我國保鮮技術(shù)仍未能獲得實質(zhì)性突破,在冷藏和運輸過程中出現(xiàn)的褐變現(xiàn)象降低了對蝦感官品質(zhì),影響對蝦產(chǎn)品實際銷售,已成為影響水產(chǎn)業(yè)發(fā)展的主要問題之一。
熟對蝦的典型品質(zhì)衰減特征即體內(nèi)產(chǎn)生了褐變物質(zhì),由于南美白對蝦富含酪氨酸及其衍生物,易被酪氨酸酶催化氧化成醌類化合物,其進(jìn)一步發(fā)生酶促反應(yīng)生成大分子的黑色物質(zhì),在外殼沉積大量黑色素,極易褐變。但蝦體內(nèi)部發(fā)生氧化反應(yīng)并非導(dǎo)致褐變的唯一因素,也可能是病毒性疾病、寄生蟲性疾病、細(xì)菌性疾病等因素造成的結(jié)果,非正常氧化形成的褐變蝦流入市場后可能會造成食物中毒、流行性病毒傳播等不可估量的危害。目前,我國蝦類水產(chǎn)品行業(yè)分選褐變熟對蝦主要以人工方式為主,工人通過肉眼觀察對蝦褐變部位和面積來甄選出不同品質(zhì)的對蝦,人工分選方式存在主觀性強(qiáng)、生產(chǎn)效率低且分選精度不穩(wěn)定等缺點,難以滿足對蝦日益增長的市場需求,自動化的對蝦檢測裝置應(yīng)運而生。Luzuriaga 等設(shè)計開發(fā)了一種可重復(fù)、精準(zhǔn)測量蝦的視覺質(zhì)量裝置,該裝置量化了冷藏期間對蝦的褐變程度,并計算蝦仁的黑變面積占比與其人工分級的相關(guān)性。Mohebbi 等運用自動閾值法研究熟蝦仁在干燥過程中顏色變化與水分含量的關(guān)系。以上研究均能實現(xiàn)對蝦的自動化檢測,本文基于以上方法構(gòu)建不同顏色模型提取對蝦褐變特征,將褐變區(qū)域占比作為熟對蝦品質(zhì)分級的核心條件,實現(xiàn)對褐變蝦的精準(zhǔn)識別與快速剔除。
本研究綜合利用傳感技術(shù)、光譜技術(shù)、幾何代數(shù)學(xué)、統(tǒng)計學(xué)模式識別等多領(lǐng)域技術(shù)手段,以熟對蝦為研究對象,將動態(tài)圖像采集技術(shù)與圖像處理技術(shù)相結(jié)合,從圖像中提取重要的信息,構(gòu)建熟對蝦品質(zhì)的在線實時檢測系統(tǒng),以實現(xiàn)熟對蝦分選的自動化、智能化,并提高分級效率,保障對蝦品質(zhì),從而讓消費者吃上放心、安全的對蝦產(chǎn)品。
試驗所選取的冷凍熟對蝦 購置于嘉興秀洲區(qū)大潤發(fā)超市,其中少數(shù)對蝦樣本存在輕微褐變,大部分為未發(fā)生褐變的正常蝦。
DELL G3 3590 筆記本電腦,Intel(R) Core(TM)i5-9300H CPU @ 2.40 GHz 處理器,內(nèi)存8 GB 美國Dell 公司;德國映美精30 萬像素彩色工業(yè)相機(jī),型號為DFK-23G618,鏡頭型號為VT-LEM0618-MP3德國映美精公司。
1.2.1 設(shè)備組裝和原理 本研究通過構(gòu)建機(jī)器視覺系統(tǒng)來獲取動態(tài)生產(chǎn)線上的對蝦圖像,通過計算機(jī)對圖像進(jìn)行特征提取與分析,判別對蝦是否發(fā)生褐變,從而進(jìn)一步剔除褐變蝦。對蝦圖像采集裝置如圖1 所示,主要由CCD 工業(yè)相機(jī)與LED 條狀照明光源構(gòu)成。
圖1 圖像采集裝置Fig.1 Image acquisition device
圖像采集裝置的主體是光照箱,主要由工業(yè)相機(jī)、白色和紅色光源帶、反光貼紙、吸光貼紙、擋光板、變壓器組成。白色光源帶起增加亮度作用,紅色光源帶起降低光源反光率作用。壁上的反光貼紙可以增大LED 射出光子的反射率,外側(cè)的黑色吸光貼紙可以減少部分光照溢出。擋光板可以阻擋自然光等外界光干擾,變壓器可以控制光源開合。此光照箱可達(dá)到拍攝區(qū)域亮度合適,拍攝照片清晰易處理的效果,裝置具體搭建過程如圖2 所示。
圖2 圖像采集裝置搭建過程Fig.2 Construction process of image acquisition device
1.2.2 數(shù)據(jù)采集 試驗中多數(shù)褐變蝦樣本通過正常蝦暴露在常溫有氧環(huán)境下一段時間得到,不同蝦的褐變程度存在差異,部分樣本圖像如圖3 所示。
圖3 正常熟對蝦與褐變熟對蝦Fig.3 Normal cooked shrimp and melanotic cooked shrimp
為提高采圖效率,訓(xùn)練集和測試集均采用對蝦正反面拍照的形式,其中正常熟對蝦樣品為134 只,褐變熟對蝦為58 只。經(jīng)過圖像裝置采集到單只熟對蝦訓(xùn)練集圖像共217 幅,單只熟對蝦測試集圖像共166 幅,追加單只熟對蝦驗證集圖像共100 幅。其中單只熟對蝦訓(xùn)練集圖像包括正常熟對蝦圖像151 幅,褐變熟對蝦圖像66 幅;單只熟對蝦測試集圖像包括正常熟對蝦圖像116 幅,褐變熟對蝦圖像50 幅;單只熟對蝦驗證集圖像包括正常熟對蝦70 幅,褐變熟對蝦圖像30 幅。
為了實現(xiàn)褐變蝦的在線檢測,本研究基于Visual Studio 2015 開發(fā)了一套利用機(jī)器視覺技術(shù)的南美白對蝦褐變檢測軟件,操作人員只需在軟件界面上點擊指定按鈕即可實現(xiàn)檢測,用戶終端界面是由微軟基礎(chǔ)類庫(Microsoft Foundation Classes, MFC)所搭建,圖像處理中所使用的開源計算機(jī)視覺庫(OPENCV)版本為3.4.2。
1.2.3 對蝦圖像預(yù)處理 本研究利用圖像采集裝置獲取動態(tài)生產(chǎn)線上的熟對蝦圖像,其中包括正常蝦以及褐變蝦圖像,分辨率均為640×480 dpi。首先,針對原始的熟對蝦圖像,提取的目標(biāo)對蝦的灰度峰值與背景峰值存在較大差異,運用背景灰度差異法可實現(xiàn)對感興趣區(qū)域?qū)ξr圖像的分割與提取,從而得到二值圖像,但分割后的二值圖像仍然存在不完整的情況,圖像整體雖在人肉眼中能夠被識別,但計算機(jī)難以分辨存在邊緣及其輪廓內(nèi)部不連續(xù)的圖像。隨后采用連通區(qū)域處理技術(shù),并用中值濾波來處理圖像輪廓邊緣出現(xiàn)的不平滑情況,使輪廓邊緣更為流暢,從而得到適應(yīng)人眼視覺的感興趣區(qū)域灰度圖像。經(jīng)過以上步驟處理,能夠得到接近完整輪廓圖像,圖4顯示了圖像預(yù)處理的主要流程。
圖4 圖像預(yù)處理的流程示意圖Fig.4 The flow chart of image pre-processing
1.3.1 圖像顏色特征提取 顏色特征的提取,必須在特定的顏色空間中進(jìn)行。最常用的顏色空間是RGB空間,多用于顏色顯示和圖像處理,但它的均勻性非常差,兩種不同顏色之間的直覺差異色差不能用顏色空間模型中兩點間的距離差表示,描述方式難以按人眼關(guān)注的焦點進(jìn)行表達(dá)。相對于RGB 空間,HSV空間能夠更直觀地展示色彩的明暗、色調(diào)以及鮮艷程度,更接近于人類視覺經(jīng)驗和對色彩的認(rèn)識;Lab 顏色空間則具有更寬廣的色域,其表現(xiàn)在位圖獲得同樣的精度下,需求更多的像素數(shù)據(jù)。褐變作為一種顏色特征在圖像整體中具有顯著特點,但在不同顏色空間中的表達(dá)也存在差異。為了更好地提取對蝦褐變特征,本研究分別在RGB、HSV、Lab 三種顏色空間中構(gòu)建相應(yīng)的顏色模型,顏色模型主要由各通道分量決定。
1.3.2 對蝦褐變特征提取 對蝦褐變是由于蝦體內(nèi)的多酚氧化酶發(fā)生酶促反應(yīng)而產(chǎn)生黑色素,酶促反應(yīng)的持續(xù)時間決定了褐變程度,本節(jié)主要闡述使用不同顏色空間提取褐變特征的過程。由RGB 顏色空間構(gòu)成可知:黑色主要與通道值有關(guān),而與、通道關(guān)系較小,分量越小,顏色越趨于黑色。對蝦在褐變過程中,顏色主要由橙色變成褐色,再由褐色轉(zhuǎn)變?yōu)楹谏?。因此,分量可作為表征褐變程度的指?biāo),將該分量設(shè)定在一定范圍內(nèi)能夠提取對蝦褐變特征,本研究將分量范圍設(shè)定為0~77。
使用HSV 顏色空間提取顏色特征需由RGB 圖像進(jìn)行轉(zhuǎn)換,轉(zhuǎn)換公式如式(1)~(3)所示,max(,,)表示所取三通道分量的最大值。HSV 顏色空間顯示了各個基本色對應(yīng)的色調(diào)(),飽和度(),亮度()三個參數(shù)的模糊取值范圍,例如黑色對應(yīng)分量在0~180,分量在0~255,分量在0~46。本文中的熟對蝦可能存在酶促反應(yīng)時間較短而呈現(xiàn)輕微褐變的情況,僅使用黑色所對應(yīng)三個分量范圍提取褐變特征存在局限性,需擴(kuò)大設(shè)定分量范圍。本研究提取褐變特征的分量范圍設(shè)為0~180,分量設(shè)為0~255,分量設(shè)為0~70。
Lab 顏色空間中的明度和顏色是分開的,通道對應(yīng)亮度,而通道和通道對應(yīng)顏色。分量表示從純黑到純白,取值范圍是[0, 100];分量表示從紅色至綠色的范圍,取值范圍為[-128, 127];分量表示從黃色到藍(lán)色的范圍,取值范圍是[-128, 127]。因此,分量是最能表征對蝦褐變程度的指標(biāo)。Lab 通過RGB 的轉(zhuǎn)換公式如式(4)~(8)所示,其中式(4)~(7)中的X、Y、Z 由式(8)矩陣相乘得出,本研究將分量范圍設(shè)定為0~60。
由于褐變特征與蝦眼區(qū)域的顏色特征相似,使用以上顏色模型提取到的褐變區(qū)域均包含蝦眼區(qū)域。故第一步提取到的褐變特征區(qū)域需剔除蝦眼,保留實際褐變區(qū)域,蝦眼與褐變區(qū)域之和占比e以及褐變區(qū)域占比e公式如式(9)~(10)所示:
其中,area1 表示包含未剔除蝦眼的褐變區(qū)域面積;area2 表示剔除蝦眼后的褐變區(qū)域面積;whole_area 表示求得的對蝦整體面積,以上三個指標(biāo)的單位均為像素。
此外,由于正常蝦不存在褐變,即可直接通過以上所構(gòu)建的模型得到蝦眼區(qū)域,從而依據(jù)公式(9)得到蝦眼占比即e,蝦眼提取準(zhǔn)確率EA(Eye Accuracy)由以下公式得出:
其中ES(Number of eyes successfully segmented)表示通過以上方法成功提取蝦眼圖像數(shù)目,TI(Total number of images)表示該集合中的所有圖像數(shù)目。
2015 年,洪寒梅采用雙閾值分割法提取變質(zhì)對蝦的褐變特征,但對蝦足部及產(chǎn)生的陰影區(qū)域易被誤認(rèn)為是褐變區(qū)域。閾值分割法是根據(jù)圖像各個像素點的灰度差異,選擇合適灰度級作為閾值,將目標(biāo)區(qū)域與背景區(qū)域分割出來,但如果部分像素點灰度級近似,尤其在剔除蝦眼區(qū)域時,所屬蝦眼區(qū)域的像素點與一些冗余像素點灰度相近,易導(dǎo)致誤分割,因此,分割后的對蝦褐變區(qū)域需要進(jìn)一步剔除蝦眼部分,才能得到真實的褐變區(qū)域。2016 年,劉子豪提出了通過獲取蝦頭點及骨架線端點坐標(biāo)的方法提取蝦眼,該方法雖能夠準(zhǔn)確的定位蝦眼,但流程較為復(fù)雜,耗時較長。
以本團(tuán)隊的前期研究為基礎(chǔ),本文提出了一種剔除蝦眼區(qū)域的方法,在一定程度上簡化了蝦眼的分割流程,提高了程序運行速度。首先,通過閾值分割法提取熟對蝦二值圖像,再提取二值圖像輪廓特征;其次,計算輪廓矩,并提取對蝦輪廓質(zhì)心centroid,得到質(zhì)心坐標(biāo)p1;然后,構(gòu)建顏色模型提取褐變區(qū)域,并定位褐變區(qū)域坐標(biāo)p2;最后,根據(jù)p1 到centroid的距離一般大于p2 到centroid 的距離以及蝦眼區(qū)域相較于部門冗余聯(lián)通區(qū)域面積更大的特點實現(xiàn)蝦眼定位,并以黑色像素點填充剔除。
1.3.3 對蝦褐變程度分級 浙江省地方標(biāo)準(zhǔn)中給出了對蝦產(chǎn)品的人工分級標(biāo)準(zhǔn),其中,一級品不存在褐變,二級品存在輕微褐變,三級品存在多部位褐變,本文根據(jù)該標(biāo)準(zhǔn)以褐變區(qū)域占比e對熟對蝦品質(zhì)分級,e由式(10)得到,具體見下表1。褐變區(qū)域占比e越小,則對蝦的品質(zhì)等級越高,更為新鮮。
表1 熟對蝦分級標(biāo)準(zhǔn)Table 1 Grading standard for cooked shrimp
2.1.1 蝦眼提取試驗結(jié)果分析 基于以上所提研究方法,表2 給出了訓(xùn)練集中正常熟對蝦圖像經(jīng)過不同顏色模型提取后的結(jié)果,其中包含三種顏色模型相應(yīng)蝦眼占比的各項數(shù)值,蝦眼提取準(zhǔn)確率可由式(11)得出。通過表中數(shù)據(jù)可知,構(gòu)建的三種顏色模型均能以較高的準(zhǔn)確率提取正常蝦的蝦眼,由此能夠為后續(xù)的褐變判別試驗提供支持。由于正常蝦不發(fā)生褐變,提取后只存在蝦眼區(qū)域,蝦眼占比即e,而褐變蝦的褐變區(qū)域仍包含蝦眼區(qū)域,因此e的大小可以初步判斷對蝦是否褐變,其由上述式(9)得出。
表2 不同顏色模型下正常熟對蝦訓(xùn)練集蝦眼提取試驗結(jié)果Table 2 Test results of eye extraction from normal cooked shrimp training set under different color models
2.1.2 三種顏色模型的訓(xùn)練結(jié)果 提取褐變特征首先需要排除蝦眼的干擾,蝦眼剔除方法已在上述給出,在經(jīng)過圖像預(yù)處理后,褐變蝦與正常蝦剔除蝦眼并提取褐變特征的整個過程如圖5 所示,正常蝦由于未發(fā)生褐變,刪除蝦眼區(qū)域后,呈現(xiàn)圖像為純黑。
圖5 熟對蝦提取褐變區(qū)域過程Fig.5 The process of extracting browning area from cooked shrimp
此外,所構(gòu)建的不同顏色模型提取對蝦褐變區(qū)域的效果存在差異,使用RGB 顏色模型提取的褐變區(qū)域較HSV、Lab 顏色模型更為完整,但也可能存在過分割的問題,這是由于不同模型所使用的對應(yīng)分量存在差異,圖6 為三種顏色模型提取熟對蝦褐變特征的主要過程。
圖6 不同顏色空間提取褐變區(qū)域的過程Fig.6 The process of extracting browning area in different color models
基于上述結(jié)果,三種不同顏色模型下熟對蝦訓(xùn)練集的試驗結(jié)果見表3,分割準(zhǔn)確率表示成功剔除蝦眼保留褐變區(qū)域的對蝦圖像數(shù)目與圖像總數(shù)比,該情況下的分割準(zhǔn)確率即為識別準(zhǔn)確率。耗時表示單只蝦所耗費的時間,包括圖像預(yù)處理中讀取圖像時間、提取感興趣區(qū)域二值圖像的時間、中值濾波及連通域方法等形態(tài)學(xué)操作的時間與剔除蝦眼、保留褐變特征等消耗的時間總和。從中可以得出,剔除蝦眼提取褐變特征的方法對褐變蝦的識別率相較于正常蝦更高,但對未出現(xiàn)褐變的正常蝦,顯然不必進(jìn)行褐變特征提取。為了簡化流程并提高正常蝦識別率,可將蝦眼與褐變區(qū)域之和占比e作為初始閾值,由于正常蝦褐變區(qū)域占比e為0,將e作為判斷該對蝦是否正常的指標(biāo),若e小于設(shè)定閾值,則為正常;若e大于設(shè)定閾值,則初步判斷其為褐變蝦,需進(jìn)一步剔除蝦眼提取褐變特征。
表3 不同顏色模型下熟對蝦訓(xùn)練集試驗結(jié)果Table 3 Test results of cooked shrimp training set in different color models
三種顏色模型下的蝦眼占比數(shù)據(jù)已在表2 給出,根據(jù)該表設(shè)定了不同閾值e進(jìn)行試驗,結(jié)果如表4 所示,表明設(shè)定閾值e的方法既提高了正常蝦識別率,又使褐變蝦識別率保持在原先附近水平。
根據(jù)表4 給出的熟對蝦訓(xùn)練集試驗結(jié)果,選取三種顏色模型對應(yīng)最優(yōu)閾值e對測試集進(jìn)行試驗,見表5。結(jié)果顯示,所構(gòu)建RGB 顏色模型平均識別率最高,達(dá)到92.77%,但耗時略長于HSV、Lab 顏色模型,單只蝦識別的平均耗時需91.36 ms。Lab 在三種顏色模型中耗時最短,平均識別率僅次于RGB 顏色模型。
表4 不同顏色模型下熟對蝦訓(xùn)練集設(shè)定閾值e1 的試驗結(jié)果Table 4 Test results of setting threshold e1 of cooked shrimp training set in different color models
表5 不同顏色模型下熟對蝦測試集在最優(yōu)閾值下的試驗結(jié)果Table 5 Test results of cooked shrimp test set under optimal threshold in different color models
本研究在此基礎(chǔ)上就對蝦褐變判別追加了相應(yīng)的驗證集,以此進(jìn)一步驗證方法的可靠性。試驗結(jié)果見表6,結(jié)果顯示在驗證集試驗中,各個顏色模型同樣表現(xiàn)出良好的應(yīng)用效果。
表6 不同顏色模型下熟對蝦驗證集在最優(yōu)閾值下的試驗結(jié)果Table 6 Test results of cooked shrimp verification set under optimal threshold in different color models
綜上,通過引入顏色簡化模型提取對蝦的顏色特征,判別對蝦是否發(fā)生褐變的方法在識別率與運行效率上均具有一定可行性。
本文所提顏色空間提取方法適用于識別正常熟對蝦以及褐變熟對蝦的情況,對蝦次品雜質(zhì)包含了褐變蝦、殘缺蝦,剔除次品雜質(zhì)中的褐變蝦具有顯著意義。列舉了本文構(gòu)建三種顏色特征模型識別方法與傳統(tǒng)對蝦次品識別方法的對比結(jié)果,如表7 所示。
從表7 中可以看出,本研究所提方法的算法復(fù)雜度較低,較此前方法的識別率與運行效率均有所提高。通過試驗分析,RGB 顏色模型在三種顏色模型中識別率最高,能夠很有效地運用于檢測對蝦褐變,且在運行效率上也具有良好表現(xiàn)。
表7 本文所提方法與此前提出的方法對比Table 7 Comparison between the method proposed in this paper and the methods proposed before
對蝦不同部位多酚氧化酶的酶活性不同,導(dǎo)致各個部位褐變的順序和程度不同。在實際生產(chǎn)中,工作人員根據(jù)褐變面積、褐變深淺對熟對蝦進(jìn)行品質(zhì)分類。圖7 為不同程度褐變的熟對蝦經(jīng)過顏色模型提取褐變區(qū)域并剔除蝦眼的結(jié)果。
圖7 不同程度褐變的熟對蝦Fig.7 Cooked shrimp with varying degrees of browning
本文選用以上構(gòu)建的RGB 模型根據(jù)表1 的分級標(biāo)準(zhǔn)用于測試集試驗,設(shè)定初始閾值e為0.02,試驗結(jié)果見表8,其中一級品數(shù)目112 只,二級品17只,三級品29 只。116 幅正常熟對蝦圖像中作為一級品的數(shù)目112 只,其中4 只正常蝦被判別為褐變蝦;而50 幅褐變熟對蝦圖像中僅4 幅被誤判為正常蝦,及未成功提取褐變特征4 幅。
表8 測試集熟對蝦分級結(jié)果Table 8 The grading results of tested cooked shrimps
表7結(jié)果顯示了總體分級準(zhǔn)確率可達(dá)到92.77%,因此,本研究方法能夠代替人工對熟對蝦褐變程度分級,從而剔除鮮度較低的對蝦,甄選出品質(zhì)良好的對蝦。
本文針對褐變熟對蝦在傳統(tǒng)人工挑揀方式下存在分選效率低、精度差的問題,提出了一種基于顏色簡化模型的熟對蝦褐變特征提取方法。通過試驗,本文可得出結(jié)論如下:
a.本研究構(gòu)建了三種顏色模型分別提取對蝦的褐變區(qū)域,將褐變區(qū)域占比作為判別對蝦是否發(fā)生褐變的條件,相較于雙閾值分割法,不易發(fā)生誤分割現(xiàn)象,能取得較高的識別率。在對116 幅正常蝦和50 幅褐變蝦測試集樣本的試驗中,所構(gòu)建的RGB 顏色模型識別率最高,可達(dá)到92.77%,識別速率達(dá)到91.36 ms/只,在識別率及運行效率上均具有一定優(yōu)勢。
b.本文所提方法避免了傳統(tǒng)分揀中受到人為主觀意志的影響,具有快速無損檢測、識別精度高、智能化的特點,有助于保證蝦類產(chǎn)品的鮮度。在實際的運用中相較于人工篩選具有更大的優(yōu)越性,在未來的對蝦加工產(chǎn)業(yè)有較高的商業(yè)價值和良好的商業(yè)前景。
本研究也存在一些不足,未將不同部位發(fā)生褐變的蝦分類,只是從宏觀上將發(fā)生褐變的蝦識別出來并分級。在今后的研究中,將探究其他方法實現(xiàn)對不同部位發(fā)生褐變的蝦分類,并提高識別準(zhǔn)確率。