基于多源數(shù)據(jù)采集融合的食品安全風(fēng)險(xiǎn)模型研究

汪榕 丁洪鑫 周維

摘要： 食品安全的風(fēng)險(xiǎn)趨勢(shì)分析對(duì)于及時(shí)發(fā)現(xiàn)食品安全隱患具重要意義。針對(duì)食品安全監(jiān)管中數(shù)據(jù)零散、信息封閉、消息滯后所導(dǎo)致的效率難點(diǎn)問題，提出了結(jié)合多源異構(gòu)數(shù)據(jù)的食品質(zhì)量安全風(fēng)險(xiǎn)模型。以多源數(shù)據(jù)采集匯集技術(shù)為基礎(chǔ)，利用數(shù)據(jù)治理方法，結(jié)合主題域模型、顯著性分析模型和綜合性評(píng)價(jià)分析模型，通過組合這三個(gè)模型，共同實(shí)現(xiàn)食品安全合規(guī)的自動(dòng)預(yù)測(cè)，取得了良好的效果。

關(guān)鍵詞： 多源數(shù)據(jù)采集匯集； 數(shù)據(jù)治理方法； 主題域模型； 食品安全風(fēng)險(xiǎn)模型

中圖分類號(hào)：TS201.6；TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? 文章編號(hào)：1006-8228（2023）04-106-06

Abstract： The risk trend analysis for food safety has a significant meaning in discovering potential danger of food safety in time. To solve the efficiency problems caused by fragmented data， closed and lagging information， a risk variation tendency analysis model for food safety based on multi-source heterogeneous data is proposed. By using multi-source data acquisition technique and standardized methods of data governance， we combined the subject model， significance analysis model and comprehensive evaluation model to implement the automatic prediction for food safety. Good results have been achieved.

Key words： multi-source data acquisition technique; standardized methods of data governance; subject model; risk variation tendency analysis model for food safety

0 引言

國家對(duì)食品安全問題十分重視，制定了食品安全指標(biāo)，但仍然存在零散性、封閉性和滯后性三個(gè)缺陷[1]。本研究結(jié)合多源數(shù)據(jù)采集匯集、數(shù)據(jù)標(biāo)準(zhǔn)化治理、數(shù)據(jù)融合分析、食品安全主題域模型、顯著性分析模型和綜合評(píng)價(jià)分析模型等技術(shù)，建立食品安全趨勢(shì)分析模型進(jìn)行風(fēng)險(xiǎn)控制，實(shí)現(xiàn)了將食品安全監(jiān)管數(shù)據(jù)、食品安全輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)的融合分析，使得食品安全的各領(lǐng)域質(zhì)檢人員直觀地獲得自己需要的食品安全風(fēng)險(xiǎn)趨勢(shì)信息，提高食品安全風(fēng)險(xiǎn)預(yù)警的準(zhǔn)確性和實(shí)效性，為食品流通階段的風(fēng)險(xiǎn)控制創(chuàng)造有利條件。

1 大數(shù)據(jù)采集匯集與融合分析技術(shù)應(yīng)用

目前，大數(shù)據(jù)已基本應(yīng)用到我國食品安全領(lǐng)域的各個(gè)角落，采用互聯(lián)網(wǎng)采集技術(shù)、數(shù)據(jù)標(biāo)準(zhǔn)化治理技術(shù)和數(shù)據(jù)融合分析技術(shù)，可以解決食品安全數(shù)據(jù)的“采、治、管、存和用”的問題，實(shí)現(xiàn)對(duì)食品生產(chǎn)、加工、運(yùn)輸、包裝、存儲(chǔ)等方面質(zhì)量問題的監(jiān)管，理論上實(shí)現(xiàn)對(duì)食品全流通階段的全面風(fēng)險(xiǎn)控制[2]。

根據(jù)圖1可知，本研究的多源異構(gòu)數(shù)據(jù)來源主要集中于食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)。利用互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)，去實(shí)時(shí)將各網(wǎng)站數(shù)據(jù)進(jìn)行采集和存儲(chǔ)到關(guān)系型數(shù)據(jù)庫中，再通過數(shù)據(jù)集成組件將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)集成到大數(shù)據(jù)平臺(tái)的數(shù)據(jù)湖中，并結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化治理的手段來進(jìn)行缺失值數(shù)據(jù)處理、錯(cuò)誤數(shù)據(jù)處理、關(guān)聯(lián)性數(shù)據(jù)驗(yàn)證和不規(guī)范數(shù)據(jù)處理等，最終通過設(shè)計(jì)食品安全主題域模型、顯著性風(fēng)險(xiǎn)模型和綜合分析模型去構(gòu)建完整的食品安全趨勢(shì)分析模型。

1.1 多源數(shù)據(jù)采集匯集方法

針對(duì)食品安全數(shù)據(jù)采集場(chǎng)景，除了常見的食品安全監(jiān)管局網(wǎng)站外，還有可能對(duì)微博數(shù)據(jù)開放平臺(tái)進(jìn)行接口采集，以及直接爬取各地方新聞媒體數(shù)據(jù)。因此，面對(duì)錯(cuò)綜復(fù)雜的食品安全數(shù)據(jù)采集場(chǎng)景，針對(duì)不同數(shù)據(jù)源，選擇合適的數(shù)據(jù)采集技術(shù)是至關(guān)重要的，具體場(chǎng)景下的采集技術(shù)選型如表1所示。

結(jié)合食品安全風(fēng)險(xiǎn)趨勢(shì)分析的數(shù)據(jù)源情況及數(shù)據(jù)需求，設(shè)計(jì)數(shù)據(jù)采集解決方案技術(shù)架構(gòu)如圖2所示。

通過多源數(shù)據(jù)采集架構(gòu)，完成數(shù)據(jù)采集、存儲(chǔ)和管理，為后續(xù)標(biāo)準(zhǔn)化數(shù)據(jù)治理做好準(zhǔn)備。

1.2 食品安全數(shù)據(jù)處理方法

食品安全多源數(shù)據(jù)采集完成后，接下來是食品安全數(shù)據(jù)的標(biāo)準(zhǔn)化處理[3]，主要是針對(duì)食品安全數(shù)據(jù)中存在的缺失值數(shù)據(jù)處理場(chǎng)景、錯(cuò)誤數(shù)據(jù)處理場(chǎng)景、關(guān)聯(lián)性數(shù)據(jù)驗(yàn)證場(chǎng)景和不規(guī)范數(shù)據(jù)處理場(chǎng)景，具體的數(shù)據(jù)標(biāo)準(zhǔn)化處理流程圖如圖3所示。

對(duì)于具體的食品安全數(shù)據(jù)標(biāo)準(zhǔn)化處理規(guī)則，它是開展數(shù)據(jù)標(biāo)準(zhǔn)化治理工作前期的預(yù)判斷環(huán)節(jié)，通過預(yù)先配置的數(shù)據(jù)標(biāo)準(zhǔn)處理規(guī)則，一方面可以節(jié)省食品安全數(shù)據(jù)標(biāo)準(zhǔn)化處理的效率，另一方面可以評(píng)估食品安全原始數(shù)據(jù)源的數(shù)據(jù)質(zhì)量情況。

而對(duì)于食品安全數(shù)據(jù)存在的四種治理場(chǎng)景，具體處理方法如表2所示。

1.3 食品安全風(fēng)險(xiǎn)主題域模型設(shè)計(jì)方法

在食品安全數(shù)據(jù)標(biāo)準(zhǔn)化治理完成后，需要先構(gòu)建食品安全風(fēng)險(xiǎn)主題域模型?？紤]到食品領(lǐng)域的種類非常復(fù)雜，具體包括主食、肉類、蔬菜、水果、水、飲料、各種調(diào)味劑等，本研究的食品安全主題域模型設(shè)計(jì)是參考國際食品法典委員會(huì)（CAC）食品分類標(biāo)準(zhǔn)，將食品安全風(fēng)險(xiǎn)主題域模型設(shè)計(jì)按照六個(gè)層次來分類，分別是生產(chǎn)地、檢測(cè)地、檢測(cè)時(shí)間、食品分類、檢測(cè)指標(biāo)和輿情監(jiān)控。這種分類方式有利于不同時(shí)期，不同地域，不同種類的食品安全風(fēng)險(xiǎn)趨勢(shì)分析的相互轉(zhuǎn)換和組合，總體框如圖4所示。

加強(qiáng)食品安全風(fēng)險(xiǎn)信息的管理，有助于實(shí)現(xiàn)食品安全問題的早發(fā)現(xiàn)、早研判、早預(yù)警和早處理。

2 食品安全風(fēng)險(xiǎn)趨勢(shì)分析模型建立

2.1 食品安全顯著性分析模型建立

2.1.1 各類食品指標(biāo)的標(biāo)準(zhǔn)化方法

在上述研究的基礎(chǔ)上，要對(duì)不同食品種類的數(shù)據(jù)進(jìn)行比較，可先將它們分別標(biāo)準(zhǔn)化，轉(zhuǎn)化成無量綱的標(biāo)準(zhǔn)化數(shù)據(jù)，因而可以借助于標(biāo)準(zhǔn)化方法來消除數(shù)據(jù)量綱的影響。標(biāo)準(zhǔn)化公式為：

其中，[xi]指不同食品種類檢測(cè)的實(shí)際數(shù)據(jù)，[yi]指標(biāo)準(zhǔn)化后的檢測(cè)數(shù)據(jù)，而[x=1ni=1nxi]表示檢測(cè)指標(biāo)的求和平均值，[s=1n-1i=1n（xi-x）2]表示檢測(cè)指標(biāo)的標(biāo)準(zhǔn)差。因此指標(biāo)實(shí)際值與評(píng)價(jià)值的最終關(guān)系如圖5所示。

可以看出，無論指標(biāo)的實(shí)際值如何，指標(biāo)的評(píng)價(jià)值總是分布在零的兩側(cè)。指標(biāo)實(shí)際值比平均值大的，其評(píng)價(jià)值為正，反之為負(fù)。為了更符合習(xí)慣，我們可以將食品種類的合格率轉(zhuǎn)化為百分?jǐn)?shù)形式，比如用公式：

均值轉(zhuǎn)化為60，超過均值的轉(zhuǎn)化為60以上，反之則在60以下。這種“百分?jǐn)?shù)”還不同于一般的百分?jǐn)?shù)，因?yàn)閭€(gè)別極端數(shù)值的轉(zhuǎn)化只可能超過[0，100]區(qū)間。

2.1.2 顯著性分析模型建立的準(zhǔn)備

可信度（reliability），可以定義為統(tǒng)計(jì)測(cè)量的響應(yīng)中可變性的比例。根據(jù)樣本個(gè)數(shù)的不同，最初的可信度評(píng)價(jià)等級(jí)已經(jīng)不能很好的詮釋多樣本下的指標(biāo)權(quán)重比例，因此本文在原來的基礎(chǔ)上做了如下改進(jìn)：

其中，[ni]為每個(gè)樣本數(shù)，公式中求其總數(shù)值。[ω]為標(biāo)準(zhǔn)權(quán)重水平，[ωi]為樣本指標(biāo)的權(quán)重值，[ωi]為改進(jìn)后的劃分權(quán)重值。

為了對(duì)可信度進(jìn)行等級(jí)劃分，利用式⑶和式⑷，表5給出了主觀可信度的等級(jí)劃分：

因此，從主觀可信度矩陣可以看出，在給出可信度時(shí)，僅需給出主觀可信度矩陣的上（或者下）二角的元素即可，由于主觀可信度矩陣C與判斷矩陣A的元素一一對(duì)應(yīng)，對(duì)矩陣C作列和歸一化操作，即可得到每一列判斷的主觀可信度權(quán)重，即

2.2 食品安全綜合性分析模型建立

通過上述的求解結(jié)果，結(jié)合食品安全數(shù)據(jù)的分析，本文通過將不合格比率進(jìn)行劃分，從而確定每次抽檢各類食品安全指標(biāo)不合格的程度。

根據(jù)安全指標(biāo)處理后的數(shù)據(jù)特點(diǎn)，我們結(jié)合Liker等級(jí)分類原理進(jìn)行等級(jí)劃分，其區(qū)間劃分如表4。

在綜合評(píng)價(jià)時(shí)，如果遇到定性的指標(biāo)，這些指標(biāo)必須經(jīng)過處理才能與其他量化指標(biāo)一起運(yùn)用。因此，我們結(jié)合食品種類的風(fēng)險(xiǎn)監(jiān)測(cè)指標(biāo)進(jìn)行變化趨勢(shì)分析。

2.3 食品安全風(fēng)險(xiǎn)趨勢(shì)分析模型建立

在上述步驟之后，挑選不同的食品種類，分析其食品安全風(fēng)險(xiǎn)趨勢(shì)最大的影響因子，并通過Python對(duì)其變化趨勢(shì)進(jìn)行深入分析，最終決定選擇指數(shù)平滑的時(shí)間序列算法作為食品安全風(fēng)險(xiǎn)趨勢(shì)分析的技術(shù)實(shí)現(xiàn)[4]，模型的建立具體如下。

3 實(shí)驗(yàn)與測(cè)評(píng)

3.1 數(shù)據(jù)準(zhǔn)備

本論文以市場(chǎng)監(jiān)督管理局網(wǎng)站的食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)[5]為研究對(duì)象，其數(shù)據(jù)范圍覆蓋了豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類等食品種類的抽樣檢測(cè)數(shù)據(jù)。原始數(shù)據(jù)共包含了23552條數(shù)據(jù)，每條數(shù)據(jù)包含了生產(chǎn)地、檢測(cè)地、檢測(cè)時(shí)間、食品分類、檢測(cè)指標(biāo)和輿情監(jiān)控等字段。針對(duì)食品安全風(fēng)險(xiǎn)趨勢(shì)分析的預(yù)測(cè)需求，我們從原始數(shù)據(jù)中提取了所有字段用于構(gòu)建數(shù)據(jù)集[6]。

我們對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)治理，在大數(shù)據(jù)平臺(tái)中構(gòu)建了原始區(qū)、標(biāo)準(zhǔn)區(qū)、主題區(qū)和專題區(qū)，其中原始區(qū)構(gòu)建目的是存儲(chǔ)源數(shù)據(jù)，保持貼源1：1原則。標(biāo)準(zhǔn)區(qū)構(gòu)建目的是為了針對(duì)原始數(shù)據(jù)開展標(biāo)準(zhǔn)化數(shù)據(jù)治理工作，提升食品安全數(shù)據(jù)質(zhì)量。主題區(qū)構(gòu)建目的是為了圍繞食品安全對(duì)象去設(shè)計(jì)主題域模型，解決食品安全多源數(shù)據(jù)融合分析的問題。專題區(qū)構(gòu)建的目的是為了支撐食品安全風(fēng)險(xiǎn)趨勢(shì)分析模型的建立，提供數(shù)據(jù)服務(wù)支撐。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 顯著性分析模型求解

在此基礎(chǔ)上，為了支撐最終模型的構(gòu)建，我們首先對(duì)各類食品檢測(cè)指標(biāo)數(shù)據(jù)進(jìn)行了無量綱化處理，得到豆制品（A）、熟肉制品（B）、調(diào)味品（C）、蔬菜（D）、蛋制品（E）、休閑食品（F）和酒水類（G）等食品種類在最近三年不合格率的風(fēng)險(xiǎn)得分矩陣，再結(jié)合變量相關(guān)性模型公式（5）求解得到分類食品所占的權(quán)重比，最終篩選出顯著性食品種類進(jìn)行指標(biāo)變化趨勢(shì)分析[7]。

通過如上的表格，利用公式⑸計(jì)算出豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類的權(quán)重如下所示：

（0.0944，0.0179，0.4549，-0.0093，0.0320，0.1599，0.1075）

通過分析所劃分后的權(quán)重值大小，我們得到在食物種類的豆制品，調(diào)味品，休閑食品和酒水類樣本中，他們的可靠性評(píng)估標(biāo)準(zhǔn)為非常有把握和完全有把握，因此本文接下來將對(duì)這四類食物種類進(jìn)行風(fēng)險(xiǎn)趨勢(shì)變化分析。

3.2.2 綜合性分析模型求解

通過上述的求解結(jié)果，我們將挑選四類食品的風(fēng)險(xiǎn)指標(biāo)在最近三年內(nèi)的不合格比例統(tǒng)計(jì)出來，再結(jié)合采用Liker四級(jí)量表，將食品指標(biāo)的合格程度分成四級(jí)，分別是：第I類、第II類、第III類和第IV類，相應(yīng)賦值為4、3、2、1。在綜合評(píng)價(jià)時(shí)，這些定性指標(biāo)的信息必須經(jīng)過處理才能一起使用，因此我們利用上述定性指標(biāo)的量化公式⑹進(jìn)行處理[8]，最終得到安全指標(biāo)在剩余四類食品所影響的風(fēng)險(xiǎn)趨勢(shì)得分如下所示：

通過上述表所給的信息，我們可以得到在豆制品，調(diào)味品，蛋制品和酒水類食物中，其顯著指標(biāo)分別為微生物、食品添加劑、抗生素和微生物，因此，我們結(jié)合所篩選出來的指標(biāo)進(jìn)行變化趨勢(shì)分析。

3.2.3 風(fēng)險(xiǎn)趨勢(shì)分析模型求解

結(jié)合上述步驟并考慮求解過程的一致性，我們這里只針對(duì)酒水類進(jìn)行求解，對(duì)酒水類中所給的風(fēng)險(xiǎn)趨勢(shì)指標(biāo)數(shù)據(jù)進(jìn)行曲線擬合[9]，考慮到數(shù)據(jù)的正負(fù)號(hào)，首先通過公式⑵進(jìn)行負(fù)向指標(biāo)正向化處理，最后再利用Python求解結(jié)果如下所示：

由圖6可知，預(yù)測(cè)的檢測(cè)指標(biāo)合格變化趨勢(shì)呈現(xiàn)緩慢增長，基本與實(shí)際情況相吻合。反推可知食品安全不合格率的趨勢(shì)變化情況，為食品安全流通各環(huán)節(jié)提供有力的監(jiān)管支撐[10]。

4 結(jié)束語

本文采用多源數(shù)據(jù)采集匯集技術(shù)、數(shù)據(jù)治理方法、食品安全顯著性分析模型和食品綜合性分析模型結(jié)合的方法實(shí)現(xiàn)食品安全風(fēng)險(xiǎn)趨勢(shì)分析的自動(dòng)預(yù)測(cè)。其中多源數(shù)據(jù)采集匯集技術(shù)和數(shù)據(jù)治理方法是本文研究的核心，通過對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行采集、匯集、治理和融合處理，保障了數(shù)據(jù)處理的實(shí)效性以及數(shù)據(jù)質(zhì)量的可靠性。同時(shí)在模型構(gòu)建的環(huán)節(jié)，本研究沒有使用單一的模型對(duì)問題進(jìn)行分析求解，而是綜合運(yùn)用了多種數(shù)學(xué)模型，并增加了一定的檢驗(yàn)環(huán)節(jié)，提高了數(shù)據(jù)的合理性，同時(shí)也增加了研究的價(jià)值。實(shí)驗(yàn)表明，本文提出的多源數(shù)據(jù)采集融合的食品安全風(fēng)險(xiǎn)模型在合格率預(yù)測(cè)中表現(xiàn)較好，即本文模型對(duì)食品安全監(jiān)測(cè)達(dá)到良好的分類效果。但經(jīng)擴(kuò)展后的數(shù)據(jù)與真實(shí)數(shù)據(jù)仍存在差異，這也是后期模型待解決的問題，后續(xù)我們將工作重點(diǎn)投入到有效的數(shù)據(jù)擴(kuò)展中，提高預(yù)測(cè)的準(zhǔn)確率。

參考文獻(xiàn)（References）：

[1] 郝記明，馬麗艷，李景明.食品安全問題及其控制食品安全的措施[J].食品與發(fā)酵工業(yè)，2004，30（12）：63-66

[2] 肖輝，任鵬程，肖革新，等.食品安全健康大數(shù)據(jù)平臺(tái)構(gòu)建[J].醫(yī)學(xué)信息學(xué)雜志，2016，37（5）：28-31

[3] 郭曙超，龔方，昃向君，等.食品安全檢測(cè)數(shù)據(jù)倉庫技術(shù)的應(yīng)用于研究[J].食品研究與開發(fā)，2013，34（17）：125-127

[4] 王雅潔，楊冰，羅艷，等.大數(shù)據(jù)挖掘在食品安全風(fēng)險(xiǎn)預(yù)警領(lǐng)域的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2015，43（8）：332-334

[5] 張曉勇，李剛，張莉.中國消費(fèi)者對(duì)食品安全的關(guān)切——對(duì)天津消費(fèi)者的調(diào)查與分析[J].中國農(nóng)村觀察，2004，9（1）：14-21

[6] MITCHELL R.Web scraping with python：collecting more data from the modern web[M].2nded.Sebastopol：O'Reilly，2018：122-125

[7] MAATEN L，HINTONG.Visualizing data using t-SNE[J].Journal of Machine Learning Research，2008，9（86）：2579-2605

[8] KRAWCZYK B.Learning from imbalanced data：open challenges and future directions[J].Progress in Artificial Intelligence，2016，5（4）：221-232

[9] ETHEM A.Machinelearning：the new AI[M].[s.l.]：MitPress，2016：1-30

[10] Yongming Han. Food quality and safety risk assessment using a novel HMM method based on GRA[J]. Food Control，2019（105）：180-189

*基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（U20B2069）

作者簡(jiǎn)介：汪榕（1993-），男，貴州安順人，學(xué)士，工程師，主要研究方向：大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘、數(shù)據(jù)治理。