基于TF-IDF 的食品風(fēng)險(xiǎn)分析模型的構(gòu)建與應(yīng)用

姚振民，邢家溧，承海，鄭睿行，毛玲燕，徐曉蓉，張書芬，沈堅(jiān)

（寧波市產(chǎn)品食品質(zhì)量檢驗(yàn)研究院（寧波市纖維檢驗(yàn)所）浙江寧波 315048）

民以食為天，食品是人民生存最基本的物質(zhì)保障。近年來，國民經(jīng)濟(jì)水平的大幅提升，人民生活水平大幅改善，食品質(zhì)量成為消費(fèi)者關(guān)注的重點(diǎn)。食品安全與人民身體健康息息相關(guān)，因此業(yè)內(nèi)外各界都格外關(guān)注食品安全管理[1]。然而，“固體飲料冒充配方奶粉”“蘇丹紅”“紅心鴨蛋” 等食品安全問題的報(bào)道屢見不鮮[2]，這些頻繁發(fā)生的食品安全事件既嚴(yán)重侵犯了消費(fèi)者的合法權(quán)益，也對(duì)國家公信力有一定的影響，因此，食品安全問題引起我國政府與有關(guān)部門的高度重視[3]。以綜合提升食品安全監(jiān)管效能為建設(shè)目標(biāo)，科學(xué)探索食品安全風(fēng)險(xiǎn)分析模型[4]，積極推進(jìn)風(fēng)險(xiǎn)監(jiān)測(cè)與預(yù)警關(guān)口有效前移，實(shí)現(xiàn)食品安全源頭防控和主動(dòng)預(yù)防的相關(guān)研究必將被重點(diǎn)關(guān)注[5]。

目前，我國食品安全風(fēng)險(xiǎn)評(píng)估和風(fēng)險(xiǎn)監(jiān)測(cè)中存在覆蓋面窄，數(shù)據(jù)共享程度不高，資源投入較少等問題[6]。雖然我國食品安全風(fēng)險(xiǎn)評(píng)價(jià)已開始，但是與其他國家，尤其是發(fā)達(dá)國家相比仍存在顯著差距，因此在評(píng)估中不斷借鑒新的經(jīng)驗(yàn)是必不可少的[7]。目前，國際上的主流方法是通過評(píng)級(jí)或賦值來對(duì)風(fēng)險(xiǎn)發(fā)生的可能性和嚴(yán)重程度進(jìn)行等級(jí)排序[8]。基于這些不同的方法，研究人員探索出不少風(fēng)險(xiǎn)分級(jí)模型，包括定性、定量和半定量模型3 類[9]。如美國食品藥品監(jiān)督管理局（FDA）向公眾開放的一個(gè)基于網(wǎng)絡(luò)的定量風(fēng)險(xiǎn)評(píng)估系統(tǒng)——iRISK，被認(rèn)為是最適合微生物風(fēng)險(xiǎn)分級(jí)的方法[10]。這些風(fēng)險(xiǎn)分級(jí)模型的分級(jí)效果與風(fēng)險(xiǎn)指標(biāo)體系構(gòu)建、初始數(shù)據(jù)形式、使用的方法等有關(guān)，其中定量風(fēng)險(xiǎn)分級(jí)模型的分級(jí)效果最好，然而，缺點(diǎn)是需要有充足的數(shù)據(jù)支持[11]。目前美國和歐盟的食品安全風(fēng)險(xiǎn)分級(jí)模型主要是針對(duì)食品中的微生物和化學(xué)污染物[12]，國際上尚無通用的食品安全風(fēng)險(xiǎn)分級(jí)模型。

國務(wù)院 《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（國發(fā)[2015]50 號(hào)）提出：推動(dòng)大數(shù)據(jù)應(yīng)用，建立并不斷完善涵蓋基礎(chǔ)、數(shù)據(jù)、技術(shù)、平臺(tái)/工具、管理、安全和應(yīng)用的大數(shù)據(jù)標(biāo)準(zhǔn)體系[13]。大數(shù)據(jù)時(shí)代的到來，為食品安全分析模型的建立提供了一種全新的思路。原先單一的食品數(shù)據(jù)分析方法，例如不合格率、超標(biāo)率等，漸漸不能滿足人們對(duì)食品安全信息的要求。基于食品安全大數(shù)據(jù)特點(diǎn)，開展食品安全大數(shù)據(jù)標(biāo)準(zhǔn)化研究，從而構(gòu)建食品安全風(fēng)險(xiǎn)分析模型并做出深度分析，乃至進(jìn)一步預(yù)測(cè)地區(qū)風(fēng)險(xiǎn)才是充分利用大數(shù)據(jù)特征，響應(yīng)國家號(hào)召、順應(yīng)時(shí)代潮流的重點(diǎn)方向。

本文以2019 年12 月到2020 年12 月間某市蔬菜產(chǎn)品各項(xiàng)檢測(cè)數(shù)據(jù)為研究對(duì)象，通過詞頻-逆文檔頻率（term frequency-inverse document frequency，TF-IDF）方法建立指標(biāo)權(quán)重體系，以對(duì)檢測(cè)技術(shù)參數(shù)及標(biāo)準(zhǔn)限量值的客觀認(rèn)知，通過對(duì)結(jié)果數(shù)據(jù)矩陣的處理補(bǔ)全，進(jìn)一步計(jì)算得到最終各個(gè)樣品的具體風(fēng)險(xiǎn)指數(shù)。模型的建立將為我國蔬菜安全分級(jí)問題分析與風(fēng)險(xiǎn)預(yù)警提供理論依據(jù)，且可以推廣到各類食品，并為深度挖掘食品安全數(shù)據(jù)信息，探索構(gòu)建食品安全監(jiān)測(cè)和風(fēng)險(xiǎn)評(píng)估新模式提供一種新的思路。

1 材料與方法

1.1 數(shù)據(jù)來源

連續(xù)收集2019 年12 月至2020 年12 月間某市蔬菜類農(nóng)產(chǎn)品指標(biāo)檢測(cè)資料。樣品抽檢依據(jù)國家食品安全抽檢計(jì)劃并遵循“雙隨機(jī)”原則，檢測(cè)方法按照2019-2020 國家食品安全檢測(cè)方法標(biāo)準(zhǔn)進(jìn)行。檢測(cè)結(jié)果判定依據(jù)GB 2763-2019《食品安全國家標(biāo)準(zhǔn) 食品中農(nóng)藥最大殘留限量》。

1.2 數(shù)據(jù)預(yù)處理

根據(jù)國家食品安全風(fēng)險(xiǎn)評(píng)估專家委員會(huì)的數(shù)據(jù)采集需求，單項(xiàng)檢測(cè)項(xiàng)目未檢出的占比低于60%的，檢測(cè)值定義為1/2 檢出限（Limit of detection，LOD），高于60%的定義為LOD。處理完檢測(cè)結(jié)果為未檢出的數(shù)據(jù)之后，將未檢測(cè)定義為0，得到矩陣定義為G。

1.3 模型開發(fā)

采用TF-IDF 作為權(quán)重確定的數(shù)值統(tǒng)計(jì)方法。該方法原旨在反映單詞對(duì)集合或者語料庫中文檔的重要性，在信息檢索、文本挖掘和用戶建模的搜索中常用作加權(quán)因子，其值與單詞在文檔中出現(xiàn)的次數(shù)呈正比的增加，并被包含該單詞的語料庫中的文檔數(shù)量所抵消。其中，TF（term frequency）有多種表達(dá)方式，包括原始型、布爾型、對(duì)數(shù)標(biāo)度型等，本文中TF 值以tf（t，d）表示，而IDF（inverse document frequency）是對(duì)單詞提供多少信息的一種度量，即該信息在所有文檔中是常見還是稀有（通過將文檔總數(shù)除以包含該術(shù)語的文檔數(shù)量，然后取該商的對(duì)數(shù)來獲得），本文中IDF 值以idf（t，D）表示。

本質(zhì)上來說TF-IDF 是基于信息論出發(fā)的一個(gè)統(tǒng)計(jì)方法，假定D={d1，…，dN}為一個(gè)文本集合，而W={w1，…，wM}為D 中的單詞集合，其中M 和N分別表示為單詞和文本的總數(shù)。分別用dj和wi表示D 和W 中的元素，用D 和W 表示為{d1，…，dN}和{w1，…，wM}中的隨機(jī)變量，假定D 中所有元素取到的概率相等且為P（dj）=1/N，那么，每個(gè)文檔計(jì)算的信息量為-lg（1/N），而隨機(jī)變量D 的熵為：

接下來考慮已知wi（∈W）的情況，令Ni為含有wi子集中的文檔個(gè)數(shù)，假定各個(gè)文檔取到的概率相同，則它們的信息量均為-lg（1/Ni），在給定wi的情況下，隨機(jī)變量D 的熵為：

假設(shè)在選定子集中沒有wi的文檔的出現(xiàn)概率為零，即這些文件沒有任何貢獻(xiàn)，上述方程中不可能出現(xiàn)N-Ni。

現(xiàn)在，從整個(gè)文本中任取一個(gè)單詞wi，將dj中wi的頻率表示為fij，而整個(gè)文本中wi的頻率表示為，該文本中的所有單詞總數(shù)表示為F，則有如下等式成立：，那么交互信息值可以表示為：

等式（3）和（4）分別為以fwi或fij形式表示TF和除以常數(shù)F 的IDF 的乘積。IDF 因子表示觀察到特定單詞后信息量的變化，而TF 因子表示實(shí)際觀察到該單詞的概率估計(jì)。（3）和（4）分別表示兩個(gè)不同的方面，當(dāng)TF 表示為fwi時(shí)，TF-IDF 意為單詞選擇的度量，而當(dāng)TF 表示為fij時(shí)，TF-IDF 意為單詞權(quán)重的度量[15]。

對(duì)比于本文或者語料庫的結(jié)構(gòu)構(gòu)成，食品數(shù)據(jù)擁有類似的數(shù)據(jù)結(jié)構(gòu)構(gòu)成，同樣的數(shù)據(jù)大量缺失、大量重復(fù)。將每個(gè)樣品視為一句單句，每個(gè)檢測(cè)項(xiàng)目作為構(gòu)成單句的單詞，以方法LOD 值作為衡量單詞出現(xiàn)頻率的基準(zhǔn)線，從而得到一個(gè)類似于文本矩陣的數(shù)據(jù)矩陣，進(jìn)一步對(duì)每個(gè)檢測(cè)項(xiàng)目進(jìn)行權(quán)重的賦值，最終進(jìn)行風(fēng)險(xiǎn)值的評(píng)估。經(jīng)嘗試，從結(jié)果來看，該模型效果很好。

1.4 數(shù)據(jù)處理

以每個(gè)樣品所做各個(gè)指標(biāo)的檢測(cè)方法的檢出限為基準(zhǔn)，假設(shè)某樣品的某個(gè)指標(biāo)檢出為m，所用方法檢出限為n，則定義該樣品的該個(gè)指標(biāo)為m/n，相當(dāng)于檢出m/n 次。若未檢出，則由1.2 節(jié)所述，根據(jù)未檢出的占比情況分別定義為1/2 和1次。若未檢測(cè)則表現(xiàn)為0 次，最終得到一個(gè)頻數(shù)矩陣，不妨定義為K。

1.5 權(quán)重的計(jì)算

權(quán)重的計(jì)算分為兩個(gè)部分，首先計(jì)算TF 值：

式中：ft，d——某一指標(biāo)t 在樣品d 中出現(xiàn)的次數(shù)，即頻數(shù)矩陣K 中第d 行，第t 列的值?！苩'∈dft'，d——該樣本所有頻數(shù)之和，在K 上表現(xiàn)為第d 行所有數(shù)的和。

然后，計(jì)算IDF（inverse document frequency）值：

式中：N——樣品數(shù)，即表現(xiàn)為K 的行數(shù)。上式的分母指N 個(gè)樣品中，包含t 指標(biāo)的樣品的數(shù)量，在K 中表現(xiàn)為K 中第t 列不為0 的行數(shù)，如果分母為0，則變?yōu)閨d∈D:t∈d|+1。

最終將所得的tf（t，d）與idf（t，D）相乘，得到權(quán)重矩陣W0，

將其作歸一化處理，得到：

1.6 風(fēng)險(xiǎn)程度的分析

重新處理得到的F 矩陣，為初步處理的結(jié)果矩陣，將其各個(gè)元素與對(duì)應(yīng)的食品安全國家標(biāo)準(zhǔn)中的最高限量值MRL 作比值，即：

得到的矩陣M 為各樣本的各項(xiàng)指標(biāo)值，對(duì)于其對(duì)應(yīng)的食品安全國家標(biāo)準(zhǔn)中最高限量值MRL的比值矩陣，反映各樣本各個(gè)指標(biāo)的檢測(cè)值對(duì)應(yīng)的風(fēng)險(xiǎn)程度。

1.7 風(fēng)險(xiǎn)指數(shù)的計(jì)算

將所得的權(quán)重矩陣與風(fēng)險(xiǎn)矩陣各個(gè)點(diǎn)對(duì)應(yīng)相乘即：

將S0進(jìn)一步處理：

再將S1進(jìn)一步處理：

其S 中大于0 的為不合格樣品，小于0 的為合格樣品，得到的最終評(píng)分越大，其風(fēng)險(xiǎn)程度越高。

2 結(jié)果與分析

2.1 基本情況

蔬菜屬植物性農(nóng)產(chǎn)品，是人體所需膳食纖維、維生素、植物化學(xué)物質(zhì)、礦物質(zhì)等的主要來源，在我國居民日常膳食中不可或缺的一種食材。本文中用到的數(shù)據(jù)包括2019 年12 月到2020 年12 月間共1 642 批次（12 872 項(xiàng)次，包括各類檢測(cè)項(xiàng)次），其中包括豆類蔬菜、根莖類和薯芋類蔬菜、莖類蔬菜、葉菜類蔬菜等12 類50 種，檢測(cè)項(xiàng)目包括阿維菌素、倍硫磷、敵敵畏、啶蟲脒、毒死蜱、氟蟲腈、腐霉利等26 類。當(dāng)前可通過市場(chǎng)手段獲得的主要蔬菜及種植業(yè)常用農(nóng)藥品類均已覆蓋。表1為部分批次的部分項(xiàng)次。

表1 蔬菜產(chǎn)品原始數(shù)據(jù)表（mg/kg）Table 1 Raw data of vegetable products（mg/kg）

2.2 數(shù)據(jù)初步處理情況

將原始數(shù)據(jù)按照上述步驟進(jìn)行處理，并暫時(shí)舍去部分不需要因素（如檢驗(yàn)依據(jù)等），可得到表2，即初步處理的結(jié)果（部分）

表2 蔬菜產(chǎn)品初步處理數(shù)據(jù)表（mg/kg）Table 2 Preliminarily processed data of vegetable products（mg/kg）

2.3 指標(biāo)權(quán)重構(gòu)建

權(quán)重的建立是整個(gè)模型構(gòu)建的重中之重，權(quán)重設(shè)置的好、壞影響模型構(gòu)建的結(jié)果以及最終風(fēng)險(xiǎn)評(píng)估的結(jié)果。方法學(xué)上來說，某一檢測(cè)指標(biāo)在該樣品中的檢測(cè)值越大，即上述計(jì)算得到的頻數(shù)越大，則在該樣品中所占的權(quán)重越大，其對(duì)該個(gè)樣本的貢獻(xiàn)度就越大[15]，而包含該檢測(cè)項(xiàng)目的樣本數(shù)量越多，該項(xiàng)目整體權(quán)重被抵消的越多。通過計(jì)算得到各樣品各個(gè)檢測(cè)項(xiàng)目的權(quán)重如下表3 所示。

表3 蔬菜產(chǎn)品權(quán)重表Table 3 Weights of vegetable products

2.4 風(fēng)險(xiǎn)值計(jì)算

經(jīng)計(jì)算得到各樣本的單獨(dú)風(fēng)險(xiǎn)值見表4（從高到低排序）。

表4 蔬菜產(chǎn)品風(fēng)險(xiǎn)值表Table 4 Risk values of vegetable products

2.5 結(jié)果分析

最終得到的風(fēng)險(xiǎn)值越大該樣本的風(fēng)險(xiǎn)程度越高，且以0 作為分界線，當(dāng)最終的風(fēng)險(xiǎn)值大于0時(shí)，樣本為不合格樣本，小于0 時(shí)為合格樣本。

2.5.1 單個(gè)樣本情況分析 從單個(gè)樣本來看，對(duì)于風(fēng)險(xiǎn)值最高的，數(shù)值為1.66333 的批次，樣品名為芹菜，甲基異硫磷的檢測(cè)結(jié)果為0.48 mg/kg，為國家標(biāo)準(zhǔn)最大允許限量值（0.01 mk/kg）的48 倍，該樣品的各指標(biāo)權(quán)重分布情況為：甲基異硫磷的權(quán)重占到該樣本的0.95，其余26 個(gè)項(xiàng)目之和為0.05。風(fēng)險(xiǎn)值第二高的樣品名為韭菜，經(jīng)比對(duì)，檢測(cè)指標(biāo)中腐霉利的含量為6.8 mg/kg，為國家標(biāo)準(zhǔn)最大允許限量值（0.2 mg/kg）的34 倍，該樣品的各個(gè)指標(biāo)權(quán)重分布情況為：腐霉利的權(quán)重占到該樣本的0.94，其余26 個(gè)項(xiàng)目權(quán)重之和為0.05。研究表明最終風(fēng)險(xiǎn)值大于1 的都有某項(xiàng)指標(biāo)顯著超過國家標(biāo)準(zhǔn)最大允許限量值。風(fēng)險(xiǎn)值僅為0.0586 的是青菜的樣本，其啶蟲脒超標(biāo)了1.5 倍，相較于其它不合格產(chǎn)品，相對(duì)來說風(fēng)險(xiǎn)性較小。

最終的風(fēng)險(xiǎn)值情況并不是完全取決于某樣品是否某個(gè)指標(biāo)超標(biāo)倍數(shù)。例如有一樣本為茄子，氧樂果檢測(cè)結(jié)果為0.36 mg/kg，超過國家標(biāo)準(zhǔn)最大允許限量值（0.02 mg/kg）的18 倍，比韭菜（毒死蜱超標(biāo)了10 倍）風(fēng)險(xiǎn)值高。具體原因有很多種，根本原因是所有含有該檢測(cè)項(xiàng)目的樣本數(shù)不同，導(dǎo)致權(quán)重有一定的差異，以至于最后在計(jì)算風(fēng)險(xiǎn)值時(shí)有一定的差距。

通過以上分析，從較為關(guān)注的不合格批次來說，單項(xiàng)風(fēng)險(xiǎn)因子超標(biāo)較多的批次，最終通過模型得到的風(fēng)險(xiǎn)值也較大，而部分合格批次最終風(fēng)險(xiǎn)值靠近0 的也有某一項(xiàng)風(fēng)險(xiǎn)因子被檢出，其值甚至靠近定量限。綜上，由單個(gè)樣本的分析得出，該模型對(duì)于單項(xiàng)樣本的風(fēng)險(xiǎn)度有較好的反饋。

總的來說，通過分析2019 年12 月到2020 年12 月間蔬菜產(chǎn)品單體數(shù)據(jù)情況，可以得出芹菜和韭菜是需重點(diǎn)關(guān)注的對(duì)象，而毒死蜱和腐霉利作為其中具有較高風(fēng)險(xiǎn)的項(xiàng)目需引起關(guān)注。

2.5.2 總體樣本情況分析 本文采用數(shù)據(jù)共1 642 批次，各類風(fēng)險(xiǎn)因子檢測(cè)12 871 項(xiàng)次，其中不合格批次為27 批，不合格率為1.64%。各類因子檢出528 項(xiàng)次，檢出率為4.10%，其中不合格項(xiàng)為27 項(xiàng)次，占檢出項(xiàng)的5.30%。在統(tǒng)計(jì)的26 種風(fēng)險(xiǎn)因子中（表5），啶蟲脒、腐霉利、氯氟氰菊酯和高效氯氟氰菊酯的檢出率和不合格率分別為50.84%和0.63%，30.46%和2.65%，8.45%和0.20%，其中腐霉利不合格率顯著高于蔬菜風(fēng)險(xiǎn)因子平均水平（P＜0.01，卡方檢驗(yàn)），且不合格批次都為鱗莖類蔬菜（芹菜），需特別關(guān)注，其余不合格率均正常分布。

由表5 可知，同一個(gè)風(fēng)險(xiǎn)因子，檢出率與不合格率并無相關(guān)性，比如啶蟲脒的檢出率高達(dá)50.84%，而其不合格率處于正常水平，同樣的甲拌磷檢出率雖然較低，但是不合格率高居第二。

表5 風(fēng)險(xiǎn)因子分析表Table 5 Risk factor data

經(jīng)過計(jì)算不合格批次的風(fēng)險(xiǎn)值均大于0，通過TF-IDF 權(quán)重確定方法以及模型最終得到的風(fēng)險(xiǎn)值如圖1 所示（從高到低排序）。風(fēng)險(xiǎn)值在0 以上均為不合格，0 以下均為合格?？梢钥闯鼋^大部分的蔬菜產(chǎn)品都為低風(fēng)險(xiǎn)甚至無風(fēng)險(xiǎn)產(chǎn)品。

圖1 最終風(fēng)險(xiǎn)值總體情況Fig.1 The overall performance of final value

考慮到蔬菜具有季節(jié)性等特點(diǎn)，為了更直觀反映蔬菜產(chǎn)品風(fēng)險(xiǎn)值與時(shí)間的關(guān)系，以時(shí)間為橫坐標(biāo)，上文所得風(fēng)險(xiǎn)值作為縱坐標(biāo)作圖，分析蔬菜安全風(fēng)險(xiǎn)變化情況。圖2 為2019.12 至2020.11 期間風(fēng)險(xiǎn)值（取每個(gè)月平均值）與時(shí)間關(guān)系圖?？傮w來說，這段時(shí)間的蔬菜風(fēng)險(xiǎn)情況都維持在風(fēng)險(xiǎn)度較低的水平，2019 年12月至2020 年1 月，2020年12 月至2021 年1 月的風(fēng)險(xiǎn)趨勢(shì)類似，同時(shí)也呈現(xiàn)出一定的季節(jié)性波動(dòng)，夏季相對(duì)較低而春秋冬季相對(duì)較高，符合一般蔬菜的播種收獲情況。此結(jié)果表明，基于TF-IDF 的權(quán)重確定模型，不僅單個(gè)樣本在一定程度上反映具體的風(fēng)險(xiǎn)超標(biāo)情況，而且對(duì)蔬菜整體的季節(jié)性有一定的反饋，反映該模型總體的評(píng)價(jià)效能，因此，該模型符合對(duì)風(fēng)險(xiǎn)概念的認(rèn)知和應(yīng)用。

圖2 蔬菜產(chǎn)品風(fēng)險(xiǎn)值與時(shí)間的關(guān)系Fig.2 Relationship of vegetable products between risk value and time

3 結(jié)論

鑒于食品檢測(cè)數(shù)據(jù)的復(fù)雜性，為進(jìn)一步探索能客觀合理分配權(quán)重，能更好、更直觀體現(xiàn)食品風(fēng)險(xiǎn)程度的方法模型，本文嘗試權(quán)重賦值方法（TFIDF）在食品領(lǐng)域的重新架構(gòu)應(yīng)用。收集2019 年12 月至2020 年12 月間的蔬菜產(chǎn)品的各項(xiàng)檢測(cè)指標(biāo)，通過一系列計(jì)算分析，將該模型應(yīng)用于食品風(fēng)險(xiǎn)研判。通過本模型的構(gòu)建，原先模糊的食品安全風(fēng)險(xiǎn)概念變成具體的指數(shù)形式，這對(duì)于風(fēng)險(xiǎn)有了更加直觀的定義。相較于傳統(tǒng)單因素分析方法，該方法引入機(jī)器學(xué)習(xí)的內(nèi)容，在大數(shù)據(jù)時(shí)代背景下，對(duì)于深入研究食品安全風(fēng)險(xiǎn)及其評(píng)價(jià)方法提供一條新路徑。