利用python分析無(wú)害化處置工作數(shù)據(jù)

文│劉巍申（四川省彭州市動(dòng)物衛(wèi)生監(jiān)督所）

自2015年起，四川省彭州市全面實(shí)施了養(yǎng)殖、屠宰環(huán)節(jié)病害畜禽集中無(wú)害化處置工作，養(yǎng)殖場(chǎng)、屠宰場(chǎng)病害畜禽尸體不再由業(yè)主自行無(wú)害化處置，而是按規(guī)定轉(zhuǎn)運(yùn)至指定地點(diǎn)由專業(yè)機(jī)構(gòu)進(jìn)行集中無(wú)害化處置。3年多來(lái)，無(wú)害化處置工作開展卓有成效，對(duì)減少動(dòng)物疫病傳播風(fēng)險(xiǎn)、確保畜牧業(yè)健康發(fā)展發(fā)揮了重要作用，但是，業(yè)務(wù)工作產(chǎn)生的數(shù)據(jù)量大、維度多，采用傳統(tǒng)圖表可視化分析手法已力有不逮，無(wú)法達(dá)到較精準(zhǔn)定位目標(biāo)群體，并無(wú)法達(dá)到針對(duì)性開展防控的目標(biāo)。

對(duì)此，彭州市衛(wèi)生監(jiān)督所積極學(xué)習(xí)借鑒數(shù)據(jù)挖掘技術(shù)在其他行業(yè)的有效應(yīng)用，積極探索數(shù)據(jù)挖掘技術(shù)和畜牧獸醫(yī)業(yè)務(wù)工作的有效結(jié)合途徑，將現(xiàn)代商業(yè)中的“客戶價(jià)值分析”理念引入到動(dòng)物衛(wèi)生監(jiān)督工作中，對(duì)該市近3年來(lái)積累的6000余條工作數(shù)據(jù)，利用時(shí)下廣泛應(yīng)用于工商業(yè)的python語(yǔ)言對(duì)數(shù)據(jù)進(jìn)行了“聚類”分析。根據(jù)“死亡發(fā)生數(shù)、發(fā)生頻次、死亡發(fā)生率、首次死亡時(shí)間、末次死亡時(shí)間”重點(diǎn)字段特征，采用K-Means聚類算法分析，將全部數(shù)據(jù)聚為5類，有效甄別不同特征類別，從而為后續(xù)防疫工作開展提供支撐。

一、需求分析

動(dòng)物防疫工作質(zhì)量高低，很大程度上取決于數(shù)據(jù)及數(shù)據(jù)分析。與工業(yè)、商業(yè)、服務(wù)業(yè)類似的，動(dòng)物防疫工作同樣存在“數(shù)據(jù)驅(qū)動(dòng)”，比如免疫抗體合格率、畜禽發(fā)病率、死亡率、病死率、發(fā)生頻次等，過往工作質(zhì)量與后續(xù)工作愿景均需通過數(shù)據(jù)表達(dá)和驅(qū)動(dòng)。那么，針對(duì)養(yǎng)殖環(huán)節(jié)病害畜無(wú)害化處置工作，收集、整理、分析相關(guān)數(shù)據(jù)就顯得尤為重要。以生豬無(wú)害化處置為例，工作數(shù)據(jù)關(guān)系到生豬死亡率，包含著大量動(dòng)物疫病發(fā)生、傳播和流行的信息，相比畜禽群體抗體免疫合格率分析更具指導(dǎo)意義。因此，挖掘發(fā)現(xiàn)數(shù)據(jù)背后隱含的信息，關(guān)系到過往工作成果檢驗(yàn)與后續(xù)工作思路擬定，影響深遠(yuǎn)。

數(shù)據(jù)挖掘手法多樣，如分類、聚類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則。對(duì)生豬無(wú)害化處置數(shù)據(jù)而言，從動(dòng)物衛(wèi)生監(jiān)督工作角度出發(fā)，類比商業(yè)中的“客戶價(jià)值分析”理念，從全部數(shù)據(jù)中甄別一定時(shí)間窗口內(nèi)表現(xiàn)出不同發(fā)生數(shù)量、頻次、時(shí)序特征的養(yǎng)殖場(chǎng)群體、進(jìn)而調(diào)查分析其生豬是否存在異常死亡及原因，以針對(duì)性開展整改，促使其提高生物安全水平、降低發(fā)病死亡率，提升經(jīng)濟(jì)效益，確保公共衛(wèi)生安全。

二、資料來(lái)源與方法

1.資料來(lái)源。根據(jù)四川省成都市畜牧獸醫(yī)主管部門安排部署，自2015年彭州市實(shí)施病害畜禽集中無(wú)害化處置工作制度以來(lái)，對(duì)養(yǎng)殖、屠宰環(huán)節(jié)病害畜禽按國(guó)家規(guī)定進(jìn)行無(wú)害化處置，歷年來(lái)積累了6000余條工作數(shù)據(jù)。根據(jù)本次分析工作需求，首先挑選出“場(chǎng)名、無(wú)害化處置頭數(shù)、無(wú)害化處置發(fā)生時(shí)間、生豬存欄量、死亡率”字段，形成本次數(shù)據(jù)挖掘的源數(shù)據(jù)。整理發(fā)現(xiàn)，源數(shù)據(jù)存在少量“異常值、缺失值、錯(cuò)別字”，影響到后續(xù)分析工作。因此，對(duì)源數(shù)據(jù)進(jìn)行“數(shù)據(jù)清洗”，包括修正異常值、填補(bǔ)缺失值，更正錯(cuò)別字等。重點(diǎn)是補(bǔ)充完善源數(shù)據(jù)中少量遺漏的“生豬存欄量”字段信息。方法是通過查找最接近時(shí)間段內(nèi)該場(chǎng)戶存欄量，估算遺漏的存欄量信息。對(duì)于多次事件中均空缺存欄量的，直接通過電話詢問填補(bǔ)。然后，將源數(shù)據(jù)通過Microsoft Excel“數(shù)據(jù)透視表”功能，形成以“場(chǎng)名”為主鍵、以“無(wú)害化處置頭數(shù)匯總、無(wú)害化處置頻次匯總、首次無(wú)害化處置距今月數(shù)、末次無(wú)害化處置距今月數(shù)、死亡率標(biāo)準(zhǔn)差”為字段的工作數(shù)據(jù)表。工作數(shù)據(jù)表即為本次數(shù)據(jù)挖掘資料來(lái)源。

2.分析方法。首先進(jìn)行“數(shù)據(jù)變換”。整理發(fā)現(xiàn)，上述各字段數(shù)值數(shù)量級(jí)差異較大。因此，通過python語(yǔ)言中的panda庫(kù)“標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化”功能將數(shù)據(jù)標(biāo)準(zhǔn)化至-1到1之間，便于算法分析，減少數(shù)值數(shù)量級(jí)差異對(duì)分析工作的不利影響。然后進(jìn)行“導(dǎo)入模型分析”，通過python語(yǔ)言的sklearn.cluster庫(kù)，利用K-Means聚類算法進(jìn)行分析。針對(duì)6000余條小規(guī)模數(shù)據(jù)，選擇聚類類別數(shù)為5。運(yùn)行算法，將全部養(yǎng)殖場(chǎng)數(shù)據(jù)聚為5類，即為本次分析結(jié)果。

三、結(jié)果與分析

結(jié)果顯示，全部數(shù)據(jù)按病害生豬發(fā)生時(shí)間先后，發(fā)生量（率）高低等維度特征，聚為5類，5類數(shù)據(jù)分別對(duì)應(yīng)了不同維度特征的養(yǎng)殖場(chǎng)戶。

重點(diǎn)表現(xiàn)為5類群體主要特征：第一，“死亡量低、發(fā)生時(shí)間距今較長(zhǎng)”、占比25%；第二，“頻繁、大量死亡、死亡量波動(dòng)大、發(fā)生時(shí)間距今很近”，占比3%；第三，“較頻繁死亡、死亡量較高”，占比3%；第四，“死亡間隔期長(zhǎng)、死亡量低”，占比31%；第五，“死亡量較低、但波動(dòng)大”，占比38%。

不難發(fā)現(xiàn)，針對(duì)上述第二、三類特征群體，應(yīng)加大工作力度，通過開會(huì)約談、現(xiàn)場(chǎng)調(diào)查、流行病學(xué)調(diào)查、病原學(xué)監(jiān)測(cè)等措施，有針對(duì)性開展防疫工作。

四、討論與展望

數(shù)據(jù)的獲得是有一定成本的，數(shù)據(jù)分析工作質(zhì)量高低首先取決于數(shù)據(jù)質(zhì)量。相較于問卷調(diào)查所獲得的數(shù)據(jù)，獸醫(yī)主管部門投入財(cái)政資金統(tǒng)一進(jìn)行的病害畜禽集中無(wú)害化處置所獲得的數(shù)據(jù)質(zhì)量更高，成本也相應(yīng)提高。因此，更應(yīng)有效利用工作數(shù)據(jù)，切實(shí)發(fā)揮信息支撐作用。

繪制事件-時(shí)序趨勢(shì)圖、計(jì)算平均值等手段對(duì)6000余條無(wú)害化處置數(shù)據(jù)進(jìn)行分析，往往難以將大量、頻繁生豬死亡的重點(diǎn)關(guān)注養(yǎng)殖場(chǎng)對(duì)象和其他養(yǎng)殖場(chǎng)甄別出來(lái)。無(wú)差別、全面覆蓋的防疫工作策略無(wú)法達(dá)到“精準(zhǔn)定位、有效甄別”的目標(biāo)。因此，應(yīng)通過數(shù)據(jù)挖掘技術(shù)，對(duì)不同特征的養(yǎng)殖場(chǎng)戶分類治理，對(duì)于頻繁、大量發(fā)生生豬病害現(xiàn)象的養(yǎng)殖場(chǎng)戶，重點(diǎn)關(guān)注、積極治理，從而達(dá)到降低養(yǎng)殖環(huán)節(jié)生豬死亡率、節(jié)約財(cái)政補(bǔ)助資金、深度發(fā)揮財(cái)政資金實(shí)效的目標(biāo)。

數(shù)據(jù)挖掘技術(shù)還可應(yīng)用于獸藥經(jīng)營(yíng)企業(yè)GSP監(jiān)管、畜禽群體免疫抗體監(jiān)測(cè)等防疫工作。比如，收集整理轄區(qū)內(nèi)全部獸藥經(jīng)營(yíng)企業(yè)GSP規(guī)范經(jīng)營(yíng)數(shù)據(jù)，通過“關(guān)聯(lián)規(guī)則”分析技術(shù)，挖掘分析全部獸醫(yī)處方箋，探索獸用處方藥之間聯(lián)合使用或相互排斥的現(xiàn)象，分析獸醫(yī)處方箋背后隱含著的動(dòng)物疫病發(fā)生、傳播、流行信息，對(duì)動(dòng)物疫情預(yù)警分析將是極大的助力。

總之，將數(shù)據(jù)挖掘等工商業(yè)上廣泛應(yīng)用的分析技術(shù)導(dǎo)入畜牧獸醫(yī)監(jiān)管工作，幫助發(fā)掘多年來(lái)累積工作數(shù)據(jù)背后的信息，精確指導(dǎo)動(dòng)物疫病監(jiān)測(cè)、檢測(cè)、流行病學(xué)調(diào)查工作的開展，具有積極的現(xiàn)實(shí)意義。