構(gòu)建強(qiáng)大的數(shù)據(jù)分析系統(tǒng) 做好輿情分析

百分點(diǎn)大數(shù)據(jù)技術(shù)團(tuán)隊(duì)

伴隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和新媒體創(chuàng)新應(yīng)用，人們越來越傾向于通過微博、微信、短視頻等社交媒體，表達(dá)看法、傳播訴求、分享信息，甚至建言獻(xiàn)策，收集、處理、挖掘其中的價(jià)值，洞察觀點(diǎn)、情緒、口碑、社情民意，不僅能夠?yàn)槠髽I(yè)提供商業(yè)情報(bào)，輔助商業(yè)決策，還能為政府機(jī)構(gòu)挖掘社情輿論，提升社會治理水平。

輿情分析的業(yè)務(wù)特點(diǎn)

1.信源覆蓋廣。輿情分析的數(shù)據(jù)源幾乎覆蓋所有互聯(lián)網(wǎng)公開信息，不僅關(guān)注國內(nèi)媒體，同時(shí)，外媒也是眾多跨國公司和政府機(jī)構(gòu)關(guān)注的重點(diǎn)。

2.需求行業(yè)多。輿情分析的需求幾乎涵蓋所有行業(yè)，輿情監(jiān)測服務(wù)被廣泛應(yīng)用于消費(fèi)品、汽車、互聯(lián)網(wǎng)金融、地產(chǎn)、教育、餐飲等行業(yè)，同時(shí)，在電子政務(wù)領(lǐng)域，輿情監(jiān)測服務(wù)也為各級政府機(jī)構(gòu)，提供第一時(shí)間的輿情資訊，輿情監(jiān)測和管理，核心是對我們周圍互聯(lián)網(wǎng)公開信息的大數(shù)據(jù)分析和價(jià)值挖掘。

3.社會價(jià)值高。輿情分析服務(wù)能為目標(biāo)客戶提供多維度的信息挖掘和高附加值的洞察分析，具有巨大的企業(yè)和社會價(jià)值。第一，負(fù)面信息挖掘。負(fù)面信息發(fā)現(xiàn)，是輿情監(jiān)測的核心價(jià)值點(diǎn)，如果不能及時(shí)準(zhǔn)確地發(fā)現(xiàn)負(fù)面信息，造成負(fù)面輿論發(fā)酵，可能對企業(yè)帶來不可挽回的損失，對政府帶來嚴(yán)重的公信力質(zhì)疑。第二，競品信息監(jiān)測。通過對現(xiàn)有或潛在的競爭產(chǎn)品或者企業(yè)進(jìn)行信息監(jiān)測、情報(bào)挖掘，分析優(yōu)劣勢，往往能幫助企業(yè)掌握競爭的主動權(quán)。第三，口碑信息挖掘。針對自身或競品，進(jìn)行有針對性的口碑監(jiān)測，如一款產(chǎn)品的評論分析，可以幫助企業(yè)改進(jìn)產(chǎn)品功能、輔助市場營銷策略，提升客戶或產(chǎn)品滿意度。第四，事件脈絡(luò)分析。無論對于互聯(lián)網(wǎng)熱點(diǎn)事件還是產(chǎn)品傳播營銷，通過對事件細(xì)粒度的傳播分析，洞察事件發(fā)酵脈絡(luò)，挖掘傳播爆點(diǎn)，掌握事件傳播路徑，為事件處置或營銷效果分析提供決策依據(jù)。第五，民生民意調(diào)查。通過對互聯(lián)網(wǎng)事件的輿論監(jiān)測，挖掘?qū)τ诨ヂ?lián)網(wǎng)事件的公眾情緒、公眾觀點(diǎn)、意見領(lǐng)袖、傳播路徑，為政府輿情引導(dǎo)、輿情管控提供決策輔助。

4.技術(shù)挑戰(zhàn)大。輿情監(jiān)測系統(tǒng)，不僅需要具備強(qiáng)大的數(shù)據(jù)采集和處理能力，還需要具備強(qiáng)大的價(jià)值挖掘能力，構(gòu)建強(qiáng)大的輿情監(jiān)測系統(tǒng)，往往面臨巨大的技術(shù)挑戰(zhàn)。

第一，數(shù)據(jù)全面。針對海量的互聯(lián)網(wǎng)信息，構(gòu)建強(qiáng)大的數(shù)據(jù)采集系統(tǒng)，保證數(shù)據(jù)全面、不遺漏，是輿情監(jiān)測能力保障的基礎(chǔ)。

第二，檢索精確。輿情系統(tǒng)能夠代替人工精準(zhǔn)檢索目標(biāo)數(shù)據(jù)，這對海量數(shù)據(jù)的全文檢索提出很高的要求，不僅要找到匹配的信息，還要去除干擾，最大化匹配檢索意圖。

第三，預(yù)警及時(shí)。輿論環(huán)境瞬息萬變，企業(yè)和政府都期望第一時(shí)間掌握輿情動態(tài);輿情監(jiān)測需要提供7X24小時(shí)、近實(shí)時(shí)信息預(yù)警，具備秒級采集、處理、研判和下發(fā)機(jī)制。

第四，精準(zhǔn)研判。除數(shù)據(jù)采集全面、數(shù)據(jù)處理及時(shí)外，信息挖掘研判的準(zhǔn)確性往往是衡量服務(wù)競爭力的重要指標(biāo)，通過不斷提升敏感信息研判和相似度判定的準(zhǔn)確性，可以最大化降低系統(tǒng)誤判率。

第五，標(biāo)簽豐富。除了基本的輿情大數(shù)據(jù)全流程處理，輿情系統(tǒng)還應(yīng)該具備更深層次的信息挖掘能力，如標(biāo)簽提取、地域甄別、信息分類、事件發(fā)現(xiàn)等，最大化提升附加值挖掘能力，降低人工服務(wù)成本。

輿情發(fā)展的新趨勢

1.精細(xì)化運(yùn)營，實(shí)現(xiàn)彎道超車?；ヂ?lián)網(wǎng)輿情行業(yè)發(fā)展多年，玩家眾多，傳統(tǒng)的輿情分析，場景模式相對固定，競爭趨于白熱化;而輿情分析的細(xì)粒度需求，如負(fù)面關(guān)注度、文本相關(guān)性等，越來越趨于差異化和定制化，在 SaaS 標(biāo)品的模式下，如何針對不同的行業(yè)客戶、不同的分析場景實(shí)現(xiàn)平臺化、精細(xì)化的運(yùn)營，變得越來越重要，打造業(yè)務(wù)閉環(huán)、構(gòu)建能夠?qū)崿F(xiàn)差異化運(yùn)營的平臺化產(chǎn)品矩陣，才能實(shí)現(xiàn)彎道超車。

2.智能化分析，AI 深度應(yīng)用。輿情分析是 NLP 文本分析的天然陣地，隨著近幾年AI發(fā)展進(jìn)入快車道，各種技術(shù)框架和分析手段層出不窮，為輿情信息挖掘提供了豐富的工具，不僅局限于分詞、實(shí)體識別、情感判定、關(guān)鍵詞提取等底層文本分析技術(shù)，諸如主動事件發(fā)現(xiàn)、智能化預(yù)警研判、智能化信息檢索等逐漸落地應(yīng)用。同時(shí)隨著 AIOps 的發(fā)展，模型算法的工程化落地加速，探索用 AI 代替?zhèn)鹘y(tǒng)輿情服務(wù)中的人工部分，以降低成本。

3.業(yè)務(wù)模式創(chuàng)新，拓展深度和廣度。輿情業(yè)務(wù)模式創(chuàng)新，不僅要橫向擴(kuò)展行業(yè)，積累各領(lǐng)域知識，形成不同行業(yè)的差異化專業(yè)解決方案，還要縱向探索新的分析場景。

輿情信息的挖掘過程

互聯(lián)網(wǎng)輿情，本質(zhì)上是對互聯(lián)網(wǎng)公開信息的采集、分析、研判，并產(chǎn)生業(yè)務(wù)價(jià)值，是一個(gè)價(jià)值數(shù)據(jù)挖掘的過程，但基于其業(yè)務(wù)場景和系統(tǒng)要求，與傳統(tǒng)的數(shù)據(jù)挖掘又有很大差別。傳統(tǒng)的數(shù)據(jù)挖掘任務(wù)，一般有如下幾個(gè)過程：

信息收集--數(shù)據(jù)集成--數(shù)據(jù)加載--數(shù)據(jù)清理--數(shù)據(jù)變換--數(shù)據(jù)挖掘過程--模式評估--知識表示。

ETL階段進(jìn)行數(shù)據(jù)清洗和標(biāo)準(zhǔn)化，挖掘過程綜合運(yùn)用各種信息挖掘算法，如規(guī)則推理、機(jī)器學(xué)習(xí)模型、遷移學(xué)習(xí)算法等，根據(jù)模式評估結(jié)果，得到反饋，不斷循環(huán)，達(dá)到最優(yōu)。但在輿情場景下，數(shù)據(jù)要從互聯(lián)網(wǎng)源源不斷的輸入，分析結(jié)果要準(zhǔn)實(shí)時(shí)的輸出呈現(xiàn)，價(jià)值挖掘過程穿插于信息流之中，同時(shí)，系統(tǒng)需要具備動態(tài)干預(yù)的能力，甚至需要設(shè)計(jì)單獨(dú)的指標(biāo)回算機(jī)制，保證信息挖掘的前后一致性。信息以流式輸入到在線處理引擎，經(jīng)過 ETL 處理標(biāo)準(zhǔn)化的數(shù)據(jù)，進(jìn)入數(shù)據(jù)挖掘過程，如基于規(guī)則引擎計(jì)算文本指標(biāo)、通過機(jī)器學(xué)習(xí)算法模型計(jì)算文本標(biāo)簽等，這些規(guī)則或模型蘊(yùn)含業(yè)務(wù)知識，數(shù)據(jù)計(jì)算結(jié)果經(jīng)過存儲，呈現(xiàn)給業(yè)務(wù)人員，后續(xù)隨著業(yè)務(wù)的評估和迭代，挖掘中的業(yè)務(wù)知識會被動態(tài)干預(yù)，形成知識流動迭代的閉環(huán)。因此，傳統(tǒng)的數(shù)據(jù)挖掘過程，往往是靜態(tài)的一次性過程，而輿情分析的信息挖掘，是一個(gè)流動的不間斷過程。同時(shí)，輿情監(jiān)測體系的運(yùn)行，也是一個(gè)多方共同參與的過程，不同角色的人員共同協(xié)作，不斷迭代產(chǎn)生更優(yōu)的價(jià)值挖掘結(jié)果，準(zhǔn)確及時(shí)地呈現(xiàn)給終端客戶。

簡單來看，輿情監(jiān)測系統(tǒng)，主要由數(shù)據(jù)采集、SaaS 平臺、運(yùn)營工具棧構(gòu)成。銷售、售前人員負(fù)責(zé)方案制作、需求轉(zhuǎn)化，客戶成單，需求確定后，由數(shù)據(jù)運(yùn)營人員跟進(jìn)，負(fù)責(zé)客戶全生命周期的數(shù)據(jù)、關(guān)鍵詞配置管理、數(shù)據(jù)監(jiān)控，客戶數(shù)據(jù)實(shí)時(shí)進(jìn)入數(shù)據(jù)挖掘平臺，供輿情分析師團(tuán)隊(duì)和客戶直接使用，如數(shù)據(jù)篩選、數(shù)據(jù)預(yù)警、報(bào)告制作、信息挖掘分析等。

同時(shí)，我們還需要提供豐富的運(yùn)營分析工具棧，如數(shù)據(jù)清洗、報(bào)告制作、預(yù)警干預(yù)、數(shù)據(jù)宏觀分析、觀點(diǎn)挖掘、事件發(fā)現(xiàn)等運(yùn)營工具，幫助輿情分析師制作人工報(bào)告，提供高效率的人工服務(wù)。需要指出的是，在整個(gè)輿情服務(wù)過程中，輿情監(jiān)測系統(tǒng)需要能夠?qū)崟r(shí)收集業(yè)務(wù)知識，并反饋到信息挖掘平臺，不斷優(yōu)化和提升 SaaS 平臺的信息挖掘能力和水平。輿情分析師的業(yè)務(wù)經(jīng)驗(yàn)：輿情分析師是人工服務(wù)的價(jià)值輸出方，能夠深刻理解客戶的監(jiān)測需求，沉淀下來的業(yè)務(wù)知識，將直接錄入挖掘平臺，動態(tài)干預(yù)定向客戶的分析效果，如客戶的定制化負(fù)面評價(jià)指標(biāo)、客戶的定制分析詞庫等。系統(tǒng)應(yīng)該能夠自動收集用戶的行為數(shù)據(jù)，以最大限度地降低用戶的額外工作，提高系統(tǒng)迭代的效率。概括來講，輿情分析系統(tǒng)是一個(gè)基于實(shí)時(shí)流動信息、多方協(xié)作參與的價(jià)值信息挖掘平臺。

輿情分析系統(tǒng)是一個(gè)基于實(shí)時(shí)流動信息、多方協(xié)作參與的價(jià)值信息挖掘平臺。