數(shù)據(jù)采集工具在互聯(lián)網(wǎng)旅游UGC平臺的應(yīng)用

何梓翔

一、概述

隨著移動互聯(lián)網(wǎng)和電子商務(wù)的發(fā)展，移動電子商務(wù)已經(jīng)得到普及。據(jù)億邦動力網(wǎng)2019年1月發(fā)布的報告現(xiàn)實，2018年的中國移動互聯(lián)網(wǎng)月度活躍智能設(shè)備規(guī)模增至11.3億?；谝苿踊ヂ?lián)網(wǎng)和社交網(wǎng)絡(luò)的用戶存量，電商領(lǐng)域中產(chǎn)生了名為社交電商的新型交付平臺。社交分享不同于傳統(tǒng)的顧客評價，它側(cè)重于在社交網(wǎng)站上與朋友分享信息，而傳統(tǒng)的顧客評價是與不知名的在線購物者分享的。據(jù)研究顯示，83%的網(wǎng)購者愿意與朋友分享購物信息，67%的網(wǎng)購者可能會根據(jù)社區(qū)的推薦產(chǎn)生購買意愿或購物決策[2]。由于社交電商的興起，在線旅游平臺也紛紛嵌入社交功能，通過旅游平臺發(fā)布旅游消費體驗、旅游攻略等，使得在線旅游平臺加速發(fā)展，據(jù)艾瑞咨詢發(fā)布《2018年中國在線旅游行業(yè)研究報告》，數(shù)據(jù)顯示2018年在線旅游市場交易規(guī)模將突破1.48萬億元，相較于2017年的1.17萬億元，同比增長26.3%，再創(chuàng)歷史新高。隨著在線出行市場的成熟，該行業(yè)的增速從快速增長到相對平穩(wěn)，在網(wǎng)絡(luò)中尋找旅游信息已經(jīng)成為消費者的首選。

互聯(lián)網(wǎng)中消費者產(chǎn)生的信息在學(xué)術(shù)中稱為用戶產(chǎn)生內(nèi)容（UGC， user-generated content），UGC有很多不同的形式，比如Twitter的推文， Facebook狀態(tài)更新，YouTube上的視頻等。經(jīng)過學(xué)者們的研究發(fā)現(xiàn)，該類型的數(shù)據(jù)直接或間接地影響相關(guān)企業(yè)的績效，關(guān)于UGC的研究對企業(yè)具有強烈的管理意義，而如何批量采集UGC數(shù)據(jù)進行統(tǒng)計分析是技術(shù)上的關(guān)鍵一環(huán)。該文章旨在為無編程基礎(chǔ)的研究人員提供數(shù)據(jù)采集建議。

二、研究回顧

（一）在線旅游者消費行為研究

基于口碑營銷（WOM），消費者在使用產(chǎn)品或者服務(wù)之后傾向于與家人或朋友分享消費體驗，由于電子口碑營銷（e-WOM）的跨空間性，消費者能夠很容易地與廣大潛在消費者分享他們對產(chǎn)品或服務(wù)的看法，并引起他們的消費欲望（Albarq， 2014）。Gretzel and Yoo （2008）經(jīng)過調(diào)查發(fā)現(xiàn)，超過70%的旅游者在計劃旅游時，會將網(wǎng)絡(luò)中其他有經(jīng)驗的消費者的在線評論作為主要的參考信息。因此，從營銷學(xué)、旅游學(xué)和管理學(xué)的視角來看，對于在線旅游的消費行為研究是學(xué)者們的研究重點。

Parra-Lopez等（2011）分析了旅行者在計劃旅行時使用社交媒體意愿的影響因素，經(jīng)過研究發(fā)現(xiàn)使用社交媒體的功能性、心理性、享樂性和社會性的感知利益顯著影響使用意愿。Aluri等（2016）通過比較使用嵌入式社交媒體渠道的酒店網(wǎng)站和沒有使用嵌入式社交媒體渠道的酒店網(wǎng)站的用戶體驗，研究了游客滿意度、滿意度和購買意愿之間的關(guān)系。目前多數(shù)學(xué)者主要使用TAM、ELM等模型，通過調(diào)查問卷來獲取數(shù)據(jù)，再進行結(jié)構(gòu)方程模型或回歸分析后得出結(jié)論。值得注意的是，利用網(wǎng)絡(luò)爬蟲等抓取UGC的方式來對消費者行為進行研究已經(jīng)成為一大熱點，目前，結(jié)合網(wǎng)絡(luò)爬蟲的技術(shù)對在線旅游消費者的研究尚有不足之處。

針對于旅游網(wǎng)站的數(shù)據(jù)采集需求有多種類型。Duan等（2008）通過采集yahoo！電影等三個電影評論網(wǎng)站的相關(guān)數(shù)據(jù)，考察了用戶的在線評論對日常票房表現(xiàn)的說服效應(yīng)和認(rèn)知效應(yīng)。鄭聰（2017）使用爬蟲對網(wǎng)絡(luò)平臺上的旅游滿意度輿情數(shù)據(jù)進行采集和分析， 生成可視化圖表結(jié)果，為相較于以往的旅游滿意度調(diào)查提供一種新的思路。李勇等（2018）采用內(nèi)容分析法對在線旅游平臺及問答社區(qū)的旅游提問信息文本進行，研究了用戶對九寨溝旅游相關(guān)信息的關(guān)注內(nèi)容，發(fā)現(xiàn)不同游客對同一信息的側(cè)重點也不同，并提出了相應(yīng)的管理建議。高佳美（2017）通過采集互聯(lián)網(wǎng)上的大量旅游文記，基于文本挖掘的方法改進個性化推薦技術(shù)，幫助用戶快速準(zhǔn)確地找到適合自己需求的旅游攻略。綜上所述，利用網(wǎng)絡(luò)爬蟲技術(shù)采集在線旅游問答社區(qū)、在線旅游電商平臺等UGC，分析UGC對旅游商品或服務(wù)銷量的影響機制，或是利用文本分析的方法進行詳細的內(nèi)容分析或情感分析等，用來探討企業(yè)績效的影響因素等。

本文以使用“八爪魚采集器”抓取攜程網(wǎng)（https：//www.ctrip.com/）中“九寨溝景區(qū)”自由行攻略的UGC為案例，為無編程基礎(chǔ)的研究人員提供一個新的采集思路和收集數(shù)據(jù)方法，以達到論文研究的目的。

三、實驗設(shè)計

（一）實驗背景

目前的爬蟲技術(shù)一般基于python語言編程，而由于python技術(shù)所需要的編程基礎(chǔ)相對較高，對于非計算機專業(yè)而又需要數(shù)據(jù)采集的研究人員來說，短時間掌握python比較困難。而八爪魚采集器（https：//www.bazhuayu.com）的便捷性、易用性可以滿足上述人員的需求。

（二）實驗框架

實驗前需要明確實驗框架，確定論文所需要的數(shù)據(jù)以及對所需數(shù)據(jù)的抓取流程。一般來說，需要抓取UGC的相關(guān)數(shù)據(jù)來撰寫論文的研究人員需要經(jīng)過如下關(guān)鍵步驟：

（1）確定論文主題，建立論文研究模型，明確相關(guān)變量。研究者需明確論文研究的目的，在建模之后，擬定數(shù)據(jù)來源，目前消費者日常使用的網(wǎng)站或手機app中，由于平臺的防采集、反爬蟲很嚴(yán)格，部分?jǐn)?shù)據(jù)是無法抓取或者比較難抓取的，并且每個平臺的數(shù)據(jù)不一定都會有顯示，例如京東商城的商品評價數(shù)超過一萬條時，不會顯示精確到個位數(shù)的數(shù)量。

（2）選取數(shù)據(jù)來源網(wǎng)站或平臺，利用八爪魚采集器抓取所需數(shù)據(jù)。在使用八爪魚軟件的過程中，框選研究所需要變量的數(shù)據(jù)，然后進行數(shù)據(jù)采集，目前八爪魚采集器僅限于采集網(wǎng)站數(shù)據(jù)，手機app應(yīng)用的數(shù)據(jù)需通過fiddler或wireshark等抓包軟件進行抓包。

（3）清洗并整理數(shù)據(jù)。將采集的數(shù)據(jù)進行整理是必不可少的，這樣可以避免后續(xù)的數(shù)據(jù)分析產(chǎn)生偏差。如果研究人員跳過了清洗數(shù)據(jù)這一環(huán)，可能會導(dǎo)致將重復(fù)數(shù)據(jù)導(dǎo)入到分析軟件，從而使得研究結(jié)果不準(zhǔn)確，最后給出的管理建議也會偏離標(biāo)準(zhǔn)。

（4）最后，進行相應(yīng)的數(shù)據(jù)分析。將所需的數(shù)據(jù)進行整理之后，研究者需要依據(jù)論文的目的，進行不同的數(shù)據(jù)分析，例如回歸分析、內(nèi)容文本分析等。

四、實例分析

旅游者在制定旅游計劃時，消費者傾向于在網(wǎng)絡(luò)中搜尋相關(guān)信息，最終作出旅游相關(guān)決策，在旅行結(jié)束之后，部分消費者又會在社交電商平臺中分享旅游信息，從而產(chǎn)生一個信息傳遞閉環(huán)。

攜程網(wǎng)（https：//www.ctrip.com/）作為中國領(lǐng)先的綜合型在線旅游服務(wù)平臺，擁有超過1億的用戶注冊量，提供全球超過60000個旅游目的地的旅游攻略評等相關(guān)資訊。本案例以采集攜程網(wǎng)為對象，采集“四川九寨溝”景點旅游攻略中，每條攻略的標(biāo)題、發(fā)布者信息、瀏覽量、收藏量、評論數(shù)、評論內(nèi)容等網(wǎng)頁中顯示的內(nèi)容。

五、實施過程

（1）打開八爪魚采集器，點擊自定義采集，在“網(wǎng)址”欄中輸入“九寨溝自由行攻略”的網(wǎng)站https：//you.ctrip.com/place/jiuzhaigou25.html，并點擊保存。

（2）將頁面拉到底端，點擊“下一頁”按鈕，并選擇“循環(huán)選擇下一頁”，此時點擊軟件右上方的“流程”，可以看到已經(jīng)建立了“循環(huán)翻頁”，這表示選擇采集該景點下所有頁面的旅游攻略。

（3）找到網(wǎng)頁中第一條攻略的“標(biāo)題”，點擊“選擇全部”，選擇“循環(huán)點擊每個元素”，這一步驟即選擇采集該頁面中所有的九寨溝旅游攻略。

（4）進入到第一條攻略頁面之后，選擇攻略標(biāo)題，點擊“采集該元素的文本”，同理選擇其他所需要的文本信息即可。選擇所有需要采集的信息之后，保存并點擊“開始采集——啟動本地采集”

（5）采集完成之后選擇“導(dǎo)出數(shù)據(jù)”，選擇需要保存的文件格式，并點擊保存，最后即完成數(shù)據(jù)采集，最終以可視化的方式呈現(xiàn)。

六、結(jié)語

由于移動互聯(lián)網(wǎng)和社交電商的發(fā)展，對UGC進行深入研究是目前營銷學(xué)、管理學(xué)等多種學(xué)科中的研究重點。而相較于編程類的數(shù)據(jù)采集技術(shù)，使用八爪魚等數(shù)據(jù)采集軟件進行數(shù)據(jù)抓取所需的技術(shù)要求較低，對于非計算機專業(yè)或無編程基礎(chǔ)的研究人員來說，能夠通過簡單的實驗步驟輕松地獲取到所需數(shù)據(jù)。

使用采集軟件獲取數(shù)據(jù)雖然相對容易，但是也有許多局限性。八爪魚采集軟件是針對于各種網(wǎng)頁版的可見數(shù)據(jù)進行采集，目前許多企業(yè)已經(jīng)關(guān)閉網(wǎng)頁版官網(wǎng)或商城，轉(zhuǎn)向投入到手機app應(yīng)用的開發(fā)與研究，但對于八爪魚采集軟件來說，抓取手機app應(yīng)用的數(shù)據(jù)目前是無法實施的。據(jù)了解，想要獲取手機app應(yīng)用的數(shù)據(jù)，需要先下載研究對象的客戶端，在保持手機與電腦在同一局域網(wǎng)的情況下，使用Fiddler、Charles、Wireshark等抓包軟件進行抓包，結(jié)合python等編程語言進而達到數(shù)據(jù)抓取的目的。