大數(shù)據(jù)調(diào)研、云Panel調(diào)研、傳統(tǒng)調(diào)研的融合貫通

◇王 霄 李金玲 羅志亮 劉允強(qiáng)

一、引言

市場調(diào)研的三大核心問題可以歸納為：第一，數(shù)據(jù)質(zhì)量，包括控制抽樣誤差和非抽樣誤差，抽樣誤差主要強(qiáng)調(diào)的是樣本代表性，非抽樣誤差指調(diào)查中所有其他因素帶來的誤差；第二，執(zhí)行效率，調(diào)研項(xiàng)目成功與否很大程度上取決于項(xiàng)目響應(yīng)率、問卷的回答率；第三，調(diào)查費(fèi)用，即成本，市場調(diào)研行業(yè)就是在這三大核心問題上不斷尋找著最優(yōu)化的組合。不論包括入戶、街訪的傳統(tǒng)線下調(diào)研，還是網(wǎng)絡(luò)迅猛發(fā)展下，利用基于樣本招募的自有和外部網(wǎng)絡(luò)訪問固定樣組的云Panel調(diào)研，以及大數(shù)據(jù)形勢下應(yīng)運(yùn)而生的大數(shù)據(jù)調(diào)研，在面臨這三大問題，尋找最優(yōu)解時(shí)，各自體現(xiàn)出了突出的優(yōu)勢及不足。

線下傳統(tǒng)調(diào)查特別是入戶調(diào)查，因遵循隨機(jī)原則而使樣本能夠準(zhǔn)確反映調(diào)查總體的信息。實(shí)際中，我們有很多推及總體的項(xiàng)目，比如電視觀眾滿意度的項(xiàng)目、居民消費(fèi)習(xí)慣調(diào)查基本上都是入戶調(diào)查，最后要精準(zhǔn)推及全市、全省乃至全國的總體情況；再有，國內(nèi)很多權(quán)威調(diào)研，比如居民收入水平調(diào)查，還需在入戶調(diào)查前出具最為專業(yè)細(xì)致的抽樣方案來保證樣本的代表性，從而最終保障調(diào)查總體數(shù)據(jù)的準(zhǔn)確可靠?？梢姌颖緮?shù)據(jù)是調(diào)研之本源，樣本是偏的，調(diào)查結(jié)果無疑將出現(xiàn)不可忽視的偏誤，所以統(tǒng)計(jì)抽樣的重要性不言而喻。而網(wǎng)絡(luò)調(diào)查所依托的網(wǎng)民群體目前來講還不能代表總體，有相當(dāng)一部分個(gè)體沒有入樣，很難實(shí)現(xiàn)真正意義上的“隨機(jī)原則”從而保障良好的代表性。它們更適合應(yīng)用在特定人群或者與互聯(lián)網(wǎng)使用相關(guān)的調(diào)查來提高樣本代表性，所以其應(yīng)用范圍及應(yīng)用深度均受到一定的阻礙。圖1表示云Panel抽樣、大數(shù)據(jù)抽樣與網(wǎng)絡(luò)總體、人群總體之間的關(guān)系。然而，隨機(jī)樣本的觸達(dá)是非常困難的，入戶調(diào)查會(huì)耗費(fèi)大量的人力、物力、財(cái)力；而云Panel調(diào)研和大數(shù)據(jù)調(diào)研相較線下傳統(tǒng)調(diào)研則非常高效、經(jīng)濟(jì)、便捷，并且大數(shù)據(jù)調(diào)研還有其更加突出的優(yōu)勢：渠道資源豐富、用戶覆蓋范圍廣、用戶畫像精準(zhǔn)圈人，而且利用立體鮮活的人群畫像能夠更深層次地挖掘樣本信息以獲得更深層次的調(diào)查結(jié)論。

圖1 云Panel抽樣、大數(shù)據(jù)抽樣與人口總體、網(wǎng)絡(luò)總體的關(guān)系

綜上所述，這三種調(diào)研方式皆是尺有所短、寸有所長。那么，如何在保障數(shù)據(jù)質(zhì)量的基礎(chǔ)上，充分利用云Panel、大數(shù)據(jù)的調(diào)查優(yōu)勢，拓展其在市場調(diào)查中的應(yīng)用，盡可能高效率、低成本、精準(zhǔn)地執(zhí)行我們的調(diào)研任務(wù)，是我們目前面臨的挑戰(zhàn)和亟待解決的問題。對此，我們將嘗試?yán)脭?shù)據(jù)融合技術(shù)中的樣本匹配法將三種調(diào)研方式融合貫通，研究該方法在統(tǒng)計(jì)調(diào)查中的可應(yīng)用性，這無論是對豐富調(diào)查抽樣領(lǐng)域的研究，還是對解決市場調(diào)查中存在的實(shí)際問題均具有重要的學(xué)術(shù)意義和應(yīng)用價(jià)值。

二、大數(shù)據(jù)調(diào)研、云Panel調(diào)研、傳統(tǒng)線下調(diào)研的融合貫通

本文主要研究利用數(shù)據(jù)融合（Data Fusion）方法逐步搭建大數(shù)據(jù)調(diào)研、云Panel調(diào)研、傳統(tǒng)線下調(diào)研三種方式融合貫通的新型調(diào)研模式。具體利用樣本匹配（Sample Matching）方法，將來自三種調(diào)研方式的樣本及調(diào)查數(shù)據(jù)有效融合，創(chuàng)造三種調(diào)研方法相互結(jié)合、相互補(bǔ)充、相得益彰的新型調(diào)研方式，提高運(yùn)作效率，提升調(diào)研質(zhì)量。

所謂樣本匹配，通常被用于非隨機(jī)化的觀察性研究中，特別是在醫(yī)學(xué)、生物學(xué)領(lǐng)域有著廣泛的應(yīng)用。目前，樣本匹配方法已不乏應(yīng)用于市場調(diào)查中的先例，國內(nèi)外也有很多的文獻(xiàn)支持，Rivers D[1]2006年首次提出樣本匹配法（Sample Matching）是一種從非概率樣本中選擇代表性樣本的新方法，特別適合于網(wǎng)絡(luò)固定樣組調(diào)查。Vavreck L和Rivers D[2]（2008）針對美國國會(huì)選舉研究，選用了一種基于距離函數(shù)的樣本匹配法從云Panel中采集與美國社區(qū)調(diào)查文檔中最近的匹配樣本，通過匹配樣本的數(shù)據(jù)進(jìn)行估計(jì)，發(fā)現(xiàn)與傳統(tǒng)的調(diào)查方法相比總體估計(jì)的均方誤差（RMSE）更小。Terhanian G和Bremer J[3]（2012）基于平行調(diào)查（一個(gè)隨機(jī)數(shù)字撥號電話調(diào)查和一個(gè)網(wǎng)絡(luò)訪問固定樣本調(diào)查）使用傾向得分來選擇匹配樣本。金勇進(jìn)、劉展（2016，2017）[4][5]在大數(shù)據(jù)背景下非概率抽樣的統(tǒng)計(jì)推斷問題中也探討了基于樣本匹配的抽樣方法以及權(quán)數(shù)構(gòu)造與調(diào)整的具體解決辦法。

樣本匹配法的核心思想是：首先，從包含一系列協(xié)變量（性別、年齡、教育程度、職業(yè)、收入等）的目標(biāo)總體抽樣框中抽取一個(gè)概率樣本作為目標(biāo)樣本；其次，根據(jù)協(xié)變量信息，采取一定的匹配方法，從網(wǎng)絡(luò)樣本中抽取與目標(biāo)樣本對象最為近似的單元，稱為匹配樣本；最終，對目標(biāo)樣本混合匹配樣本展開調(diào)查訪問，獲取調(diào)查數(shù)據(jù)進(jìn)行整體估計(jì)。樣本匹配法涉及很多種類型，諸如基于決策樹的樣本匹配、基于最近鄰的樣本匹配、基于預(yù)測均值的樣本匹配、基于隨機(jī)森林模型的樣本匹配等，本文重點(diǎn)研究傾向得分匹配（Propensity Score Matching)。傾向得分匹配具有將高維度匹配降為一維的突出優(yōu)勢，極大降低了計(jì)算復(fù)雜度，是目前最流行的統(tǒng)計(jì)方法之一，因而得到廣泛應(yīng)用。

1.傾向得分匹配

傾向得分匹配原本用于因果推論，傾向得分指的是被研究個(gè)體在控制可觀察到的混雜變量的情況下，接受某種處理的條件概率[6]。首先指定協(xié)變量Xi，將有無接受處理記作Di（接受時(shí)，Di=1；反之Di=0），則個(gè)體i的傾向得分為：p（Xi）=P（Di=1|Xi）。傾向得分匹配就是假設(shè)個(gè)體i屬于處理組，找到屬于對照組的某個(gè)體j，使個(gè)體j與個(gè)體i的協(xié)變量或傾向得分取值最大程度相近，即Xi≈Xj或p（Xi）≈p（Xj）[7]。

傾向得分匹配的目的是通過控制混雜變量的影響來有效規(guī)避選擇性誤差，從而保證因果結(jié)論的可靠性。網(wǎng)絡(luò)抽樣中也不可避免地因樣本有不同的參與意愿和傾向產(chǎn)生選擇性偏差，從而損傷樣本代表性，因此這種方法特別適合網(wǎng)絡(luò)樣本的代表性抽樣。這里我們定義，Di=1表示單元i在目標(biāo)樣本中，Dj=0表示單元j在網(wǎng)絡(luò)樣本中。目標(biāo)樣本每個(gè)單元i都有一些協(xié)變量（性別、年齡、教育程度等）組成的向量 Xi=（Xi1，Xi2，…，Xip），p為協(xié)變量的個(gè)數(shù)，網(wǎng)絡(luò)樣本中每個(gè)單元j擁有同樣協(xié)變量組成的向量 Xj=（Xj1，Xj2，…，Xjp）。匹配具體步驟如下：

（1）估計(jì)傾向得分

估計(jì)p（Xi）=P（Di=1|Xi）主要選擇參數(shù)估計(jì)（probit/logit）或非參數(shù)估計(jì)來處理，結(jié)合現(xiàn)狀來看，logit函數(shù)作為常用連接函數(shù)，主要把示性變量Di定義成因變量，協(xié)變量Xi定義成解釋變量實(shí)現(xiàn)Logistic回歸模型。實(shí)踐處理階段，假定Xi全部完成中心變換，那么：

由式（1）可得：

式中，0≤p（Xi）≤1

（2）選擇匹配樣本

尋找與目標(biāo)樣本匹配的網(wǎng)絡(luò)，通常兩者之間的相似程度通過距離函數(shù)來定義，不同的距離函數(shù)定義規(guī)則產(chǎn)生不同的匹配方法，常用的匹配方法有最近鄰匹配、卡鉗與半徑匹配、分層或區(qū)間匹配、核與局部線性匹配等。本文研究基于最近鄰匹配（Nearest Neighbor Matching，NNM）[8]。

最近鄰匹配是將兩組樣本中最近的一個(gè)或多個(gè)樣本進(jìn)行匹配的方法。樣本間的距離可采取不同定義，如1-范數(shù)、2-范數(shù)、∞-范數(shù)等。若一個(gè)樣本匹配另一組與其距離最近的一個(gè)樣本，這種方法稱為單一最近鄰匹配，若匹配另一組與其最近的多個(gè)樣本，在估計(jì)模型中對多個(gè)樣本賦予不同權(quán)重，這種方法稱為多重最近鄰匹配。根據(jù)匹配單元是否進(jìn)行多次匹配可分為有放回的最近鄰匹配和無放回的最近鄰匹配，其區(qū)別在于，有放回的最近鄰匹配允許給定的網(wǎng)絡(luò)樣本單元（Dj=0）匹配到多個(gè)目標(biāo)樣本單元（Dj=1）。本文采取單一無放回最近鄰匹配，距離定義如下：

2.基于樣本匹配的調(diào)研方式融合貫通

由公式（1）可知，匹配樣本本質(zhì)上近似于目標(biāo)樣本，不同調(diào)研方式的融合貫通則是指將匹配樣本與目標(biāo)樣本相混合共同完成調(diào)查項(xiàng)目。云Panel調(diào)研和線下傳統(tǒng)調(diào)研的融合貫通首先需在線下隨機(jī)抽樣部分樣本進(jìn)行訪問調(diào)查，再根據(jù)當(dāng)期線下概率樣本為目標(biāo)樣本在云Panel中選擇匹配樣本，并邀請匹配樣本完成調(diào)查，該過程展示如下圖2：

圖2 線下概率樣本、云Panel樣本融合過程

云Panel調(diào)研和大數(shù)據(jù)調(diào)研的融合貫通。云Panel是以網(wǎng)民總體結(jié)構(gòu)（CNNIC公布）為基礎(chǔ)建立的，對網(wǎng)民總體具有一定代表性，那么為提高樣本的代表性，我們以云Panel為目標(biāo)樣本在大數(shù)據(jù)樣本中選擇匹配樣本，并邀請目標(biāo)樣本和匹配樣本完成調(diào)查，該過程展示如下圖3：

圖3 大數(shù)據(jù)樣本、云Panel樣本融合過程

三、實(shí)證研究

目前為止，我們已在不同類型的市場調(diào)查項(xiàng)目中進(jìn)行了大數(shù)據(jù)、云Panel、傳統(tǒng)調(diào)研間的融合貫通試驗(yàn)。試驗(yàn)過程均為，首先，通過兩種調(diào)研方式簡單隨機(jī)抽樣大樣本量進(jìn)行同期調(diào)查，并利用傾向得分匹配法以其中一種調(diào)研方式的樣本為目標(biāo)樣本選取匹配樣本；其次，進(jìn)一步檢驗(yàn)匹配后的目標(biāo)樣本與匹配樣本在調(diào)查結(jié)果間是否存在統(tǒng)計(jì)學(xué)顯著性差異。如果兩者之間存在顯著性差異，則一定程度上說明兩種調(diào)研方式的樣本不能相混合，反之，則說明兩種調(diào)研方式的樣本可以混合，共同完成調(diào)研項(xiàng)目，可以融合貫通。

1.線下傳統(tǒng)調(diào)研與云Panel 調(diào)研的融合貫通

以某城市電視觀眾滿意度研究為例，其是市場研究中的重要研究類型，通常以0分至100分的評分形式來反映對電視頻道、欄目、主持人整體滿意程度。線下入戶調(diào)查樣本600個(gè)、同期云Panel樣本750個(gè)。

（1）傾向得分匹配

首先以線下概率樣本為目標(biāo)樣本進(jìn)行傾向得分匹配，我們這里選用的是最近鄰法，單一無放回的一對一精確匹配的方法，匹配容差（卡鉗半徑）設(shè)為0，選取性別、年齡、教育程度、職業(yè)為協(xié)變量，精確匹配出的樣本共計(jì)250對。傾向得分匹配具體實(shí)現(xiàn)過程在R中進(jìn)行。特別是對于樣本匹配協(xié)變量的選擇問題，由于不同類型的問題涉及的被調(diào)查群體的背景信息均存在或大或小的差異，我們不可能以偏概全地就使用某個(gè)或某幾個(gè)固定的協(xié)變量來詮釋所有被調(diào)查人群的背景情況，因此我們傾向于利用相應(yīng)領(lǐng)域的專家咨詢及行業(yè)經(jīng)驗(yàn)來進(jìn)行協(xié)變量的選擇。

表1 傾向得分匹配結(jié)果

由表2可以看到，在樣本匹配之前，網(wǎng)絡(luò)訪問固定樣本中隨機(jī)抽樣的樣本與線下概率樣本在性別、年齡、教育程度、職業(yè)間均存在結(jié)構(gòu)性差異；而在樣本匹配后，匹配樣本與目標(biāo)樣本在各個(gè)背景信息間的分布都更均衡可比。

表2 傾向得分匹配前后，云Panel樣本、線下樣本結(jié)構(gòu)特征

可見，傾向得分匹配可以有效消除云Panel、線下樣本在性別、年齡、教育程度、職業(yè)等混雜變量上存在的偏倚，使匹配樣本與目標(biāo)樣本間不存在顯著的結(jié)構(gòu)性差異，此時(shí)匹配樣本本質(zhì)上可近似于線下概率樣本。同時(shí)看到，匹配樣本的分布取決于網(wǎng)絡(luò)訪問固定樣本的分布，網(wǎng)絡(luò)訪問固定樣本結(jié)構(gòu)分布越均勻，匹配樣本分布越均勻。目前網(wǎng)絡(luò)訪問固定樣本尚未達(dá)到覆蓋總體結(jié)構(gòu)的水平，因此會(huì)對樣本混合造成一定程度的影響，這種情況可以通過分層抽樣的方法來解決，在此不做贅述。

（2）調(diào)查結(jié)果顯著性差異檢驗(yàn)

這里我們選用多元統(tǒng)計(jì)輪廓分析法對250對樣本的調(diào)查結(jié)果進(jìn)行平行輪廓、重合輪廓及水平輪廓檢驗(yàn)。由于篇幅問題，這里僅對云Panel、線下各20個(gè)樣本關(guān)于CCTV-4、CCTV-10、旅游衛(wèi)視、CCTV-9的滿意度評分進(jìn)行展示。

表3 某城市云Panel、線下樣本對電視頻道滿意度評分的調(diào)查結(jié)果

續(xù)表

表4 云Panel、線下電視頻道滿意度評分的平行輪廓檢驗(yàn)多變量檢驗(yàn)a

上表展示的是平行輪廓檢驗(yàn)的結(jié)果，四種不同的檢驗(yàn)統(tǒng)計(jì)量的p值均為0.739，表示在0.05的顯著性水平下均通過檢驗(yàn)，只有在通過平行輪廓檢驗(yàn)的情況下才可進(jìn)行重合輪廓檢驗(yàn)。

表5 云Panel、線下電視頻道滿意度評分的重合輪廓檢驗(yàn)主體內(nèi)效應(yīng)檢驗(yàn)

上表展示的是重合輪廓檢驗(yàn)的結(jié)果，四種不同的檢驗(yàn)統(tǒng)計(jì)量的p值均遠(yuǎn)大于0.05，表示在0.05的顯著性水平下均通過檢驗(yàn)，只有在通過重合輪廓檢驗(yàn)的情況下才可進(jìn)行水平輪廓檢驗(yàn)。

表6 云Panel、線下電視頻道滿意度評分的水平輪廓檢驗(yàn)主體間效應(yīng)檢驗(yàn)

水平輪廓檢驗(yàn)顯示四種不同的檢驗(yàn)統(tǒng)計(jì)量的p值均遠(yuǎn)大于0.05，表示在0.05的顯著性水平下均通過檢驗(yàn)。上述結(jié)果依然表明云Panel匹配樣本與線下樣本調(diào)查結(jié)果不存在顯著性差異。

因此，云Panel中的匹配樣本可以替代部分入戶樣本，實(shí)現(xiàn)與線下入戶樣本的有效融合，兩種調(diào)研方式融合貫通。這樣則可以在保障調(diào)查抽樣具有良好代表性的基礎(chǔ)上，充分利用云Panel的調(diào)查優(yōu)勢，高效高質(zhì)量地完成調(diào)查項(xiàng)目。

2.大數(shù)據(jù)調(diào)研與云Panel調(diào)研的融合貫通

以某城市中高端白酒消費(fèi)者研究為例，主要調(diào)查消費(fèi)者中高端白酒的消費(fèi)認(rèn)知、消費(fèi)渠道、消費(fèi)場景等。該項(xiàng)目通過外部大數(shù)據(jù)公司利用豐富的媒體資源、多維度的用戶畫像以及場景化的投放快速而精準(zhǔn)地觸達(dá)336個(gè)樣本，云Panel同期采集514個(gè)樣本。

這里我們認(rèn)為，云Panel是以網(wǎng)民總體結(jié)構(gòu)（CNNIC公布）為基礎(chǔ)建立的，對網(wǎng)民總體具有一定代表性，那么為提高樣本的代表性，我們以云Panel為目標(biāo)單元，通過傾向得分匹配成功匹配86對樣本，并比較兩種調(diào)研方式調(diào)查數(shù)據(jù)的顯著性差異。表3結(jié)果說明，來自大數(shù)據(jù)的匹配樣本與云Panel樣本的調(diào)查結(jié)果已達(dá)到非常接近的程度，調(diào)查結(jié)果不存在顯著性差異（這里應(yīng)用卡方檢驗(yàn)，調(diào)查結(jié)果雙尾檢驗(yàn)概率p值大于0.05，即在0.05的顯著性水平下我們沒有足夠的理由拒絕原假設(shè)，即兩者的調(diào)查結(jié)果不存在顯著性差異）。

因此，大數(shù)據(jù)與云Panel的樣本可以有效融合，兩種調(diào)研方式融合貫通。這樣可以充分利用大數(shù)據(jù)的突出優(yōu)勢，精準(zhǔn)高效觸達(dá)目標(biāo)樣本，更全面、深刻地挖掘用戶特征、洞察研究內(nèi)容，高效高質(zhì)量地完成調(diào)查項(xiàng)目。

四、結(jié)語

截至目前，本文通過樣本匹配的方法嘗試了線下傳統(tǒng)調(diào)研和云Panel調(diào)研之間的融合貫通，以及大數(shù)據(jù)調(diào)研和云Panel調(diào)研之間的融合貫通。在保證抽樣調(diào)查代表性的基礎(chǔ)上著力解決線下傳統(tǒng)調(diào)研面臨的瓶頸，同時(shí)拓展大數(shù)據(jù)、云Panel在市場調(diào)研上廣泛和深度應(yīng)用，促使其在業(yè)界獲得更為廣泛的共識(shí)，逐步引導(dǎo)大家接受這種融合調(diào)研的方式。通過若干項(xiàng)目的試驗(yàn)論證，大數(shù)據(jù)、云Panel、傳統(tǒng)調(diào)研融合貫通的方式不僅在市場研究理論上站得住腳，而且在調(diào)查實(shí)踐中具備更強(qiáng)的可應(yīng)用性。這種嘗試對市場調(diào)查行業(yè)調(diào)查體系的良性發(fā)展具有重要應(yīng)用價(jià)值，可以作為一種科學(xué)的調(diào)研方式在實(shí)際調(diào)查項(xiàng)目中進(jìn)行嘗試及推廣。