在線問卷的設(shè)計(jì)與評(píng)價(jià)

尤眾喜

摘要：該文從調(diào)查技術(shù)所面臨的四種誤差出發(fā)，探討了在線調(diào)查問卷的設(shè)計(jì)指導(dǎo)原則，確定了在線問卷的設(shè)計(jì)流程和組織結(jié)構(gòu)。并通過實(shí)際的評(píng)估對(duì)十五種工具進(jìn)行了多角度的分析。最后指出要設(shè)計(jì)合理有效的問卷須遵循指導(dǎo)原則。

關(guān)鍵詞：網(wǎng)絡(luò)調(diào)查；在線調(diào)查；技術(shù)特色

中圖分類號(hào)： TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2012)36-8685-03

作為遞送問卷的新媒介，互聯(lián)網(wǎng)成為調(diào)查技術(shù)中最具革命性潛能的手段。在線問卷與傳統(tǒng)問卷相比，在調(diào)查費(fèi)用、速度、外觀、功能、靈活性以及可用性方面都有較大的優(yōu)勢(shì)[1]。但是就像其他新的技術(shù)手段一樣，雖然有這樣那樣的好處，但也不可避免地受到人們的質(zhì)疑。針對(duì)在線問卷的弱點(diǎn)，批評(píng)主要集中在四個(gè)方面，即有關(guān)調(diào)查的四個(gè)標(biāo)準(zhǔn)誤差類型：涵蓋誤差，不響應(yīng)誤差，抽樣誤差，還有測(cè)量誤差。就其中的涵蓋誤差而言，由于不同國家不同地域發(fā)展水平的不一致，計(jì)算機(jī)和網(wǎng)絡(luò)普及程度不同造成了更加顯著的不響應(yīng)誤差（當(dāng)然事實(shí)上這些所謂數(shù)字鴻溝也在被經(jīng)濟(jì)的快速發(fā)展所填平）。

當(dāng)一個(gè)受訪者不能對(duì)參與調(diào)查的邀請(qǐng)做出響應(yīng)，或在完成之前放棄問卷，就產(chǎn)生了所謂不響應(yīng)誤差。紙質(zhì)問卷一目了然，受訪者可以很快估計(jì)出多久才能完成問卷，在線問卷在形式上不是那么直觀，因此設(shè)計(jì)在線問卷時(shí)可適當(dāng)采用一些輔助手段來減少這種誤差[2]。

就在線問卷而言，當(dāng)預(yù)期的樣本集中的一小部分參與者被疏忽時(shí)（因而也就難以做出響應(yīng)），抽樣誤差也就可能產(chǎn)生了。這種疏忽可以表現(xiàn)在多個(gè)方面，比如無視網(wǎng)絡(luò)連接速度、帶寬、瀏覽器的配置、硬件配置以及填答問卷時(shí)的用戶需求等。類似地，測(cè)量誤差（由不恰當(dāng)?shù)念}目用詞，或?qū)е码y以預(yù)測(cè)的答案的題目引起[3]）會(huì)使參與者變得困惑甚至灰心。

在線問卷設(shè)計(jì)的不合理，抽樣、測(cè)量和不響應(yīng)這些誤差就有可能發(fā)生。受訪者不正確地回答問題，放棄問卷，最后甚至拒絕參與后續(xù)的調(diào)查，因而也就不能處分發(fā)揮在線問卷的優(yōu)勢(shì)。

1 設(shè)計(jì)問卷的總體指導(dǎo)

可以看到，就單個(gè)而言，上表列出的這些指導(dǎo)原則沒有一條是特別創(chuàng)新的；每一條都是從前述的資料中提煉出來的。然而新穎之處在于，這一套從各不相同的來源整理合并得到的實(shí)用的指導(dǎo)原則可以拿來支持在線問卷的設(shè)計(jì)。

2 評(píng)估的框架

選擇在線問卷的開發(fā)工具不是一件簡的單事情。問卷的開發(fā)者現(xiàn)在必須面對(duì)不斷增多的各種各樣的開發(fā)軟件工具。大多數(shù)這樣的工具可以讓一個(gè)人很快很容易地開發(fā)出一份問卷。我們想評(píng)估這些工具多大程度上鼓勵(lì)一個(gè)人樂意去開發(fā)一份好的問卷（就我們的目的而言，所謂好問卷就是遵從了有關(guān)問卷和網(wǎng)站設(shè)計(jì)的已有原則）；也就是評(píng)估開發(fā)工具以何種程度和在多大范圍內(nèi)涵蓋了我們的指導(dǎo)原則。

由Lumsden開發(fā)的SUIT是一個(gè)能系統(tǒng)地評(píng)估和比較用戶界面開發(fā)工具的手段[7]。以框架和評(píng)估手段為中心，對(duì)工具的評(píng)估，SUIT引入了基于參考模型的方法。

盡管SUIT本是專注于用戶界面開發(fā)工具的評(píng)估，但SUIT的基本原則仍然可以應(yīng)用到任何類似事物的評(píng)估和比較上[8]。認(rèn)識(shí)到一個(gè)網(wǎng)站（自然也包括在線問卷）本質(zhì)上就是一個(gè)用戶界面，我們只要通過適當(dāng)調(diào)整若干參數(shù)而得到一個(gè)修改版的SUIT。因此，將我們擬定的評(píng)估原則應(yīng)用到現(xiàn)有開發(fā)工具范圍內(nèi)的評(píng)估，似乎也是理想的。

圖2所示的是一個(gè)評(píng)估框架的一部分，我們用它來評(píng)估在線問卷開發(fā)工具。在該框架中，行代表著指導(dǎo)原則，每行都使用簡潔的概括語；行又歸于一個(gè)標(biāo)題之下（例如圖2中的“文本”），每個(gè)標(biāo)題則代表在線問卷的一個(gè)要素。評(píng)價(jià)工具的依據(jù)是它們所擁有的功能，以及每個(gè)功能與問卷結(jié)合的方式。若一個(gè)問卷不支持某項(xiàng)功能，就標(biāo)記為“不支持”；若支持某功能，則還要考查它是自動(dòng)地還是手動(dòng)地與問卷結(jié)合，以及對(duì)該項(xiàng)功能的控制是手動(dòng)的還是自動(dòng)的?？傮w看，這些測(cè)量手段可以讓我們確定在線問卷開發(fā)工具的功能和控制點(diǎn)。也可以根據(jù)它們對(duì)指導(dǎo)原則的支持來評(píng)估工具，根據(jù)指導(dǎo)原則被表現(xiàn)的方式來測(cè)量工具；對(duì)于任何給定的指導(dǎo)原則，假如該工具會(huì)依照指導(dǎo)原則限制相關(guān)功能的使用或設(shè)置，那么對(duì)指導(dǎo)原則的支持可標(biāo)記為“強(qiáng)制性限制”。支持機(jī)制并不是互斥的；就任何給定的指導(dǎo)原則有多種手段的支持也是可能的（見圖2中右下角方格區(qū)域）。

3 討論

在本項(xiàng)研究的視野內(nèi)，我們隨機(jī)選擇了15種在線問卷的開發(fā)工具；其中7個(gè)是基于Web的軟件產(chǎn)品（在線工具，完成的問卷也在其主機(jī)上），另外8個(gè)是離線的軟件產(chǎn)品（離線工具，安裝在某人自己的計(jì)算機(jī)上）。本項(xiàng)研究用到的軟件與相關(guān)信息來自一些演示版的軟件、免費(fèi)賬號(hào)和以銷售商的教程。

通過一一的測(cè)試，平均來講，74%的時(shí)間被用來手動(dòng)地實(shí)現(xiàn)所需功能；這個(gè)數(shù)字在離線工具方面稍高些（80%），在線工具方面稍低些（68%）。類似地模式也出現(xiàn)在對(duì)功能的控制上，平均來看78%的操作是手動(dòng)完成的。令人感興趣的是，這些工具不但明顯的缺乏相關(guān)的操作指引，而且還很少支持在線問卷設(shè)計(jì)的自動(dòng)化，因而難以在一定程度上控制問卷品質(zhì)。

4 結(jié)論與展望

在評(píng)估的基礎(chǔ)上，我們認(rèn)識(shí)到這些在線問卷的設(shè)計(jì)工具需要加強(qiáng)對(duì)指導(dǎo)原則的支持，使在線問卷的開發(fā)更加便利。如果不改進(jìn)這種支持，人們將不再著迷于把在線問卷應(yīng)用到調(diào)查當(dāng)中，在線問卷的價(jià)值將得不到公平的認(rèn)可。

目前我們?nèi)匀辉陂_展這項(xiàng)實(shí)證研究，依據(jù)指導(dǎo)原則自身的能力，繼續(xù)評(píng)估作為一個(gè)綜合性的工具，怎樣去更好地指導(dǎo)在線問卷的設(shè)計(jì)與開發(fā)。最終我們計(jì)劃開發(fā)一套在線問卷的設(shè)計(jì)工具，在設(shè)計(jì)過程中指導(dǎo)開發(fā)者，給開發(fā)者提示那些違反指導(dǎo)原則的所在。最后，我們計(jì)劃擴(kuò)充指導(dǎo)原則，添加關(guān)于語言的運(yùn)用方面的內(nèi)容。一份“結(jié)構(gòu)合理”的問卷可能由于在表達(dá)問題和答案時(shí)用詞不當(dāng)；我們?cè)敢饩驼Z言的運(yùn)用提出建議，在我們的開發(fā)工具里，主要是藉由一些自然語言檢查的形式。

參考文獻(xiàn)：

[1] Stiegera S.What are participants doing while filling in an online questionnaire: A paradata collection tool and an empirical study[J].Computers in Human Behavior, 2010,26:1488-1495.

[2] Lia Xiang, Chengb Chia-Kuen,Kimc Hyounggon,et al.A systematic comparison of first-time and repeat visitors via a two-phase online survey[J].Tourism Management, 2008,29:278-293.

[3] Wright K B.Researching Internet-Based Populations: Advantages and Disadvantages of Online Survey Research, Online Questionnaire Authoring Software Packages, and Web Survey Services[J].Journal of Computer-Mediated Communication, 2005, 10(3).

[4] Alreck P.Settle R.Survey Research Handbook[M].3rd ed. New York, NY:McGraw-Hill, 2004.

[5] Aster A Z. Consumer research goes online[J].Marketing Magazine,2004(7): 13-14.

[6] Kwak N,Radler B.A Comparison Between Mail and Web Surveys: Response Pattern, Respondent Profile, and Data Quality[J]. Journal of Official Statistics, 2002,18(2):257-274.

[7] 陳永泰,何有世.網(wǎng)絡(luò)調(diào)查和傳統(tǒng)紙質(zhì)調(diào)查的差異性研究[J].統(tǒng)計(jì)與決策,2008(16).

[8] 方佳明,邵培基.一種評(píng)估網(wǎng)絡(luò)調(diào)查適用度的方法[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2006(S1).