基于日志分析的移動應(yīng)用可用性綜合評估體系的研究

呂樹華，吳偉明，谷勇浩

(北京郵電大學(xué) 計(jì)算機(jī)學(xué)院，北京 100876)

基于日志分析的移動應(yīng)用可用性綜合評估體系的研究

呂樹華，吳偉明，谷勇浩

(北京郵電大學(xué) 計(jì)算機(jī)學(xué)院，北京 100876)

移動應(yīng)用已經(jīng)成為人們?nèi)粘Ｉ钪胁豢扇鄙俚牟糠?，可用性成為影響移動?yīng)用競爭力的主要因素，也是目前移動應(yīng)用中一個(gè)突出問題?？捎眯允桥袛喈a(chǎn)品好壞的一個(gè)核心要素，如果一個(gè)產(chǎn)品的可用性評價(jià)得分很高，那么極有可能會為企業(yè)帶來龐大的用戶量，采用合適的方式變現(xiàn)就可以實(shí)現(xiàn)經(jīng)濟(jì)效益，因此如何提高產(chǎn)品的可用性對于企業(yè)來說極其重要。移動應(yīng)用可用性評價(jià)的關(guān)鍵是建立一套合理、完善的評價(jià)指標(biāo)體系。本文首先對常用的指標(biāo)體系進(jìn)行了比較分析，然后針對移動應(yīng)用便攜性的特點(diǎn)，提取本文所需要的指標(biāo)與測度參數(shù)，建立移動應(yīng)用的可用性指標(biāo)體系，最后通過日志分析和數(shù)據(jù)挖掘等方法完成移動應(yīng)用可用性的評價(jià)研究。

數(shù)據(jù)分析；可用性；日志分析；便攜性

本文著錄格式：呂樹華，吳偉明. 基于日志分析的移動應(yīng)用可用性綜合評估體系的研究[J]. 軟件，2016，37（11）：138-141

0 引言

隨著智能手機(jī)和3G的廣泛普及，全球移動互聯(lián)網(wǎng)趨勢正日益升溫，世界上越來越多的人正通過移動終端接入互聯(lián)網(wǎng)，至2015年中國移動互聯(lián)網(wǎng)用戶數(shù)達(dá)到7.9億，預(yù)計(jì)到2018年中國移動互聯(lián)網(wǎng)用戶規(guī)模將達(dá)到8.9億人。移動互聯(lián)網(wǎng)憑借著其社交化，本地化和移動化的特性，已經(jīng)滲透到人們生活、工作的每個(gè)角落，目前蘋果公司宣布Apple Store的應(yīng)用程序過700000個(gè)，而GooglePlay的應(yīng)用程序也超過675000個(gè)移動應(yīng)用。人們利用這些應(yīng)用程序可以進(jìn)行社交，如微博，微信等;可以進(jìn)行導(dǎo)航，如

百度地圖，高德地圖等;可以進(jìn)行影視娛樂，如優(yōu)酷，豆瓣電臺等;可以玩游戲，如憤怒的小鳥，切水果，植物大戰(zhàn)僵尸等;可以進(jìn)行網(wǎng)購，如淘寶，京東，美團(tuán)等;可以指導(dǎo)健康運(yùn)動，如咕咚運(yùn)動，小米運(yùn)動等，它們已經(jīng)遍及吃穿住行玩各個(gè)方面。但是同時(shí)，移動應(yīng)用之間的同質(zhì)化越來越明顯，移動應(yīng)用之間的競爭趨于白熱化，如何根據(jù)用戶行為及時(shí)對移動應(yīng)用進(jìn)行合理的改進(jìn)，提高移動產(chǎn)品的可用性，成為了各大企業(yè)專注的事情。

手機(jī)可用性研究源自于網(wǎng)站可用性研究，就像網(wǎng)站可用性研究源自于軟件系統(tǒng)應(yīng)用一樣，手機(jī)可用性、網(wǎng)站可用性研究、軟件系統(tǒng)應(yīng)用可用性研究的本質(zhì)都是可用性研究，只是載體和硬件的變化，使得可用性有了個(gè)性化的特征本文采用定性與定量相結(jié)合的研究方法，本文對前人研究中采用的可用性評價(jià)指標(biāo)進(jìn)行分析，提取本文所需要的指標(biāo)與測度參數(shù)，定性完成評價(jià)模型的建立，然后通過提取日志文件里的數(shù)據(jù)，通過數(shù)據(jù)挖掘的方法完成產(chǎn)品可用性的評價(jià)研究。本文的可用性評價(jià)研究是基于自動評價(jià)的理念，所有的數(shù)據(jù)源來自于移動應(yīng)用產(chǎn)生的用戶日志，通過日志數(shù)據(jù)與可用性評價(jià)指標(biāo)的關(guān)系映射，對產(chǎn)品的可用性進(jìn)行評價(jià)，對于可用性評價(jià)方法的探索具有指導(dǎo)意義。

1 現(xiàn)有的可用性評估標(biāo)準(zhǔn)及評估方法

可用性研究源于20世紀(jì)70年代的軟件工程領(lǐng)域，但是后來被廣泛運(yùn)用到其他領(lǐng)域，這樣導(dǎo)致對可用性的研究呈現(xiàn)多樣化的特點(diǎn)。直到現(xiàn)在，學(xué)術(shù)界和業(yè)界對可用性的定義也不統(tǒng)一，不同領(lǐng)域的專家和組織給出了不同維度和標(biāo)準(zhǔn)。

1.1 國際標(biāo)準(zhǔn)ISO 9241-11

國際標(biāo)準(zhǔn)ISO9241-11對可用性的定義是：產(chǎn)品在特定使用環(huán)境下為特定用戶用于特定用途時(shí)所具有的有效性（effectiveness）、效率（efficiency）和用戶主觀滿意度（satisfaction）[1]。這是依據(jù)1985年計(jì)算機(jī)的技術(shù)水準(zhǔn)和設(shè)計(jì)思想設(shè)計(jì)的。主要存在以下問題：1.把“效率”和“有效性”作為標(biāo)準(zhǔn)是以“機(jī)器為本”的觀念。2.把“有效性”作為標(biāo)準(zhǔn)是受當(dāng)時(shí)計(jì)算機(jī)較低技術(shù)水平的影響。3.把“滿意度”作為標(biāo)準(zhǔn)缺乏心理學(xué)依據(jù)，出現(xiàn)對滿意度的各種不同的解釋，迄今在心理學(xué)中缺乏定義和試驗(yàn)研究。4.從心理學(xué)的時(shí)代背景來看，20世紀(jì)70年代行為主義心理學(xué)被認(rèn)知心理學(xué)取代，1985年動機(jī)心理學(xué)建立了行動模型，該標(biāo)準(zhǔn)反映了從“技術(shù)為本”向“以人為本”的過渡。5.可用性的各個(gè)因素彼此相關(guān)。導(dǎo)致設(shè)計(jì)人員無法判斷問題原因，無法改進(jìn)。對可用性的這 3條標(biāo)準(zhǔn)沒有給出明確的評估方法，僅是通過案例，說明具體評估中對可用性是如何考慮的[2]。

國際標(biāo)準(zhǔn)ISO9241-11規(guī)定了用戶界面的7條設(shè)計(jì)標(biāo)準(zhǔn)及54條設(shè)計(jì)指南。德國若干研究機(jī)構(gòu)依據(jù)這7條標(biāo)準(zhǔn)建立固定問卷對用戶進(jìn)行測試。這類問卷效度較低，主要存在的問題是這些標(biāo)準(zhǔn)是“以設(shè)計(jì)人員為本”的體現(xiàn)。

1.2 Schackel和Nielsen可用性標(biāo)準(zhǔn)

1980年以來西方若干國家（愛爾蘭、美國、德國等）的大學(xué)或研究機(jī)構(gòu)都建立可用性調(diào)查結(jié)構(gòu)框架。這些標(biāo)準(zhǔn)依據(jù)不同于上述2種國際標(biāo)準(zhǔn)的因素結(jié)構(gòu)。Schackel將可用性分為4個(gè)因素：有效性、可學(xué)性、靈活性、態(tài)度[3]。他認(rèn)為可用性評估方法是測試用戶通過學(xué)習(xí)而掌握的操作特性，不是界面適合用戶的程度。Nielsen認(rèn)為可用性分為5個(gè)因素：可學(xué)習(xí)性、效率、可記憶性、出錯(cuò)、滿意度[4]。依據(jù)此因素結(jié)構(gòu)，他提出了專家評估，經(jīng)驗(yàn)用戶測試等可用性評估方法。這些主要是“以人機(jī)學(xué)專家為本”的可用性標(biāo)準(zhǔn)和評估方法，不適合用戶的操作過程和評價(jià)過程。造成這種局面的主要原因在于：前期設(shè)計(jì)中建立用戶模型時(shí)所采用的理論依據(jù)是心理學(xué)，不同于可用性評估中所采用的理論依據(jù)——人機(jī)工效學(xué)，這種矛盾可能會給設(shè)計(jì)與評估造成沖突。

1.3 手持移動設(shè)備的可用性評估標(biāo)準(zhǔn)

針對手持移動設(shè)備，已經(jīng)總結(jié)了許多可用性設(shè)計(jì)指南：比如蘋果公司的人機(jī)界面指南，Shneiderman的設(shè)計(jì)八原則，黑莓的界面開發(fā)者指南 ，諾基亞的40系列、60系列、90系列開發(fā)指南[5]，Symbian的用戶界面風(fēng)格指南。這些可用性標(biāo)準(zhǔn)的共同特點(diǎn)是，以“設(shè)計(jì)人員或人機(jī)學(xué)專家為本”，并沒有從根本上形成“以用戶為本”的可用性測試體系。這些界面設(shè)計(jì)指南為設(shè)計(jì)人員從事界面開發(fā)提供了指導(dǎo)依據(jù)，但無法作為可用性評估的依據(jù)。

1.3 現(xiàn)有的可用性評估方法

現(xiàn)有的可用性評估方法已超過20種，大致分為測試、詢問和檢查這3類方法。傳統(tǒng)方法多為實(shí)驗(yàn)室環(huán)境下的評估，包括：績效測量法、認(rèn)知走查法、啟發(fā)式評估、有聲思維、清單核查法、實(shí)驗(yàn)室觀察和問卷測試等。這些方法都有各自特點(diǎn)，每一種方法都不能完全勝任可用性評估的全部要求。

2 適合移動應(yīng)用的可用性指標(biāo)體系

與臺式機(jī)和筆記本相比，移動設(shè)備的最大特點(diǎn)就是高便攜性，這個(gè)特點(diǎn)決定了，使用移動設(shè)備上網(wǎng)，可以帶來無可比擬的優(yōu)越性，即溝通與資訊的獲取遠(yuǎn)比臺式機(jī)和筆記本方便。由于在移動情境下用戶的移動性、周圍環(huán)境的干擾以及多任務(wù)手機(jī)設(shè)置中對資源的競爭等因素都會影響系統(tǒng)的可用性，因此不能把傳統(tǒng)的可用性研究框架和方法簡單地復(fù)制到移動系統(tǒng)可用性研究中。

根據(jù)前文介紹的內(nèi)容，結(jié)合移動系統(tǒng)的應(yīng)用環(huán)境和具體特征，本文提出了適合移動應(yīng)用系統(tǒng)可用性評估維度，如下圖所示：

圖1 可用性評估維度

需要特別說明的是，將認(rèn)知負(fù)荷[6]作為可用性評估維度的一個(gè)方面，簡單的說，人對事物和問題的認(rèn)知是要消耗資源的，而且認(rèn)知需要消耗的資源是有上限的，如果超過了這個(gè)上限，資源就出現(xiàn)不足，進(jìn)而影響認(rèn)知結(jié)果。前文提到移動設(shè)備的最大特點(diǎn)就是高便攜性，基于這個(gè)原因，考慮用戶使用移動應(yīng)用時(shí)進(jìn)行的這些附加任務(wù)的影響是非常重要的。例如，一個(gè)用戶可能希望在步行時(shí)發(fā)送一個(gè)文本消息，在這種情況下，用戶的步行速度將減少，因?yàn)樗麄儗Ｗ⒂诎l(fā)送的信息，這會影響他們的步行。

在傳統(tǒng)的可用性研究中，常見的假設(shè)是用戶僅執(zhí)行單個(gè)任務(wù)，因此可以完全集中于該任務(wù)。在移動上下文中，除了使用移動應(yīng)用之外，用戶還將經(jīng)常執(zhí)行其他動作。在這種情況下，移動應(yīng)用所需的認(rèn)知負(fù)荷對其他任務(wù)的影響可以視為該移動應(yīng)用可用性的一個(gè)體現(xiàn)，因此非常重要。可以測量的一種方法是通過NASA任務(wù)負(fù)載指數(shù)[7]。這是一種用于通過使用系統(tǒng)來測量對用戶施加的認(rèn)知工作負(fù)載的主觀工作負(fù)載評估工具。在本文中，我們采用相對簡單的認(rèn)知負(fù)荷的觀點(diǎn)。 為了更準(zhǔn)確的評估，最好采用更強(qiáng)大的多因素方法，但這超出了本文的范圍。

結(jié)合本文提出的可用性評估維度，進(jìn)而提出了適合移動系統(tǒng)可用性測量的指標(biāo)體系，主要指標(biāo)及所占權(quán)重如表1所示：

表1 測量指標(biāo)

表1中僅僅列出了主要的指標(biāo)，這里的各項(xiàng)指標(biāo)均可來源于實(shí)際用戶的日志數(shù)據(jù)，所以說這是一種“以用戶為本”的評估體系。

3 可用性的評估

根據(jù)上一部分所提出的可用性指標(biāo)體系，可構(gòu)建完整的評估系統(tǒng)，整體結(jié)構(gòu)如下圖所示：

圖2 整體結(jié)構(gòu)圖

3.1 日志的產(chǎn)生

在應(yīng)用中進(jìn)行埋點(diǎn)，即在正常的功能邏輯中添加統(tǒng)計(jì)邏輯，在合適時(shí)間把統(tǒng)計(jì)信息傳給后臺，以獲取各種指標(biāo)的日志信息。比如在Android應(yīng)用中，訪問量通過設(shè)備的DeviceID來獲取，崩潰信息通過在UncaughtExceptionHandler中上傳崩潰日志信息來獲取，用戶訪問路徑可以在用戶訪問頁面時(shí)在Activity的生命周期回調(diào)函數(shù)如onResume()中記錄頁面ID然后應(yīng)用退出時(shí)統(tǒng)一傳給后臺服務(wù)器。

3.2 日志的分析

根據(jù)可用性測量的指標(biāo)體系，將移動應(yīng)用的總分設(shè)為100分，各項(xiàng)具體指標(biāo)可以從用戶日志中得以體現(xiàn)，分析日志最終根據(jù)各項(xiàng)指標(biāo)的權(quán)重給出每項(xiàng)指標(biāo)的分值，然后匯總得出最終的一個(gè)可用性分值。

除了用戶路徑行為分析，其他的指標(biāo)可以從日志中進(jìn)行統(tǒng)計(jì)得出，研究用戶路徑行為是非常重要

的，路徑分析可用于監(jiān)測與優(yōu)化各模塊的轉(zhuǎn)化率，有助于優(yōu)化與改進(jìn)產(chǎn)品設(shè)計(jì)，是一個(gè)非常重要的指標(biāo)，本文采用關(guān)聯(lián)規(guī)則算法對用戶路徑行為日志進(jìn)行關(guān)聯(lián)規(guī)則挖掘，挖掘用戶的頻繁訪問模式，從而可以分析是否符合應(yīng)用設(shè)計(jì)的預(yù)期，有助于優(yōu)化和改進(jìn)，同時(shí)給出得分，具體過程如下圖：

圖3 日志挖掘

通過匯總所有指標(biāo)的評分就得出了一個(gè)總分值，作為量化的結(jié)果。通過比較移動應(yīng)用的各個(gè)版本的總分以及各項(xiàng)指標(biāo)的變動情況，可以對接下來的優(yōu)化和改進(jìn)提出有效的指導(dǎo)性意見，這對于移動應(yīng)用的可用性的提高有重要的作用。

4 結(jié)論

移動互聯(lián)網(wǎng)對傳統(tǒng)行業(yè)產(chǎn)生了非常大的沖擊，企業(yè)投入了大量的人力和物力在其應(yīng)用的用戶體驗(yàn)和產(chǎn)品可用性上，產(chǎn)品的可用性直接影響著企業(yè)的發(fā)展，日志數(shù)據(jù)作為用戶使用產(chǎn)品最直接的數(shù)據(jù)，必然會得到越來越多的重視。本文提出的基于日志的可用性評價(jià)體系不能作為評價(jià)移動應(yīng)用可用性的唯一標(biāo)準(zhǔn)，而是作為輔助性評價(jià)或初級評價(jià)的方案，將其與現(xiàn)場實(shí)驗(yàn)等方法結(jié)合使用可達(dá)到它的最優(yōu)化效果。

[1] ISO 9241-11, Ergonomic requirements for office work with visual display terminals(VDTs): guidance on usability[S]. Geneva: ISO, 1994.

[2] 李樂山. 人機(jī)界面設(shè)計(jì)(實(shí)踐篇)[M]. 北京: 科學(xué)出版社, 2009.

[3] SCHACKEL B. Human Factors for Informatics Usability[M]. Cambridge: Cambridge University Press, 1991.

[4] NIELSEN J. 可用性工程[M]. 劉正捷, 譯. 北京: 機(jī)械工業(yè)出版社, 2004.

[5] NOKIA LIMITED. S60 Platform: Scalable UI Guideline[OL]. 2013. http://www.developer.nokia.com/info/sw.nokia.com/id/ 4239db2a-2e0d-4592-a9c0-3936d0550d64/S60_Platform_Sc alable_UI_Guideline_v1_0_en.pdf.html.

[6] CHRISTIAN M N, MICHAEL O, MICHAEL B P. It’s worth the hassle!: The added value of evaluating the usability of mobile systems in the field[A]. NordiCHI'06 Proceedings of the 4th Nordic Conference on Human Computer Interaction[C]. New York: ACM, 2006: 272-280.

[7] HART S G, STAVELAND L E. Development of NASA-TLX: result of empirical and theoretical research. In: Hancock PA, Meshkati N, Eds. Human Mental Workload. Morth Holand: Elsevier Science Publishers, 1988. 139-183.

Research on the Comprehensive Evaluation System of Mobile Application Usability Based on Log Analysis

LV Shu-hua, WU Wei-ming, GU Yong-hao
(School of Computer Science，Beijing University of Post and Telecommunications, Beijing 100876, China)

Mobile applications have become an indispensable part of people's daily life, usability has become the main factor affecting the competitiveness of mobile applications, but also a prominent problem in the current mobile applications. Availability is a key factor to judge the quality of the product, if the usability evaluation of a product with a high score, it is likely to bring a huge amount of users for the enterprise, adopt appropriate ways to cash can achieve economic benefits, so how to improve the usability of the product for the enterprise is extremely important. The key to the usability evaluation of mobile application is to establish a set of reasonable and perfect evaluation index system. This paper makes a comparative analysis on the commonly used indicators, and then according to the characteristics of mobile application portability, indicators and measure parameter extraction for this thesis, using the analytic hierarchy process, the availability of the establishment of index system for mobile applications, and finally through the log analysis completed the transfer of evaluation on the application of dynamic availability.

Data analysis; Usability; Log analysis; Portability

TP399

A

10.3969/j.issn.1003-6970.2016.11.030

呂樹華(1991-)，男，碩士研究生，主要研究方向：現(xiàn)代網(wǎng)絡(luò)管理、移動互聯(lián)網(wǎng)；吳偉明，女，教授，主要研究方向：現(xiàn)代網(wǎng)絡(luò)管理、移動互聯(lián)網(wǎng)；谷勇浩，男，講師，主要研究方向：網(wǎng)絡(luò)安全、移動互聯(lián)網(wǎng)技術(shù)。

吳偉明，教授，主要研究方向：現(xiàn)代網(wǎng)絡(luò)管理、移動互聯(lián)網(wǎng)。