為什么數(shù)據(jù)項目會失敗

馬尤爾·喬希 蘇寧 羅伯特·奧斯汀 阿南德·孫達(dá)拉姆

如今越來越多的公司都把數(shù)據(jù)科學(xué)看作一項職能、一種能力，但有很多公司始終無法從對大數(shù)據(jù)、人工智能和機(jī)器學(xué)習(xí)的投資中持續(xù)獲取商業(yè)價值。此外有證據(jù)表明，在這一點上取得成功和失敗的組織之間差距正在逐漸拉大。

為了進(jìn)一步考察公司在實施有利可圖的數(shù)據(jù)項目時所犯的錯誤，找到避免犯錯的方法，我們在印度十大私營銀行中選取了擁有完善分析部門的三家，對它們的數(shù)據(jù)科學(xué)活動展開深入研究。該研究最終揭示了以下五大常見錯誤，我們針對這些錯誤提出了相應(yīng)的解決方案。

錯誤一：用錯地方

數(shù)據(jù)專家希倫是那種讓所有組織都垂涎的分析奇才，最近受聘于我們所研究的一家銀行。他對“K最近鄰算法”情有獨鐘，該算法在數(shù)據(jù)簇的識別和分類方面很有用。希倫告訴我們：“在研究中，我運用K最近鄰算法分析了幾個模擬數(shù)據(jù)集，迫不及待地想早日應(yīng)用于真實數(shù)據(jù)?！?/p>

幾個月后，希倫如愿以償。他運用K最近鄰算法來識別銀行商業(yè)支票賬戶產(chǎn)品組合中贏利能力特別突出的行業(yè)細(xì)分領(lǐng)域，據(jù)此向商業(yè)支票賬戶業(yè)務(wù)團(tuán)隊提出建議：應(yīng)當(dāng)重點致力于總共33個行業(yè)細(xì)分領(lǐng)域中的兩個。

然而，該業(yè)務(wù)團(tuán)隊的成員對他的分析結(jié)論根本不感興趣。他們早已熟知這些細(xì)分領(lǐng)域，也能通過簡單計算確定各個細(xì)分領(lǐng)域的贏利能力。在他們看來，采用K最近鄰算法來完成這項任務(wù)無異于用高射炮打蚊子。

諸如此類的情形我們在三家銀行中都見過。究其實質(zhì)，無法實現(xiàn)商業(yè)價值的原因在于過分癡迷于數(shù)據(jù)科學(xué)解決方案。這類錯誤有幾種表現(xiàn)形式。就希倫而言，其實他面對的問題并不需要如此煞費苦心的解決方案。在另外一些情況下，我們看到某個數(shù)據(jù)科學(xué)解決方案在一個領(lǐng)域得到成功應(yīng)用后，其他領(lǐng)域也紛紛跟進(jìn)，殊不知它并不適合，也不見得有效。簡而言之，此類錯誤的根源并不在于分析技術(shù)的執(zhí)行問題，而在于它用錯了地方。

過了一段時間，希倫對業(yè)務(wù)有了深入了解之后，又回到該團(tuán)隊提出了新建議：他仍推薦使用K最近鄰算法，但這次是在客戶層面而非行業(yè)層面開展行動。事實證明，這種做法更合適，并且讓團(tuán)隊產(chǎn)生了一些新的認(rèn)識，幫助他們瞄準(zhǔn)尚未開發(fā)的客戶群。同樣一種算法，一旦用于更適宜的環(huán)境，實現(xiàn)商業(yè)價值的潛力就更大。

顯然，在開發(fā)和應(yīng)用過程中對業(yè)務(wù)環(huán)境敏感的數(shù)據(jù)分析解決方案收效可能最好。但我們也看到，在許多管理者心目中，數(shù)據(jù)科學(xué)就像火箭研究那樣高深莫測。他們有可能被數(shù)據(jù)分析的高科技光環(huán)所震懾，以致忽略了具體情境。我們發(fā)現(xiàn)，當(dāng)管理者看到某個解決方案應(yīng)用在別的領(lǐng)域效果不錯，或者貼著誘人的標(biāo)簽（如“AI”或“機(jī)器學(xué)習(xí)”）時，他們就更有可能跟風(fēng)效仿。數(shù)據(jù)專家通常專注于分析方法，往往沒有能力提供更全面的視角，或者即便具備這種能力，也沒能真正做到。

我們研究的幾家銀行的高管層通常借助培訓(xùn)手段來解決這個問題。其中一家銀行規(guī)定，新錄用的數(shù)據(jù)專業(yè)人士必須跟受訓(xùn)的客戶經(jīng)理們一起，參加由領(lǐng)域?qū)＜抑髦v的產(chǎn)品培訓(xùn)課程。該銀行還為各層級的業(yè)務(wù)經(jīng)理們量身打造數(shù)據(jù)科學(xué)培訓(xùn)課程，由數(shù)據(jù)科學(xué)部門主管講授。課程內(nèi)容包括分析技術(shù)的基本概念，在應(yīng)用方面著重強(qiáng)調(diào)：對于特定解決方案技術(shù)需要問哪些問題，這些技術(shù)應(yīng)當(dāng)或不應(yīng)當(dāng)用于哪些地方?？偟恼f來，培訓(xùn)是為了促進(jìn)數(shù)據(jù)專家、業(yè)務(wù)經(jīng)理和領(lǐng)域?qū)＜抑g的知識交叉滲透，幫助他們加深對彼此的工作了解。

在相關(guān)的實地考察中，我們還目睹了一些基于流程的解決辦法，可以避免過于倉促地采用自己青睞的解決方案而鑄成大錯。一家總部位于美國的大型航空航天公司采用一種名為“七條路”的方法，要求各團(tuán)隊至少要尋找并比較七種可能的解決路徑，并且明確證實終選方案的合理性。

錯誤二：未識別偏差來源

普拉納夫是一位精于統(tǒng)計建模的數(shù)據(jù)專家，他正在開發(fā)一種算法，以便為從事中小企業(yè)擔(dān)保貸款審批工作的核保團(tuán)隊提供幫助。他利用信貸審批備忘錄（credit approval memo， CAM），考察過去十年間處理的所有貸款申請，將借款人提出申請時的財務(wù)狀況和當(dāng)前財務(wù)狀況一一比對。不出幾個月工夫，普拉納夫便完成了一個圍繞高度精確模型構(gòu)建的軟件工具，供核保團(tuán)隊實際應(yīng)用。

不幸的是，六個月過去，反饋結(jié)果表明應(yīng)用該工具之后的貸款拖欠率明顯高于以往。公司高層百思不得其解，指派了一位經(jīng)驗豐富的核保員與普拉納夫協(xié)作，追查問題到底出在哪里。

那位核保員發(fā)現(xiàn)建模輸入數(shù)據(jù)來自CAM，當(dāng)即恍然大悟。因為列入CAM的都是由經(jīng)驗豐富的客戶經(jīng)理事先篩選好、很可能順利過審的客戶申請，核保員對此心知肚明，但是普拉納夫不知道。模型開發(fā)過程中沒有納入在預(yù)篩階段被拒絕的貸款申請數(shù)據(jù)，造成了巨大的選擇性偏差。正是這種選擇性偏差使得普拉納夫在建模過程中遺漏了“跳票”這一關(guān)鍵決策參數(shù)。毫不奇怪的是，經(jīng)過客戶經(jīng)理預(yù)先篩選的借款人群體當(dāng)中，極少出現(xiàn)跳票的情況。

針對這種情況，技術(shù)補(bǔ)救輕而易舉：普拉納夫?qū)㈩A(yù)篩被拒的貸款申請數(shù)據(jù)加入模型，使“跳票”參數(shù)成為其中的一個重要元素。該工具這才開始發(fā)揮預(yù)期功效。

對于那些試圖從數(shù)據(jù)科學(xué)中獲取商業(yè)價值的公司而言，更大的問題是如何預(yù)先識別此類偏差來源，確保它們不會在開始時不知不覺地?fù)诫s進(jìn)模型。這是個極具挑戰(zhàn)性的任務(wù)，因為外行人（有時分析專家本人也一樣）無法輕易看懂分析技術(shù)這個“黑匣子”究竟是怎樣得出分析結(jié)果的，而懂得“黑匣子”原理的分析專家又往往意識不到自己使用的原始數(shù)據(jù)中所含的偏差。

我們研究的幾家銀行都要求數(shù)據(jù)專家熟悉他們用于建模的數(shù)據(jù)源，以避免未能識別的偏差。例如，我們曾經(jīng)觀察到，一位數(shù)據(jù)專家花了一個月時間在一家分行蹲點，陪隨客戶經(jīng)理工作，以識別能確保模型生成準(zhǔn)確分析結(jié)果所需的數(shù)據(jù)。

我們還見過一個由數(shù)據(jù)專家和業(yè)務(wù)專家共同組成的項目團(tuán)隊，他們采用了一個正式的篩檢偏差流程，首先確定潛在預(yù)測變量和數(shù)據(jù)源，繼而逐一仔細(xì)檢查是否存在潛在的偏差。該流程的目的就是要質(zhì)疑既有假定，并給數(shù)據(jù)“除臭”，從而避免數(shù)據(jù)創(chuàng)建和收集過程中可能引發(fā)的種種問題。

錯誤三：對的解決方案，錯誤的時間

卡爾蒂克是位數(shù)據(jù)專家，在機(jī)器學(xué)習(xí)領(lǐng)域造詣頗深。他花費一個月時間開發(fā)了一個用于分析儲蓄賬戶流失的復(fù)雜模型，又用了三個月進(jìn)行微調(diào)以提高模型的準(zhǔn)確性。他把最終成品分享給儲蓄賬戶產(chǎn)品團(tuán)隊，后者很震撼，只是他們的年度預(yù)算此時已經(jīng)用完，無法投資于該模型的實際應(yīng)用。

第二年，為了避免再度遭遇這個問題，卡爾蒂克搶在預(yù)算周期開始前就向產(chǎn)品團(tuán)隊推介他的模型。不料今年該團(tuán)隊得到高層指令，將工作重點從留住老儲戶轉(zhuǎn)向吸引新儲戶。于是，卡爾蒂克的項目再次落空。

到了第三年，卡爾蒂克繼續(xù)爭取，項目終于獲批，可是他高興不起來。他沮喪地告訴我們：“他們現(xiàn)在想要應(yīng)用這個模型了，但它已經(jīng)過了時效，我還得重新建構(gòu)一遍！”

在這個案例中，銀行無法從數(shù)據(jù)項目中獲取價值，是因為數(shù)據(jù)科學(xué)與銀行工作重心及業(yè)務(wù)流程不同步。為避免這種情況，需要在數(shù)據(jù)科學(xué)與經(jīng)營戰(zhàn)略、業(yè)務(wù)系統(tǒng)之間建立更緊密的關(guān)聯(lián)。

高管層應(yīng)當(dāng)促使數(shù)據(jù)科學(xué)實踐（以及數(shù)據(jù)專家）與公司業(yè)務(wù)更密切地融合，無論是在工作地點、結(jié)構(gòu)還是流程上，如此可以確保數(shù)據(jù)科學(xué)活動與組織戰(zhàn)略、業(yè)務(wù)系統(tǒng)保持同步。例如，一家銀行安排數(shù)據(jù)專家參與各業(yè)務(wù)團(tuán)隊的項目，每天與業(yè)務(wù)團(tuán)隊接觸，深度了解團(tuán)隊優(yōu)先事務(wù)及截止期限——有些時候還能預(yù)測尚未表達(dá)的業(yè)務(wù)需求。我們還看到，公司安排數(shù)據(jù)團(tuán)隊與業(yè)務(wù)團(tuán)隊同地辦公，并實施一些強(qiáng)制性的流程要求，比如要求項目活動須在業(yè)務(wù)團(tuán)隊所在地進(jìn)行，或者要求業(yè)務(wù)團(tuán)隊的會議和活動須有數(shù)據(jù)專家參加。

大體而言，數(shù)據(jù)專家應(yīng)當(dāng)集中精力解決業(yè)務(wù)領(lǐng)導(dǎo)認(rèn)為最重要的問題。不過需要提醒的是，數(shù)據(jù)科學(xué)有時會產(chǎn)生出人意料的結(jié)論，無論這些結(jié)論是否與當(dāng)前的優(yōu)先事項一致，都應(yīng)提請高層領(lǐng)導(dǎo)注意，這時就需要拿出一些勇氣。如果分析得出的結(jié)論跟組織當(dāng)前的工作重心和體系不相符，卻有可能為公司帶來巨大的價值，那么數(shù)據(jù)專家有責(zé)任向管理層進(jìn)言，把信息反饋給他們。

我們發(fā)現(xiàn)，銀行高管層有時會在項目團(tuán)隊中額外安排數(shù)據(jù)專家，以便開展探索性工作。這些數(shù)據(jù)專家并不與項目團(tuán)隊同地辦公，并且得到指示，不要關(guān)注團(tuán)隊的優(yōu)先事項。恰恰相反，他們的任務(wù)是打造與項目相關(guān)的替代解決方案。倘若該方案切實可行，數(shù)據(jù)科學(xué)部門的負(fù)責(zé)人會將其推薦給高管層。如此雙管齊下，順應(yīng)了數(shù)據(jù)專家和業(yè)務(wù)專家之間在認(rèn)知上相互依存的關(guān)系，使得數(shù)據(jù)科學(xué)在努力滿足當(dāng)前業(yè)務(wù)需求的同時，又致力于探索創(chuàng)新及改革當(dāng)前業(yè)務(wù)實踐的機(jī)會。要想讓數(shù)據(jù)科學(xué)盡可能多地實現(xiàn)商業(yè)價值，它所扮演的這兩個角色都很重要。

錯誤四：對的工具，錯誤的使用者

業(yè)務(wù)分析師索菲亞率領(lǐng)手下團(tuán)隊開發(fā)了一個推薦引擎，它能向銀行客戶提供精準(zhǔn)定位的新產(chǎn)品和新服務(wù)。他們在營銷團(tuán)隊協(xié)助下，將這個推薦引擎添加到該行的移動錢包App、銀行網(wǎng)站和電子郵件中。但是，期待中的新業(yè)務(wù)遲遲沒有等來，客戶對推薦產(chǎn)品的接受度大大低于預(yù)期。

為了查明失敗原因，該行安排電話營銷員針對未購買推薦新品的客戶群進(jìn)行了抽樣調(diào)查。謎底很快被揭開：許多客戶不信任通過App、網(wǎng)站和電郵渠道推薦的產(chǎn)品。

索菲亞堅持不懈地尋求解決之道，她走訪了多家下屬分行，驚訝地發(fā)現(xiàn)，客戶們似乎高度信任客戶經(jīng)理提出的建議。一些非正式實驗令她確信，如果在分行中由客戶經(jīng)理向客戶介紹這個推薦引擎，將會大大提高客戶接受度。索菲亞意識到，問題不是出在推薦引擎本身，而是對它的推介方式有誤。于是，她會見了負(fù)責(zé)分行工作的高層領(lǐng)導(dǎo)，提議重新發(fā)布該引擎，這次是作為產(chǎn)品銷售的輔助工具，供客戶經(jīng)理使用。經(jīng)過重新策劃的發(fā)布活動取得了巨大成功。

索菲亞遇到的難題提醒我們需要注意以什么方式傳達(dá)和使用分析工具的輸出結(jié)果。為了給客戶和企業(yè)創(chuàng)造最大價值，應(yīng)當(dāng)將用戶體驗分析納入數(shù)據(jù)科學(xué)的設(shè)計流程，至少應(yīng)當(dāng)把用戶測試作為數(shù)據(jù)科學(xué)項目生命周期的一個明確組成部分。更理想的是，把數(shù)據(jù)科學(xué)實踐置于人本設(shè)計框架中。除了用戶測試之外，這樣的框架還可以授權(quán)在數(shù)據(jù)科學(xué)流程的前端進(jìn)行用戶研究。

盡管在本研究中我們沒有見到將數(shù)據(jù)科學(xué)嵌入設(shè)計思維（或其他人本設(shè)計實踐）的實例，但我們確實發(fā)現(xiàn)，前文中描述的陪隨過程有時可以充作一種用戶體驗分析。數(shù)據(jù)專家陪隨其他員工，既能了解數(shù)據(jù)來源，也能深入了解用戶，以及解決方案的交付渠道。簡而言之，在數(shù)據(jù)科學(xué)項目中運用陪隨手段，有助于更好地理解數(shù)據(jù)生成過程以及解決方案的用戶和交付渠道。

錯誤五：艱難的最后一公里

幾個月來，這家銀行旨在挽回流失客戶的“贏回”計劃始終沒有進(jìn)展。為此，數(shù)據(jù)專家和產(chǎn)品經(jīng)理開會共商如何使計劃重回正軌，但是當(dāng)天的會議進(jìn)程并不順利。

數(shù)據(jù)專家達(dá)拉和維瑞爾最關(guān)注的是，怎樣識別已流失客戶群中最有希望挽回的那部分人。但產(chǎn)品經(jīng)理阿內(nèi)什和賈爾帕想討論此次活動的細(xì)節(jié)，給數(shù)據(jù)專家們施壓，要他們立即肩負(fù)起實施該計劃的責(zé)任。討論毫無突破，只得休會。維瑞爾對達(dá)拉抱怨道：“如果事事都由數(shù)據(jù)專家和分析師來做，銀行還要產(chǎn)品經(jīng)理干什么？我們的職責(zé)是開發(fā)分析解決方案，執(zhí)行本來是他們分內(nèi)的工作?！?/p>

不過，下次開會時，維瑞爾似乎已經(jīng)改變了主意。他潛心去了解產(chǎn)品經(jīng)理為什么執(zhí)意要讓數(shù)據(jù)專家負(fù)責(zé)計劃的實施。結(jié)果發(fā)現(xiàn)，該行的信息系統(tǒng)部過去曾多次向產(chǎn)品經(jīng)理提供可挽回的流失客戶名單，最后這些活動均以失敗告終。這些名單在實際使用中難度極大，部分原因在于無法追蹤客戶的聯(lián)絡(luò)方式。因此，產(chǎn)品經(jīng)理覺得，新提供的目標(biāo)客戶名單無非是再次陷他們于失敗境地而已。

維瑞爾和達(dá)拉從產(chǎn)品經(jīng)理的角度出發(fā)，對該問題有了新的理解之后，隨即在自己的項目規(guī)劃中新增了為本行電話營銷人員、電子郵件管理團(tuán)隊、分行員工和資產(chǎn)團(tuán)隊開發(fā)前端軟件應(yīng)用的內(nèi)容。這為他們提供了一種工具，將與客戶互動中獲取的信息輸入系統(tǒng)，從而更好地利用數(shù)據(jù)科學(xué)團(tuán)隊提供的名單。最后，該項目終于取得了進(jìn)展。

維瑞爾和達(dá)拉的行動需要非同尋常的同理心和主動性。他們邁出數(shù)據(jù)專家的職責(zé)領(lǐng)域，扮演著類似于項目負(fù)責(zé)人的角色。不過，公司或許不該也不想以這種方式依賴數(shù)據(jù)專家的貢獻(xiàn)——畢竟，他們的技術(shù)專長是一種稀缺而昂貴的資源。

相反，公司可以設(shè)法讓數(shù)據(jù)專家參與解決方案的實施。為此，我們研究的一家銀行估測了數(shù)據(jù)專家的解決方案所產(chǎn)生的商業(yè)價值，將其計入方案提供人的績效評估結(jié)果。這種做法激勵了數(shù)據(jù)專家們確保解決方案的成功實施。這家銀行的高管們坦承，這有時會導(dǎo)致數(shù)據(jù)專家的工作大大超出自身職責(zé)范圍。但他們認(rèn)定只要能保證商業(yè)價值，數(shù)據(jù)科學(xué)資源的流向改變就有充分理由，并且，如果這種狀況對數(shù)據(jù)專家的核心職責(zé)負(fù)面影響過大，也可以根據(jù)具體情況予以糾正。

我們在研究中找到的所有錯誤，無一例外地出現(xiàn)在數(shù)據(jù)科學(xué)職能與總體業(yè)務(wù)的交界上。這表明，領(lǐng)導(dǎo)者應(yīng)當(dāng)更全面地認(rèn)識數(shù)據(jù)科學(xué)的作用，并在公司內(nèi)部大力推廣，包括促進(jìn)數(shù)據(jù)專家與負(fù)責(zé)問題診斷、流程管理和解決方案實施的員工之間更密切地協(xié)作。這種更緊密的聯(lián)系可以通過多種方式來實現(xiàn)，包括培訓(xùn)、陪隨、同地辦公，以及正式的激勵措施。由此獲得的回報將是：解決方案失敗率下降、項目周期縮短，最終獲取更大的商業(yè)價值。