王爍
絕大多數(shù)時(shí)候,一群人合起來(lái)都會(huì)比一個(gè)人更有智慧。問(wèn)題是,每個(gè)人天生都知道怎么運(yùn)用自己的智慧,但群體是個(gè)人的集合,而匯聚許多人的智慧,需要方法。
豆瓣上曾經(jīng)出現(xiàn)過(guò)一部2 分電影,99% 以上的評(píng)分是一星(豆瓣評(píng)分五星制, 五星是10 分,一星是2 分)。導(dǎo)演很生氣,說(shuō)毀了他12 年的心血,但沒(méi)人同情他。因?yàn)橛^眾更相信豆瓣評(píng)分,而不是導(dǎo)演自評(píng)。這顯然更合理。有17022 人打分,你相信17022人,還是相信一個(gè)人?
豆瓣評(píng)分機(jī)制的算法就是平均聚合。原則上就是一人一票,簡(jiǎn)單平均。這辦法雖然簡(jiǎn)單,但比較靠譜。如果投票者數(shù)量足夠多,投票相對(duì)獨(dú)立,那么簡(jiǎn)單平均值的準(zhǔn)確度會(huì)系統(tǒng)性地超越個(gè)體判斷。這就是群體智慧的原意。它已經(jīng)足以戰(zhàn)勝絕大多數(shù)有專(zhuān)家頭銜的評(píng)委。
豆瓣的簡(jiǎn)單平均法簡(jiǎn)潔但不完美。比如,假設(shè)一部電影只有兩個(gè)人打分10 分,另一部電影100 萬(wàn)人打分平均9.8分。哪部電影更好?簡(jiǎn)單平均法識(shí)別不了。這時(shí)候就需要另一種算法——貝葉斯推理。
電影評(píng)價(jià)類(lèi)網(wǎng)站IMDb 用的就是貝葉斯推理這種算法,它能夠解決極少數(shù)用戶(hù)打極高分或者極低分的時(shí)候, 對(duì)一部電影的評(píng)價(jià)出現(xiàn)不準(zhǔn)確或不公平的問(wèn)題。它從預(yù)先的假設(shè)開(kāi)始。既然事先不知道一部電影得分會(huì)是多少,那就給它一個(gè)基準(zhǔn)分,對(duì)應(yīng)一個(gè)基準(zhǔn)的投票數(shù)。IMDb給的基準(zhǔn)分是網(wǎng)站上所有電影的平均分,比如6.5,對(duì)應(yīng)基準(zhǔn)的打分人數(shù),比如3000 人。也就是說(shuō),不管是什么電影,在獲得第一個(gè)用戶(hù)打分之前,默認(rèn)都是得6.5 分,對(duì)應(yīng)著3000張投票。
你看了電影, 開(kāi)始打分,新信息進(jìn)來(lái)了。貝葉斯推理會(huì)用這些新信息修正得分,隨著每個(gè)用戶(hù)的打分變化。其算法大體如下:如果只有一個(gè)用戶(hù)打分,那么電影得分無(wú)限接近于網(wǎng)站平均分;如果有3000 真實(shí)用戶(hù)打分, 跟基準(zhǔn)數(shù)一樣,那么得分正好是3000 名真實(shí)用戶(hù)實(shí)際打分與網(wǎng)站平均分兩個(gè)分值之間的平均分;如果打分用戶(hù)數(shù)量極大,那么得分會(huì)極度逼近這些用戶(hù)的實(shí)際打分。
投票人數(shù)的問(wèn)題處理好了,但問(wèn)題還沒(méi)完。一人一票是平等的,但看電影這件事仍有許多理由支持搞不平等:“水軍”跟觀眾不應(yīng)該平等,掏錢(qián)買(mǎi)票看的跟白看的不應(yīng)該平等,高水平觀眾跟普通觀眾不應(yīng)該平等。一人一票反映不出每一票中包含的獨(dú)特信息,而這些信息是有價(jià)值的。怎么把信息解放出來(lái)?答案就是第三種聚合的方法:動(dòng)態(tài)加權(quán)。希弗近年來(lái)在選舉預(yù)測(cè)領(lǐng)域大火。他的選舉預(yù)測(cè)網(wǎng)站在2008 年美國(guó)總統(tǒng)大選及國(guó)會(huì)選舉一戰(zhàn)成名,準(zhǔn)確率超過(guò)所有民調(diào)。希弗并不直接做預(yù)測(cè), 他做的是對(duì)民調(diào)的聚合。他根據(jù)每個(gè)民調(diào)機(jī)構(gòu)準(zhǔn)確率的歷史記錄和當(dāng)下表現(xiàn),動(dòng)態(tài)調(diào)整其權(quán)重,表現(xiàn)好的權(quán)重高,表現(xiàn)差的權(quán)重低,聚合起來(lái),生成預(yù)測(cè)。這種算法就是動(dòng)態(tài)加權(quán),根據(jù)民調(diào)機(jī)構(gòu)不同的準(zhǔn)確率,分別加上不同的權(quán)重,根據(jù)接下來(lái)的表現(xiàn)隨時(shí)調(diào)整權(quán)重,再重新聚合起來(lái)。
能不能再往前走一步,做得更好?這就是第四種聚合方法:極化。
美國(guó)著名政治學(xué)者泰特羅克領(lǐng)導(dǎo)預(yù)測(cè)項(xiàng)目“善斷計(jì)劃”。幾年間,兩萬(wàn)多人在善斷計(jì)劃網(wǎng)站上就美國(guó)情報(bào)界拋出來(lái)的五百個(gè)問(wèn)題做持續(xù)預(yù)測(cè),實(shí)時(shí)檢驗(yàn)。泰特羅克給每個(gè)預(yù)測(cè)者的每次預(yù)測(cè)都打分,匯總成個(gè)人總分,有2% 的人脫穎而出,攀到最優(yōu)秀一級(jí),成為“超級(jí)預(yù)測(cè)者”。善斷計(jì)劃則根據(jù)每個(gè)人的得分調(diào)整其在整體預(yù)測(cè)中的權(quán)重分配,生成預(yù)測(cè)。到這一步,泰特羅克的方法與希弗相似。下一步則是泰特羅克的創(chuàng)舉:將對(duì)加權(quán)平均后形成的預(yù)測(cè)結(jié)果再做一道加工——極化,將預(yù)測(cè)結(jié)果往100% 或者0 的方向推。比如,預(yù)測(cè)一任美國(guó)總統(tǒng)是否能連任,如果預(yù)測(cè)者加權(quán)平均后的預(yù)測(cè)概率是70%,那就把它上調(diào)到比如85% ;相反,如果預(yù)測(cè)值是30%,那就把它下調(diào)到15%。
極化的理由是這樣的:假設(shè)群體中的每個(gè)人都獲得了群體的全部信息,他們做預(yù)測(cè)時(shí)一定會(huì)更為自信。極化就是要捕捉這個(gè)自信:如果是樂(lè)觀預(yù)測(cè),極化會(huì)輸出一個(gè)更樂(lè)觀的預(yù)測(cè);如果是悲觀預(yù)測(cè),極化會(huì)輸出一個(gè)更悲觀的預(yù)測(cè)。
善斷計(jì)劃的預(yù)測(cè)準(zhǔn)確率高得驚人。參與者不過(guò)是一群普通人,但借助簡(jiǎn)單的算法,他們的預(yù)測(cè)擊敗了全部現(xiàn)有的預(yù)測(cè)系統(tǒng),甚至戰(zhàn)勝了專(zhuān)業(yè)情報(bào)分析師。
正確地聚合群體智慧,就獲得了這個(gè)時(shí)代最接近于千里眼的工具。
(張秋偉摘自“羅輯思維”微信公眾號(hào),郭德鑫圖)