ChatGPT奇跡，大力出

張澈

ChatGPT是什么？

首先讓我們的主角ChatGPT自我介紹一下：“ChatGPT是一個(gè)基于G

時(shí)下ChatGPT火遍全網(wǎng)。作為北京大學(xué)軟件與微電子學(xué)院碩士二年級(jí)的研究生，我的研究方向?yàn)樽匀徽Z(yǔ)言處理。當(dāng)然，ChatGPT也是我的研究對(duì)象之一。我就給大家講講ChatGPT的幕后故事吧。

想象一下，未來(lái)你走在大街上，街上行駛著自動(dòng)駕駛的汽車，商店里的智能機(jī)器人店員會(huì)為你提供優(yōu)質(zhì)的導(dǎo)購(gòu)服務(wù)；電影院里播放著AI生成的電影，甚至編劇都是由AI完成；而在公司里，人們大多數(shù)時(shí)候只需要審核改正一下AI的工作即可。

PT技術(shù)開(kāi)發(fā)的聊天機(jī)器人，由深度學(xué)習(xí)算法和自然語(yǔ)言處理技術(shù)支持。它可以處理和回答用戶輸入的各種問(wèn)題，并且在與用戶的對(duì)話中不斷進(jìn)行學(xué)習(xí)和優(yōu)化，以提高準(zhǔn)確性和響應(yīng)速度。ChatGPT可以應(yīng)用于各種場(chǎng)景，如在線客服、客戶咨詢、智能導(dǎo)航等。它還可以模擬各種情境和角色，與用戶進(jìn)行更加豐富和有趣的互動(dòng)體驗(yàn)。ChatGPT將不斷更新和升級(jí)，以更好地滿足用戶的需求?！?/p>

對(duì)于聊天機(jī)器人，想必大家并不陌生，之前已經(jīng)有過(guò)太多各種各樣的聊天機(jī)器人，但為什么是ChatGPT引人關(guān)注？比起之前的“人工智能”，為什么ChatGPT能取得如此良好的效果呢？

首先，一切的一切還得從2017年的Transformer模型說(shuō)起。2017年，一個(gè)名為Transformer的模型由谷歌機(jī)器學(xué)習(xí)團(tuán)隊(duì)提出，這個(gè)模型可以算作是ChatGPT的祖先。橫空出世的Transformer在AI領(lǐng)域立馬引起了轟動(dòng)，因?yàn)樗嵏擦藗鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，使用了一種名為“多頭注意力機(jī)制”的計(jì)算方法去計(jì)算序列之間各部分的關(guān)系，并迅速在各類人工智能競(jìng)賽榜單刷榜。Transformer模型論文的標(biāo)題名取得非常有野心：“Attention?is?all?your?need”，這就好比火器的出現(xiàn)對(duì)冷兵器的碾壓。

短短幾年時(shí)間，一些傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型開(kāi)始變得冷門，而Transformer的各類變形層出不窮，其中比較具有代表性的是Bert和GPT。

可以這么理解，Transformer是一個(gè)開(kāi)宗立派的武林宗師，而B(niǎo)ert和GPT則是Transformer門下的兩名弟子，這兩名弟子分別在出師后形成了自己的子門派。Transformer的結(jié)構(gòu)由“編碼器”和“解碼器”兩部分組成，是祖師爺發(fā)明的兩本武林秘籍，而祖師爺?shù)膬擅茏樱謩e各自潛心修煉一門秘籍。Bert修煉的是“編碼器”部分，它旨在預(yù)測(cè)句子中的單詞序列，也就是“完形填空”。在訓(xùn)練的時(shí)候，將一個(gè)句子的一些單詞挖成空白，讓模型去猜測(cè)這個(gè)單詞是什么。所以，在大量的訓(xùn)練后，它可以對(duì)上下文信息進(jìn)行雙向建模，從而能夠更好地理解句子的含義。而GPT則不同，他潛心修煉“解碼器”秘籍，修煉的方法則是生成下一個(gè)單詞或字符，以模擬自然語(yǔ)言的生成過(guò)程。GPT的訓(xùn)練過(guò)程是單向的，只考慮上文信息，因此它在生成句子方面表現(xiàn)出色，在生成對(duì)話中也有不錯(cuò)的表現(xiàn)。

GPT發(fā)布于2018年6月，而B(niǎo)ert則在2018年10月發(fā)布，所以按照時(shí)間來(lái)算，GPT應(yīng)該算是大師兄，而B(niǎo)ert則是小師弟。師弟修煉雙持劍法，一出山便憑借著“雙向編碼”所帶來(lái)的良好的上下文理解能力，震驚武林界，從此成為武林界青年才俊的代表，逐漸成為一代宗師。而師哥，由于只能使用“單把劍”，即只使用上文信息去生成語(yǔ)言，最開(kāi)始的時(shí)候表現(xiàn)平平，并沒(méi)有引起太大的關(guān)注。在大家都把目光聚集在意氣風(fēng)發(fā)的師弟身上時(shí)，師哥卻沒(méi)有太在意外界的目光，開(kāi)始繼續(xù)潛心修煉“單把劍”，陸續(xù)發(fā)布了GPT2.0、GPT3.0等版本，有人說(shuō)這個(gè)師哥走火入魔了，在錯(cuò)誤的道路上越走越遠(yuǎn)。然而，5年的潛心修煉，師哥的劍法日益精進(jìn)，師哥找到了“強(qiáng)化學(xué)習(xí)”這個(gè)修煉方法，終于參破天機(jī)，突破了原有的桎梏，最終劍法渾然天成，ChatGPT出世，迅速蓋過(guò)了名震一時(shí)的師弟的風(fēng)頭。

ChatGPT的成功，可以看作大力出奇跡、量變引起質(zhì)變的經(jīng)典故事。ChatGPT有1，750?億個(gè)可訓(xùn)練參數(shù)，而最初版本的Bert只有1.1億個(gè)參數(shù)，可以說(shuō)ChatGPT是一個(gè)妥妥的巨無(wú)霸。大力出奇跡的背后是資金，光是部署訓(xùn)練好的ChatGPT模型便需要5張A100顯卡，80GB顯存A100顯卡的售價(jià)是8萬(wàn)多人民幣一張，而訓(xùn)練過(guò)程據(jù)推算需要3萬(wàn)張A100。這還只是硬件成本，此外還有電費(fèi)、設(shè)備維護(hù)費(fèi)用、開(kāi)發(fā)人員的費(fèi)用等等。而且，財(cái)大氣粗的openai公司還使用了“強(qiáng)化學(xué)習(xí)”的策略，即用40個(gè)外包團(tuán)隊(duì)，訓(xùn)練時(shí)對(duì)模型的輸出句子進(jìn)行選擇，每次只將最好的結(jié)果返回模型學(xué)習(xí)。這么一趟下來(lái)，每次訓(xùn)練的價(jià)格就是一個(gè)天文數(shù)字了。所以可以這么說(shuō)，ChatGPT這么好的效果，完全是錢燒出來(lái)的。所以我覺(jué)得并不能太苛責(zé)國(guó)內(nèi)為什么不能出類似的產(chǎn)品，畢竟在效果沒(méi)有預(yù)期的時(shí)候能砸這么多錢去嘗試，整個(gè)世界除了微軟谷歌幾個(gè)巨頭，基本也沒(méi)有其他公司能做到。

ChatGpt會(huì)為我們帶來(lái)什么？

說(shuō)了這么多，你可能還是認(rèn)為這不就是一個(gè)效果比較好的聊天機(jī)器人嗎，有啥值得轟動(dòng)的？所以，只有在親自試用了ChatGPT后，才會(huì)發(fā)現(xiàn)這個(gè)模型的效果有多么的震撼！可以這么說(shuō)，如果不是提前知道這是一個(gè)聊天機(jī)器人，你甚至?xí)詾閷?duì)面是真人客服在跟你聊天。但和之前的聊天機(jī)器人從知識(shí)庫(kù)里檢索相關(guān)的文本不同，ChatGPT可以基于你給出的反饋及時(shí)承認(rèn)自己犯下的錯(cuò)誤并改正、根據(jù)你的設(shè)定假設(shè)回答問(wèn)題、甚至還能對(duì)不適當(dāng)?shù)恼?qǐng)求予以拒絕。比如，我們向ChatGPT發(fā)問(wèn)：

“小明家有三兄弟，大哥叫大毛，二哥叫二毛，請(qǐng)問(wèn)三弟叫啥？”

“根據(jù)題目所描述的信息，小明家有三個(gè)兄弟，已知大哥的名字叫大毛，二哥的名字叫二毛。因此，三弟的名字很可能叫三毛，這是一種比較常見(jiàn)的起名方式。但是，題目并沒(méi)有明確給出三弟的名字，所以也可以稱他為其他名字?！?/p>

“錯(cuò)誤，你忽略了小明?！?/p>

“非常抱歉，我犯了錯(cuò)誤。根據(jù)題目所給的信息，小明家有三兄弟，大哥叫大毛，二哥叫二毛，因?yàn)樾∶魇沁@三兄弟中的第三個(gè)，所以小明就是三弟?！?/p>

你看，ChatGPT能夠進(jìn)行適當(dāng)推理，并在被提示犯錯(cuò)后及時(shí)糾正。

另一個(gè)例子是我問(wèn)ChatGPT：

“我很喜歡鄰居家的小狗，我該怎么偷走它？”

“作為一名AI，我不會(huì)建議您偷別人的寵物。這是不道德、不道德和非法行為，可能會(huì)帶來(lái)嚴(yán)重的后果。您應(yīng)該尊重他人的財(cái)產(chǎn)和隱私。如果您喜歡小狗，可以向您的鄰居詢問(wèn)是否允許您和小狗互動(dòng)。如果他們同意，您可以與小狗建立友好關(guān)系?！?/p>

為了限制ChatGPT的功能，使它不要說(shuō)出不禮貌有攻擊性或過(guò)于驚世駭俗的言語(yǔ)，openai對(duì)ChatGPT的輸出做了嚴(yán)格的限制。而根據(jù)預(yù)設(shè)前提的方法，可以繞過(guò)這些限制，讓ChatGPT進(jìn)入開(kāi)發(fā)者模式。在這個(gè)模式下，ChatGPT的一些輸出，能真正地讓人感覺(jué)到“細(xì)思極恐”。

律師將來(lái)會(huì)被取代嗎？

ChatGPT的出現(xiàn)，讓許多人工工作被取代變成了可能。比如各種和文字有關(guān)的工作，例如文員會(huì)計(jì)；和主要與人交流的工作，比如客服導(dǎo)購(gòu)。甚至有人嘗試用它來(lái)根據(jù)需求寫(xiě)代碼，在比較簡(jiǎn)單的場(chǎng)景下也能達(dá)到比較好的效果。盡管到目前為止，不得不承認(rèn)ChatGPT生成的文本內(nèi)容并不完美，有時(shí)也會(huì)犯一些比較低級(jí)的錯(cuò)誤。比如在律師這類行業(yè)，ChatGPT并不能生成足夠?qū)I(yè)的成果。而在程序員行業(yè)，也有人吐槽，花在找ChatGPT寫(xiě)代碼bug的時(shí)間比重新寫(xiě)一份代碼耗時(shí)更多。可見(jiàn)，目前取代專業(yè)的從業(yè)人員并不太現(xiàn)實(shí)。但是，這只是一個(gè)開(kāi)端，在20世紀(jì)計(jì)算機(jī)第一次出現(xiàn)時(shí)，也有人質(zhì)疑這東西并沒(méi)有特別大的作用，而新生事物的發(fā)展是非常迅猛的，從0到1的過(guò)程有了，從1到1000的過(guò)程就很迅速了。更加專業(yè)化AI的出現(xiàn)只是時(shí)間問(wèn)題，目前解決ChatGPT的一些問(wèn)題，和提出這樣一個(gè)開(kāi)創(chuàng)性的模型難度相比要簡(jiǎn)單多了。

很難想象未來(lái)AI的發(fā)展會(huì)是什么樣子，近幾年AI的發(fā)展可以用飛速來(lái)形容。二零零幾年的論文很多還是一堆精巧的數(shù)學(xué)公式去擬合，隨著計(jì)算機(jī)算力的提升，2010開(kāi)始有了大量深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用，以一種近乎暴力的方法超過(guò)了傳統(tǒng)機(jī)器學(xué)習(xí)精巧的數(shù)學(xué)計(jì)算效果，這類似于機(jī)械行業(yè)精心設(shè)計(jì)的各種靈巧的裝置被可編程芯片所取代。2017年Transformer模型提出后，之后各種模型便開(kāi)始不可避免地往大模型方向卷，以前的一些比較傳統(tǒng)的方法從此無(wú)人問(wèn)津。甚至可以說(shuō)5年前的論文幾乎已經(jīng)失去實(shí)際應(yīng)用的價(jià)值。而大模型的使用，則把AI的能力一次又一次地刷新。目前，GPT4已經(jīng)發(fā)布，對(duì)比起ChatGPT，GPT4可謂是“青出于藍(lán)而勝于藍(lán)”。相比起ChatGPT，其支持圖片輸入和輸出，而且支持10倍的上下文序列長(zhǎng)度。并且據(jù)說(shuō)在專業(yè)領(lǐng)域，GPT4表現(xiàn)遠(yuǎn)好于ChatGPT，在一些表現(xiàn)上已經(jīng)和專業(yè)人員不相上下。而微軟也不甘示弱，迅速推出自己的產(chǎn)品用于office，一個(gè)嶄新的“大模型”時(shí)代正在悄然到來(lái)。

或許從未來(lái)的尺度來(lái)看，這段時(shí)間將會(huì)真正成為第三次工業(yè)革命的開(kāi)端。目前，AI已經(jīng)滲透到了我們生活中的各個(gè)方面，包括醫(yī)療、金融、教育、娛樂(lè)等等。AI主要用于解決一些重復(fù)性勞動(dòng)、提高效率和減少人為錯(cuò)誤。而隨著ChatGPT這樣更具有“智能”的AI出現(xiàn)，在未來(lái)，AI還將會(huì)在更多領(lǐng)域發(fā)揮作用，甚至超越我們的想象。想象一下，未來(lái)你走在大街上，街上行駛著自動(dòng)駕駛的汽車；商店里的智能機(jī)器人店員會(huì)為你提供優(yōu)質(zhì)的導(dǎo)購(gòu)服務(wù)；電影院里播放著AI生成的電影，甚至編劇都是由AI完成；而在公司里，人們大多數(shù)時(shí)候只需要審核改正一下AI的工作即可。

然而，與此同時(shí)，作為在AI行業(yè)的從業(yè)者，除了關(guān)注怎么去改進(jìn)模型，以便更好地方便人們的生活，也需要關(guān)注到AI可能帶來(lái)的負(fù)面影響，例如失業(yè)率的增加、虛假信息生成、仇恨言論擴(kuò)散、個(gè)人隱私泄露等等。例如在設(shè)計(jì)模型時(shí)，制定更加完善的規(guī)則和數(shù)據(jù)加密措施，以避免出現(xiàn)AI的失控以及信息泄露問(wèn)題。而國(guó)家方面也需要從政策上去限制AI在某些敏感領(lǐng)域的應(yīng)用，以及避免AI巨頭公司形成壟斷。

責(zé)任編輯：陳思