無(wú)痛AI記典

按字面意思，人工智能就是由人制造出來(lái)的機(jī)器所表現(xiàn)出來(lái)的智能，其最終目標(biāo)是創(chuàng)造與人類差不多甚至高于人類智能的機(jī)器。

就像人有名字一樣，創(chuàng)造這些人工智能機(jī)器（目前主要是軟件形式的模型）的公司們也常常會(huì)給它們的模型起名字，比如OpenAI的人工智能機(jī)器（模型）叫GPT，它的最終產(chǎn)品叫ChatGPT，而Google的模型叫Gemini，最終與人聊天的產(chǎn)品叫Bard……這些不同維度的產(chǎn)物常常會(huì)被籠統(tǒng)地、擬人化地叫作一個(gè)個(gè)AI。

簡(jiǎn)單說(shuō)，深度學(xué)習(xí)就是讓計(jì)算機(jī)通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)—哈，這句話中又有兩個(gè)新概念，神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)。

理解神經(jīng)網(wǎng)絡(luò)相對(duì)容易，你把它想象成人腦中的神經(jīng)網(wǎng)絡(luò)就可以了，它有很多個(gè)節(jié)點(diǎn)（就像人腦的神經(jīng)細(xì)胞），節(jié)點(diǎn)的層與層之間相互連接（就像大腦神經(jīng)細(xì)胞之間的連接）。所謂“深度”，是指這個(gè)網(wǎng)絡(luò)有很多層。

在人工神經(jīng)網(wǎng)絡(luò)中，知識(shí)以權(quán)重的形式存在。而學(xué)習(xí)，就是根據(jù)訓(xùn)練數(shù)據(jù)來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)鏈接上的權(quán)重，最終，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)成果就是權(quán)重。

這個(gè)詞是最近兩年才被創(chuàng)造出來(lái)的，與判定式AI相對(duì)，提出者不詳。2022年之前，你在市面上見過(guò)的AI基本都是判定式的，比如人臉識(shí)別的主要工作就是判斷鏡頭前的人是不是你、一封郵件是不是垃圾郵件，即當(dāng)時(shí)AI只能以回答yes or no的方式來(lái)工作。

現(xiàn)在，ChatGPT能大段大段地回答問題，“生成”一連串的字，還有些AI可以“生成”一張一張的新圖片。與判定式AI相比，生成式AI從無(wú)到有地創(chuàng)造了大量新內(nèi)容。這種AI創(chuàng)造內(nèi)容的狀況被稱為AIGC（Artificial Intelligence Generated Content），與用戶創(chuàng)造內(nèi)容（Users Generated Content，UGC）、平臺(tái)創(chuàng)造內(nèi)容（Platform Generated Content，PGC）相對(duì)—社交媒體是典型的UGC，而機(jī)構(gòu)媒體是典型的PGC。

模型學(xué)習(xí)、生成、預(yù)測(cè)的最小數(shù)據(jù)單位，就像人類語(yǔ)言的最小單位是字母、單詞。一個(gè)token的長(zhǎng)度可能長(zhǎng)于一個(gè)單詞，也可能短于一個(gè)單詞，整體而言，100個(gè)token大約相當(dāng)于75個(gè)英文單詞。

看英文翻譯你應(yīng)該就知道了，大模型的全稱是“大語(yǔ)言模型”，所以它原本指的只是語(yǔ)言模型。因?yàn)榛赥ransformer架構(gòu)構(gòu)建，隨著訓(xùn)練數(shù)據(jù)增加，基于這種架構(gòu)的語(yǔ)言模型會(huì)越來(lái)越大—具體表現(xiàn)就是參數(shù)越來(lái)越多，像GPT-3的參數(shù)量達(dá)到1750億，GPT-4的參數(shù)量雖然沒有公布，但據(jù)說(shuō)有上萬(wàn)億之多。而從結(jié)果上看，模型越大似乎就越智能。

不過(guò)在實(shí)際使用中，不少人在提到生成式AI的時(shí)候會(huì)用“大模型”代替，不管它生成的是圖像、視頻還是蛋白質(zhì)結(jié)構(gòu)，這種使用方式起初是種誤用，但正逐漸被更多人接受。

歷史常常就是這樣，很多事物的命名一開始都是有點(diǎn)隨意的。如果最初發(fā)現(xiàn)Transformer的人是研究視覺而不是研究語(yǔ)言的，那大模型一開始很可能指的就是大視覺模型（Large Vision Models，LVMs），而不是大語(yǔ)言模型了。

作為一種模型架構(gòu)，Transformer會(huì)讓模型越訓(xùn)越大，并且模型越大越智能。從功能上看，Transformer能處理一切可以表達(dá)為序列的東西，從自然語(yǔ)言到計(jì)算機(jī)代碼、從圖像像素到DNA，或者說(shuō)，它可以生成帶有重復(fù)圖案或模式的所有東西。

在Transformer被發(fā)明之前，處理語(yǔ)言的模型、處理圖像的模型和處理DNA的模型，會(huì)采用迥異的架構(gòu)（即專用模型），而Transformer出現(xiàn)之后，圖像也不過(guò)是另一種語(yǔ)言。

2017年12月，Google的人工智能團(tuán)隊(duì)Google Brain中的8位工程師共同發(fā)表論文提出這一架構(gòu)，論文名稱“Attention Is All You Need”（所有你需要的東西就是注意力）致敬了披頭士樂隊(duì)的《All You Need Is Love》（所有你需要的東西就是愛）。

預(yù)訓(xùn)練指一個(gè)模型的初始訓(xùn)練階段，在這個(gè)階段，模型會(huì)從大量數(shù)據(jù)中廣泛學(xué)習(xí)，掌握“通識(shí)”知識(shí)。若要在特定場(chǎng)景中有更好表現(xiàn)，就要讓模型學(xué)習(xí)更多特定領(lǐng)域的專門知識(shí)，這個(gè)階段也被稱為“微調(diào)”或“精調(diào)“（Fine-tuning）。這跟人的學(xué)習(xí)很像。在文理分科或從大學(xué)階段進(jìn)入研究生階段之前，學(xué)生接受的都是通識(shí)性的預(yù)訓(xùn)練，而文理分科或者選擇特定研究領(lǐng)域之后，學(xué)習(xí)就進(jìn)入精調(diào)階段，如果繼續(xù)讀博士或成為博士后，精調(diào)程度就更高。

以O(shè)penAI為例，其面向大眾發(fā)布的GPT-3.5（ChatGPT所基于的模型）就是一種只完成了預(yù)訓(xùn)練的模型，只不過(guò)它在預(yù)訓(xùn)練階段接受了更好的通識(shí)教育，因此比Google、百度、阿里巴巴等所有其他公司發(fā)布的模型（也都是預(yù)訓(xùn)練模型）更有通識(shí)性的知識(shí)和推理能力。普通用戶用這種有通識(shí)知識(shí)、能推理的預(yù)訓(xùn)練模型就差不多夠了，但對(duì)于企業(yè)客戶來(lái)說(shuō)這樣不夠。所以當(dāng)OpenAI想要將GPT-3.5銷售給各個(gè)行業(yè)的公司時(shí)—比如金融領(lǐng)域、法律領(lǐng)域、醫(yī)療領(lǐng)域的企業(yè)—還需要加入各領(lǐng)域的專業(yè)數(shù)據(jù)再次訓(xùn)練。

RLHF這個(gè)詞很長(zhǎng)，但意思很簡(jiǎn)單，就是人工智能公司會(huì)通過(guò)招募成千上萬(wàn)個(gè)人類訓(xùn)練師，對(duì)AI生成的答案做“品質(zhì)”排序，保證那些高質(zhì)量的、符合人類價(jià)值觀的答案獲得更高排名，有更大可能性被再次生成，而那些不符合人類價(jià)值觀的答案會(huì)被排在后面，越來(lái)越不可能被再次生成。

執(zhí)行這個(gè)過(guò)程的目的是“對(duì)齊”（Alignment）。這個(gè)排序過(guò)程被認(rèn)為有利于提高模型智能水平，并防止AI毀滅人類。2023年11月發(fā)生在OpenAI的那場(chǎng)CEO罷免風(fēng)波中，對(duì)CEO山姆·阿爾特曼（Sam Altman）投出反對(duì)票的公司首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever），就是AI對(duì)齊的信仰者，并且，他追求的是“超級(jí)對(duì)齊”。

在判定式AI時(shí)代，人工智能中的人工主要花在了數(shù)據(jù)標(biāo)注上，到了生成式AI時(shí)代，數(shù)據(jù)不再需要標(biāo)注，但人工并沒有少，都花在了RLHF上，而且需要的是博士級(jí)別的高學(xué)歷人工。

一種信息類型屬于一種模態(tài)（Modal），語(yǔ)言、圖像、語(yǔ)音、視頻……分別是一種模態(tài)。一個(gè)模型（即一個(gè)神經(jīng)網(wǎng)絡(luò)）如果只能根據(jù)文字要求生成另一段文字，或者只能從文生圖、從文生語(yǔ)音或視頻，我們就說(shuō)它是單模態(tài)的模型；如果一個(gè)模型既可以生成文字，也可以生成代碼、圖像、語(yǔ)音、視頻……我們就說(shuō)它是個(gè)多模態(tài)模型。

不過(guò)，Google發(fā)布多模態(tài)模型Gemini后，又提出了一個(gè)“原生”多模態(tài)的概念，意思是GPT-4那樣的模型是一種拼湊出的多模態(tài)，即雖然在輸出時(shí)是多模態(tài)的，在執(zhí)行生成任務(wù)時(shí)，它實(shí)際將任務(wù)分配給了文生文模型GPT、文生圖模型DALL·E、語(yǔ)音轉(zhuǎn)文本模型Whisper等多個(gè)模型來(lái)完成……嗯，在一個(gè)行業(yè)的發(fā)展初期，爭(zhēng)奪概念的定義權(quán)就是爭(zhēng)奪話語(yǔ)權(quán)。

這個(gè)概念與前面的大語(yǔ)言模型（LLMs）相關(guān)。業(yè)內(nèi)普遍認(rèn)為，用大量自然語(yǔ)言的語(yǔ)料（比如人類寫過(guò)的各類文章、聊天記錄、發(fā)表過(guò)的論文）訓(xùn)練出來(lái)的語(yǔ)言模型具有對(duì)于世界的通識(shí)，同時(shí)也具有推理能力，并且模型越大，知識(shí)和推理能力都越好。

因此部分業(yè)內(nèi)人士開始認(rèn)為，就像一座房子的地基一樣，要想實(shí)現(xiàn)通用人工智能（AGI），或者想讓一個(gè)模型具有解決各種細(xì)分領(lǐng)域問題的專業(yè)能力，都需要首先訓(xùn)練出一個(gè)夠好的語(yǔ)言模型，然后在這個(gè)基礎(chǔ)上做加法。大語(yǔ)言模型應(yīng)該被視為處理一切問題的基礎(chǔ)模型。

隨著技術(shù)發(fā)展，人們又發(fā)現(xiàn)當(dāng)一個(gè)語(yǔ)言模型學(xué)習(xí)了圖片，它會(huì)變得更加智能，就像GPT-4加入了圖像訓(xùn)練后，其推理能力相較于只學(xué)習(xí)了語(yǔ)言的GPT-3.5更強(qiáng)了。因此，像GPT-4這樣經(jīng)過(guò)了多模態(tài)學(xué)習(xí)（不只是語(yǔ)言學(xué)習(xí)）的模型，也正在被視為一種基礎(chǔ)模 型。

與基礎(chǔ)模型相對(duì)應(yīng)的是行業(yè)模型，華為將這兩個(gè)概念分別稱為L(zhǎng)0層模型和L1層模型，意思是后者基于前者，這種關(guān)系類似于預(yù)訓(xùn)練和精調(diào)的區(qū)別。

不過(guò)，有時(shí)候行業(yè)模型（L1）并不需要基于基礎(chǔ)模型（L0）的預(yù)訓(xùn)練，就可以獨(dú)立訓(xùn)練出來(lái)，比如DeepMind的蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)模型AlphaFold系列，其學(xué)習(xí)的所有數(shù)據(jù)都是與蛋白質(zhì)分子和結(jié)構(gòu)相關(guān)的數(shù)據(jù)，之前從來(lái)沒有學(xué)習(xí)過(guò)人類的聊天、論文或者會(huì)議報(bào)告。

基于Transformer的文生圖模型。由Stability和Runway兩家公司的創(chuàng)始團(tuán)隊(duì)共同開發(fā)，最終被Stability AI在2021年10月開源。其能力是學(xué)習(xí)文本數(shù)據(jù)和圖像數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，然后在生成階段根據(jù)用戶提出的文本要求，將對(duì)應(yīng)的圖像還原出來(lái)。

圖靈測(cè)試曾經(jīng)是人工智能是否達(dá)到人類水平—即通用人工智能—的標(biāo)準(zhǔn)，但這一標(biāo)準(zhǔn)在ChatGPT誕生之后顯然已過(guò)時(shí)。人類需要找到一個(gè)新的標(biāo)準(zhǔn)來(lái)定義什么樣的人工智能才是通用。

目前尚未有統(tǒng)一標(biāo)準(zhǔn)。有人認(rèn)為達(dá)到類人或超人水平的AGI需要有意識(shí)和自我，但迄今學(xué)界并未清晰定義過(guò)究竟什么才是意識(shí)，更不知道如何構(gòu)建意識(shí)；也有人認(rèn)為即使沒有意識(shí)，AI也可以作出一些沒有學(xué)習(xí)過(guò)的決策，就像AlphaGo下出人類棋手從未見過(guò)的“第37步棋”一樣。讓一些人開始擔(dān)心AI或?qū)⑹Э氐?，正是這種不可預(yù)測(cè)性。

位于模型前端、可以與用戶交互的界面，就叫Chatbot，Siri、天貓精靈、小愛同學(xué)、小度、ChatGPT、文心一言等都是這樣的聊天機(jī)器人。

一種加載了AI大腦的數(shù)字形象。用你的聲音和外形，再加上用你的日記、論文、聊天記錄訓(xùn)練出來(lái)的AI，就可以創(chuàng)造一個(gè)代表你的數(shù)字人了。區(qū)別在于，有些數(shù)字人背后的模型是生成式的，有些不是，因此不同數(shù)字人的智能水平并不一樣。

研究機(jī)器人與環(huán)境交互的學(xué)問。這一概念與AI的關(guān)系相當(dāng)于身體與大腦的關(guān)系。當(dāng)AI越來(lái)越聰明，讓AI有個(gè)身體，讓它可以在三維空間、真實(shí)世界中行走，它與人類協(xié)作并創(chuàng)造經(jīng)濟(jì)價(jià)值就會(huì)成為一種可能。在電腦中訓(xùn)練的AI本身并不具有與三維世界交互的能力，它不能感知周圍環(huán)境，不知道什么是重力，什么是觸覺，或者碰到障礙物要如何應(yīng)對(duì)。因此，賦予AI一具身體后，更具挑戰(zhàn)的訓(xùn)練和學(xué)習(xí)才剛開始。這一結(jié)合也被認(rèn)為是實(shí)現(xiàn)AGI的必經(jīng)之路。

如果你學(xué)過(guò)哲學(xué)，可能會(huì)知道這個(gè)概念。在哲學(xué)中，它指的是“能動(dòng)者”，像人這樣具有主觀能動(dòng)性的動(dòng)物，就是一種能動(dòng)者、智能體。在人工智能領(lǐng)域，不是所有的AI都可以被稱為智能體，就像不是所有AI都可以被稱作AGI。在人工智能領(lǐng)域，這3個(gè)概念之間存在智能程度的差別，智能體的智能水平介于普通AI和AGI之間，其主要標(biāo)志是能夠拆解任務(wù)、做規(guī)劃并根據(jù)規(guī)劃執(zhí)行行動(dòng)。

比如一個(gè)會(huì)訂機(jī)票的AI就可以被稱為一個(gè)智能體，即它在獲得用戶需求后，能夠?qū)⑦@個(gè)任務(wù)拆解為尋找訂票網(wǎng)站或者航空公司、查找相應(yīng)時(shí)段和價(jià)格、詢問用戶詳細(xì)需求和是否選定某一航班、點(diǎn)擊下單、填寫信用卡信息等一系列步驟，并在完成這些子任務(wù)的過(guò)程中適時(shí)與人交互，保證結(jié)果的正確性。

目前市面上的大部分AI都不具備完成這種復(fù)雜任務(wù)所需的推理能力，就連GPT-4也只能嘗試部分場(chǎng)景。

指智能體在大腦、神經(jīng)網(wǎng)絡(luò)中構(gòu)建的外部世界的復(fù)制品。很多動(dòng)物都能在大腦中構(gòu)建世界模型，人類尤其擅長(zhǎng)，而且還會(huì)形成更為抽象的“世界觀”之類的東西。這種東西的好處對(duì)人和對(duì)AI是一樣的，即它可以指導(dǎo)行動(dòng)。世界觀不同的人作出的決策水平不同，AI同樣如此。

不過(guò)，和那些足夠聰明的AI是否有意識(shí)的問題類似，AI是否有世界模型也是一個(gè)時(shí)髦問題。有人認(rèn)為一些AI（比如GPT-4）已經(jīng)有了這種能力。也有人認(rèn)為需要建立一個(gè)獨(dú)立模塊來(lái)讓AI獲得這種能力，深度學(xué)習(xí)三巨頭之一的楊立昆和文生視頻公司Runway都在想方設(shè)法開發(fā)世界模型的算法。