Runway：把視頻生成出來

吳洋洋

Runway創(chuàng)始人Cristóbal Valenzuela。

2023年4月，Twitter（現(xiàn)已改名為X）上出現(xiàn)了一個轟動性的廣告。配合富有動感韻律的背景音樂，一個中年男性聲音在向人們推銷名為“PepperoniHugSpot”的比薩店，賣點(diǎn)是芝士夠多，并且提供外賣服務(wù)。

整個廣告片長30秒，內(nèi)容沒什么新奇的，引人點(diǎn)擊的是制作方法。名為PizzaLater的Twitter用戶創(chuàng)作了這個視頻，所用工具從腳本到鏡頭、從旁白聲音到音樂，全是AI：餐廳的名字和廣告腳本都來自于GPT-4，包括那句“（這家店的比薩）像家人一樣，但有更多芝士”；視頻中的靜止幀來自于Midjourney，它負(fù)責(zé)生成了“有1980年代比薩店外觀、畫面有顆粒感”的照片；接著，他打開了文生視頻工具Gen-2，讓它根據(jù)腳本生成了30多個視頻片段，Later選擇了其中最好的16個片段用于最終剪輯；他還使用了另一項AI服務(wù)ElevenLabs，將GPT-4編寫的腳本輸入到一系列預(yù)設(shè)的AI聲音中，修改音調(diào)直到滿意為止；最后，他用Adobe的剪輯工具AfterEffects把以上所有AI生成的東西組裝到一起，一部完全由AI創(chuàng)作的廣告片就完成了。

這部廣告片在品質(zhì)上遠(yuǎn)稱不上優(yōu)秀，甚至有點(diǎn)怪異，畫面中顧客的下巴有時候會不受控地抽搐，還有顧客的嘴巴并不能真的把比薩吃進(jìn)去，反而會因進(jìn)食動作導(dǎo)致嘴巴本身變形。不過，數(shù)以萬計的人積極地想要觀看這部廣告，光是在Twitter上它就有35萬點(diǎn)擊，YouTube上的點(diǎn)擊則達(dá)到116萬，超過不少比薩品牌聘請大型廣告公司精心制作的作品。

整個廣告制作涉及文字生成、圖片生成、聲音生成和視頻生成，其中最難的是視頻。為上述廣告片生成視頻片段的AI工具Gen-2，來自于美國紐約的人工智能公司RunwayML（以下簡稱“Runway”）。

Runway公司的創(chuàng)立有點(diǎn)像好萊塢電影鼓吹的“美國夢”創(chuàng)業(yè)故事。

克里斯托瓦爾·瓦倫蘇埃拉（CristóbalValenzuela）在智利工作期間發(fā)現(xiàn)了美國新媒體藝術(shù)家金·高根（GeneKogan）關(guān)于神經(jīng)風(fēng)格遷移的工作成果，開始對神經(jīng)網(wǎng)絡(luò)產(chǎn)生興趣，而后辭掉工作，于2016年去紐約大學(xué)學(xué)習(xí)交互通訊（InteractiveTelecommunicationsProgram，ITP）課程。也就是在學(xué)習(xí)ITP課程期間，他遇到了智利人亞歷杭德羅·馬塔馬拉-奧爾蒂斯（AlejandroMatamala-Ortiz）、希臘人安娜斯塔西婭·杰曼尼蒂斯（AnastasisGermanidis），與他們組成了創(chuàng)業(yè)團(tuán)隊。

瓦倫蘇埃拉本身沒有技術(shù)背景，他本科學(xué)的是經(jīng)濟(jì)和商業(yè)管理，而后又獲得了設(shè)計專業(yè)的碩士學(xué)位，曾經(jīng)在智利圣地亞哥的阿道夫·伊瓦涅斯大學(xué)教授設(shè)計。

95a4fef22061de3419dbe919c3792a1d

相比之下，另兩位聯(lián)合創(chuàng)始人都在技術(shù)和產(chǎn)品領(lǐng)域有工作經(jīng)驗(yàn)。杰曼尼蒂斯曾經(jīng)在衛(wèi)斯理大學(xué)學(xué)習(xí)計算機(jī)科學(xué)，做過產(chǎn)品工程，還曾在IBM擔(dān)任計算機(jī)視覺研究員。奧爾蒂斯有產(chǎn)品設(shè)計和前端開發(fā)經(jīng)驗(yàn)，還在智利創(chuàng)立過牙醫(yī)在線預(yù)約平臺Deenty。

瓦倫蘇埃拉的創(chuàng)業(yè)項目來自于ITP項目的研究成果。在紐約大學(xué)學(xué)習(xí)期間，他花了兩年學(xué)習(xí)AI技術(shù)和知識，包括李飛飛的圖像數(shù)據(jù)庫ImageNET、卷積神經(jīng)網(wǎng)絡(luò)AlexNET。他嘗試著把圖像分割、圖像理解、視頻理解等模型集成到Photoshop和Premiere中，幫助用戶加快圖像的風(fēng)格化、著色或編輯工作，并將研究成果發(fā)在了Twitter上。很多藝術(shù)家和設(shè)計師都對呈現(xiàn)效果感興趣，也有人因?yàn)椴僮骱唵味敢鈬L試。這些與瓦倫蘇埃拉相似的創(chuàng)意人士，就是Runway最早期的用戶群體。

而當(dāng)他在紐約大學(xué)將Runway作為研究論文介紹時，現(xiàn)場的Adobe公司員工對他發(fā)出了工作邀請，這可以說是夢想中的工作：“我作為移民來到紐約兩年了，一家完美的、夢想中的公司，為你提供夢想的工作、簽證和完美的薪水—這就是夢想。”但他最終拒絕了Adobe公司，而是希望親手把Runway從研究項目變成商業(yè)公司。

Runway創(chuàng)業(yè)初期進(jìn)展迅速，瓦倫蘇埃拉著手創(chuàng)辦公司時，很多風(fēng)險投資機(jī)構(gòu)已經(jīng)表示意向，他們在4周內(nèi)就完成了早期融資。

不過，把研究項目轉(zhuǎn)變成創(chuàng)業(yè)公司的難度后續(xù)才開始顯現(xiàn)。

“2020年的A輪融資可以說是我們最艱難的一輪?！痹谟タ凸?jié)目《20VC》中，瓦倫蘇埃拉回憶公司的融資歷程時這樣說過。他向投資機(jī)構(gòu)兜售“構(gòu)建一個生成式AI公司”的想法，收獲的則是數(shù)百封拒信，當(dāng)時投資者們對于生成式AI不感興趣。

在此之前，Runway實(shí)際上是個模型社區(qū)，同時托管了自研及獨(dú)立開發(fā)者創(chuàng)建的數(shù)十個模型，能完成創(chuàng)意人士的多元需求，有些模型看上去甚至有點(diǎn)奇怪。例如，有個開發(fā)者用韓國流行樂隊防彈少年團(tuán)的歌詞訓(xùn)練，開發(fā)了一個特殊版本的GPT-2文本生成器。

用戶名為Pizza Later的作者用Runway為一家比薩店生成了30秒廣告。

模型社區(qū)的概念可能過于超前。在模型沒有相當(dāng)?shù)臄?shù)量、也沒有獲得終端用戶認(rèn)可之前，模型社區(qū)這種平臺模式的吸引力并不大。2023年，阿里云、亞馬遜、百度才陸續(xù)推出大模型平臺，發(fā)布時間基本都是在自研大模型發(fā)布之后。

A輪融資改變了Runway的戰(zhàn)略方向，讓它從開源創(chuàng)意模型社區(qū)轉(zhuǎn)向了“下一代創(chuàng)意工具包”，對標(biāo)對象也變成了圖像編輯公司Adobe。瓦倫蘇埃拉希望利用平臺上的模型和算法，在系統(tǒng)層面構(gòu)建接口，幫助終端用戶提升效率，產(chǎn)品開發(fā)則聚焦在影視創(chuàng)作。在融資新聞中，A輪領(lǐng)投方AmplifyPartners表示，“我們相信這將產(chǎn)生與相機(jī)一樣深遠(yuǎn)的影響?！碑?dāng)時的報道提到了Runway著手開發(fā)的視頻編輯工具綠幕（GreenScreen），它能幫助創(chuàng)意人士清除畫面中不需要的素材。

這種轉(zhuǎn)向受到了影視工業(yè)的歡迎。2022年的大熱電影《瞬息全宇宙》的視覺效果團(tuán)隊的視覺特效師埃文·哈勒克（EvanHalleck）找到瓦倫蘇埃拉尋找技術(shù)解決方案后，使用了包括GreenScreen在內(nèi)的AI工具。在電影中兩顆石頭對話的場景中，《瞬息全宇宙》在片場使用滑軌移動兩顆石頭，后期再使用GreenScreen擦除滑軌。

今天，Runway官網(wǎng)提供的工具聚焦影視創(chuàng)作，包括視頻生成與編輯、圖像生成與編輯、3D捕捉與貼圖等。

2022年10月，在開源模型托管服務(wù)平臺HuggingFace上，文生圖公司StabilityAI（以下簡稱“Stability”）與Runway發(fā)生了爭吵，Stability指責(zé)Runway公司發(fā)布文生圖產(chǎn)品StableDiffusion1.5版本屬于泄漏公司知識產(chǎn)權(quán)的行為，要求Runway刪除已經(jīng)發(fā)布的模型。在當(dāng)時的公眾認(rèn)知中，Stability公司是StableDiffusion的算法開發(fā)商，是當(dāng)時新興的AIGC明星公司，Runway則是個陌生得多的名字。StableDiffusion是如今大部分文生圖模型的基礎(chǔ)算法。

瓦倫蘇埃拉的回應(yīng)表明Runway才是StableDiffusion背后的主要開發(fā)者：2022年4月，Runway公司首席研究科學(xué)家帕特里克·埃瑟（PatrickEsser）與德國慕尼黑大學(xué)機(jī)器視覺與學(xué)習(xí)研究小組成員羅賓·羅姆巴赫（RobinRombach）（后加入Stability擔(dān)任研究團(tuán)隊負(fù)責(zé)人）合作開發(fā)了文生圖工具StableDiffusion的首個版本LatentDiffusion，Runway公司持續(xù)參與了版本迭代。Stability則在研發(fā)后期提供了計算資源與資金，將研究項目轉(zhuǎn)變成了商業(yè)產(chǎn)品。

這起爭議事件讓創(chuàng)立于2018年的Runway獲得了更多曝光。2023年6月底，Runway完成了Google、英偉達(dá)、Salesforce等公司投資的1.41億美元C+輪融資。彭博社爆料稱，C+輪融資已經(jīng)將這家初創(chuàng)公司的估值從5億美元推高到了15億美元。

也正是在與Stability發(fā)生矛盾之后，Runway的研究重心從圖像生成轉(zhuǎn)向視頻生成。

2023年2月，Runway發(fā)布第一代視頻生視頻模型Gen-1，1個月后，它又發(fā)布了二代模型Gen-2。兩代模型中，Gen-1允許用戶修改現(xiàn)有的視頻片段，比如將視頻轉(zhuǎn)換為從水彩畫到黏土化的任何內(nèi)容，而Gen-2可以將文本提示轉(zhuǎn)換為簡短的、由AI生成的移動剪輯。此外，兩者最大的差別就是生成時長，Gen-1能生成15秒的視頻，Gen-2生成時長延長到了18秒。

時長是文生視頻模型的最大挑戰(zhàn)之一。拆解了看，視頻只是一系列幀（靜止圖像）以某種方式組合在一起，給人一種運(yùn)動錯覺。然而，人眼經(jīng)過訓(xùn)練可以檢測出視頻幀中最細(xì)微的缺陷，因而模型生成視頻的結(jié)果需要足夠好，才能維持畫面的運(yùn)動錯覺，而文生視頻模型的核心，就在于需要理解每幀之間的關(guān)系和一致性。

生成時長的競爭仍在持續(xù)中，短時間內(nèi)，這項技術(shù)還無法取代拍攝，也無法撼動龐大的電影工業(yè)。不過，瓦倫蘇埃拉看中的是視頻生成的增長空間。2023年年初，他就堅信“2023年將是視頻年”。

這兩年，AI與視頻的結(jié)合也的確成為重要的細(xì)分市場。2022年9月，F(xiàn)acebook母公司Meta發(fā)布了視頻生成模型Make-A-Video，原理同樣是基于圖像生成。次月，Google接力推出了視頻生成模型ImagenVideo。但Meta和Google都沒有將模型推向市場。Google給出的理由是ImagenVideo可能由于訓(xùn)練數(shù)據(jù)中有問題的內(nèi)容而生成暴力或露骨的色情視頻。2023年1月，OpenAI創(chuàng)始人山姆·阿爾特曼（SamAltman）也披露了推出視頻模型的計劃，但沒有給出具體時間表。Adobe公司則在2023年3月推出了生成式AI引擎Firefly，并將它陸續(xù)加入旗下的音頻、圖像、視頻編輯工具中。

對于Runway而言，競爭對手不只是AI同行們，還有影視特效公司—它們已經(jīng)自己下場開發(fā)視頻生成模型了。2023年6月上映的《奪寶奇兵5：命運(yùn)轉(zhuǎn)盤》中，年輕版的印第安納·瓊斯實(shí)際上是通過工業(yè)光魔開發(fā)的技術(shù)實(shí)現(xiàn)的，而非由真人出演。工業(yè)光魔的視覺特效主管羅伯特·韋弗（RobertWeaver）表示，公司使用計算機(jī)匯集了哈里森·福特過去出演的印第安納·瓊斯系列電影，再通過開發(fā)的FaceSwap技術(shù)讓演員在電影中看起來年輕，并結(jié)合機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)影片片段。

當(dāng)影視行業(yè)大公司愿意自研視頻生成技術(shù)，它們購買Runway產(chǎn)品的意愿就可能隨之降低，這對于專注于影視領(lǐng)域的Runway不是個好消息?！陡２妓埂?022年年底援引信源消息稱，Runway的年化收入徘徊在100萬美元左右，這對于昂貴的模型訓(xùn)練和視頻生成是不夠的。