人工智能時代電影后期制作的變革與反思

文/陳坤

人工智能（Artificial Intelligence，簡稱AI）是第四次工業(yè)革命的核心驅(qū)動力，已滲透到各行各業(yè)，人類進(jìn)入人工智能時代。AI技術(shù)已經(jīng)得到世界各國的高度重視，并成為新一輪國際競爭的焦點。我國更是制定了《新一代人工智能發(fā)展規(guī)劃》，提出要“牢牢把握人工智能發(fā)展的重大歷史機遇”，將發(fā)展AI上升為國家戰(zhàn)略。在這樣的背景下，AI技術(shù)無疑也將對電影產(chǎn)業(yè)產(chǎn)生深遠(yuǎn)影響，并成為電影后期制作發(fā)展的重要引擎。

一、變革：電影后期制作的智能化

電影后期制作的成本高、周期長，存在大量重復(fù)性工作，成為制約電影產(chǎn)業(yè)發(fā)展的瓶頸，迫切需要AI賦能。隨著AI圖像與聲音識別技術(shù)的成熟，AI介入電影后期制作成為可能。電影后期制作主要包括剪輯、特效制作與配音等環(huán)節(jié)，以下具體論述這些環(huán)節(jié)的智能化變革。

剪輯經(jīng)歷了從膠片時代的機械剪輯到數(shù)字化時代的非線性剪輯，現(xiàn)正進(jìn)入智能化剪輯時代。如21世紀(jì)?？怂古cIBM合作，用AI系統(tǒng)剪輯出了恐怖片《摩根》的預(yù)告片。該AI系統(tǒng)在學(xué)習(xí)了百余部恐怖電影基礎(chǔ)上，分析這些電影的場景、對話與視覺變化等，根據(jù)腳本剪輯出了預(yù)告片。

對元素的排列組合是AI的強項。AI能對不同鏡頭進(jìn)行組合，生成多種方案供人選擇。在圖像識別技術(shù)的基礎(chǔ)上，AI可以學(xué)習(xí)以往經(jīng)典電影中的剪輯技術(shù)，運用計量電影學(xué)的方法逐幀分析，根據(jù)規(guī)律按圖索驥。剪輯前需要對前期拍攝的鏡頭素材進(jìn)行篩選，工作量巨大，特別是多機位拍攝會產(chǎn)生海量鏡頭，很難通過人力去逐個回看及篩選，部分精彩鏡頭易被錯過。所以說素材管理是剪輯工作的難點與痛點。AI則能對海量素材進(jìn)行標(biāo)記、分類與排序，統(tǒng)計和分析每個鏡頭，進(jìn)行批量化管理。AI剪輯系統(tǒng)根據(jù)文字劇本與分鏡頭腳本來初步篩選鏡頭，快速選擇目標(biāo)鏡頭，并進(jìn)行有意義的排列、組合，完成初剪；剪輯人員拿到初剪后的視頻，可以通過修改文字劇本，實時修改初剪后的視頻。AI幫助人類將大部分時間和精力用于精剪，使人有更多時間去思考、理解電影的情感與意義，從而讓剪輯更有溫度。目前AI更多被用于電影預(yù)告片、集錦與花絮的剪輯。針對不同國家的文化，剪輯多個版本的預(yù)告片，或面向觀眾的個性化需求，剪輯出“千人千面”的預(yù)告片，或把電影剪輯為各類短視頻，通過推薦算法推送給目標(biāo)觀眾，助力電影的精準(zhǔn)傳播。AI能夠提高電影素材的利用率，促進(jìn)個性化剪輯的發(fā)展。AI剪輯系統(tǒng)亦可配合管理部門對電影內(nèi)容進(jìn)行審查與分級，特別是引進(jìn)國外電影時，根據(jù)國家相關(guān)法規(guī)高效地刪剪不合規(guī)的鏡頭。

傳統(tǒng)電影在特效上需要大量人力投入，工作量巨大，加上制作周期長及專業(yè)人才匱乏，導(dǎo)致不少國際知名的電影特效公司也難逃破產(chǎn)厄運。因此國內(nèi)外都在探索用AI來賦能特效制作。目前，被運用于特效制作的代表性AI算法有卷積神經(jīng)網(wǎng)絡(luò)（CNN）、生成對抗網(wǎng)絡(luò)（GAN）與創(chuàng)意生成網(wǎng)絡(luò)（CAN）等。其中CNN擅長識別圖片的明度、純度與飽和度，根據(jù)圖像的特征進(jìn)行函數(shù)擬合及映射，可用于藝術(shù)風(fēng)格圖像生成。該算法先提取圖像的內(nèi)容和風(fēng)格，通過卷積層和池化層進(jìn)行風(fēng)格遷移，德國弗萊堡大學(xué)的團隊利用CNN提取了《星夜》等知名畫作的藝術(shù)風(fēng)格，將這些風(fēng)格遷移到電影《冰河時代》，把名畫的色彩、筆觸融入每個鏡頭，創(chuàng)作出有梵高等名畫家風(fēng)格的電影，為電影帶來全新的特效風(fēng)格。特效風(fēng)格越明顯的電影，理論上越容易被AI進(jìn)行學(xué)習(xí)與模仿。GAN則可被運用于提高視頻的分辨率，把標(biāo)清視頻變?yōu)槌咔宓囊曨l，對受損的單幀圖像進(jìn)行修復(fù)與增強，通過補幀、降噪及上色，恢復(fù)珍貴的黑白影像資料，或把經(jīng)典黑白電影以全彩、高清的模式展現(xiàn)給觀眾。修復(fù)被損壞的影像，需對每幀圖像進(jìn)行處理，僅靠人工難以完成。GAN還能用于修復(fù)被遮擋的圖像，新冠肺炎疫情期間，先讓演員戴口罩拍攝，后期通過GAN去除口罩，有利于降低演員感染新冠肺炎病毒的風(fēng)險。CAN是在GAN的基礎(chǔ)上，對損失函數(shù)進(jìn)行修改而產(chǎn)生的有一定創(chuàng)作能力的算法，CAN能模擬人類創(chuàng)作中的隨機性，產(chǎn)生更具藝術(shù)感的特效，讓AI擁有一定創(chuàng)作能力，不再是復(fù)制的機器，生成千變?nèi)f化的圖像，形成似與不似之間的技術(shù)美學(xué)，可應(yīng)用于制作奇幻風(fēng)格的場景，為奇觀電影的特效制作開辟了新天地。

隨著語音識別與自然語言處理技術(shù)的發(fā)展，AI賦能電影后期配音已經(jīng)成為現(xiàn)實，只要有足夠的聲音數(shù)據(jù)，便可讓AI模仿演員的聲音進(jìn)行配音，讓已逝明星的聲音數(shù)據(jù)被再次利用，實現(xiàn)“智能化永生”。AI配音主要分為兩個階段，第一階段的主要任務(wù)是制作語音庫，首先要確定使用場景、音色與風(fēng)格，再找演員試音，根據(jù)需求設(shè)計試音文本，檢測配音演員是否合適做語音庫，然后進(jìn)行模型訓(xùn)練及優(yōu)化。此階段除了找演員配音，還可以通過AI技術(shù)分析現(xiàn)有影視作品中的聲音數(shù)據(jù)，運用聲紋識別技術(shù)分辨說話人的聲音，分離音軌，提取已有的錄音，以豐富語音庫及訓(xùn)練AI模型。第二階段需進(jìn)行語音合成，首先要輸入文本，再進(jìn)行詞的切分、語法與語義分析，模擬人類去理解自然語言，讓AI明白文本的意義，并給予發(fā)音提示，然后進(jìn)行韻律處理，根據(jù)不同場景來分析聲音的頻率、振幅，模擬音高、音長的細(xì)節(jié)特征，使合成的聲音更自然，最后輸出語音，把文本轉(zhuǎn)換為語音。AI配音比真人配音更方便進(jìn)行后期編輯，讓配音有更多可能性，同一段聲音可以編輯為不同年齡、不同性別的聲音，甚至能在不同語種之間快速轉(zhuǎn)換，特別是對小語種的配音有獨特價值，有助于解決小語種配音演員匱乏的難題，還有利于實現(xiàn)同一國家內(nèi)不同方言的配音，促進(jìn)方言與電影的深度融合，讓電影的配音更加個性化。AI不僅能用于角色的配音，還可以用于環(huán)境的配音。一方面，AI在真實環(huán)境中收集雷聲、雨聲、風(fēng)聲與鳥鳴聲等，并對環(huán)境聲進(jìn)行疊加，增強聲音的層次感；另一方面，從已有的影音作品中提取環(huán)境聲來制作數(shù)據(jù)庫，進(jìn)行深度學(xué)習(xí)，然后針對不同場景進(jìn)行合成，實現(xiàn)精準(zhǔn)配音。但是AI配音中情感計算仍是難點，情感表達(dá)仍存在不足，目前主要被用于情感變化相對較小的紀(jì)錄片，而在情緒變化大的劇情片中難以代替人類，對AI配音的情感探索將是電影技術(shù)美學(xué)研究的重要課題。

二、反思：電影后期制作面臨的相關(guān)挑戰(zhàn)

AI在賦能電影后期制作的同時，也存在潛在的風(fēng)險，對倫理、人才培養(yǎng)與人機關(guān)系等帶來多重挑戰(zhàn)，需要我們進(jìn)行相關(guān)反思。

AI時代是算法為王的時代，算法被稱為“黑匣子”，當(dāng)算法成為一種隱性的權(quán)力，種族和性別等歧視可能會悄然滲入，出現(xiàn)算法偏見、算法霸權(quán)等問題，難以保障算法的公平性與透明性，會對倫理帶來挑戰(zhàn)。在電影后期制作流程中，算法無處不在，如果圖像識別算法、剪輯算法、內(nèi)容篩選與推薦算法中存在對性別或種族的歧視，將導(dǎo)致電影出現(xiàn)倫理問題。目前的深度學(xué)習(xí)是依靠數(shù)據(jù)驅(qū)動，數(shù)據(jù)是核心的生產(chǎn)資料，可能導(dǎo)致過度收集數(shù)據(jù)、違法使用數(shù)據(jù)的問題，加劇了數(shù)據(jù)挖掘與隱私保護之間的矛盾。大型影視公司比中小型影視公司擁有更多數(shù)據(jù)，需要防止大公司壟斷某些電影明星的肖像與聲音數(shù)據(jù)，加劇數(shù)據(jù)資產(chǎn)的貧富懸殊，破壞市場秩序，影響電影產(chǎn)業(yè)的生態(tài)環(huán)境。為了防止數(shù)據(jù)壟斷，電影管理部門可建立大數(shù)據(jù)平臺，匯聚影視數(shù)據(jù)，把控數(shù)據(jù)的質(zhì)量，運用數(shù)據(jù)增廣技術(shù)，讓數(shù)據(jù)發(fā)揮更大價值，并對數(shù)據(jù)的使用進(jìn)行監(jiān)管及適度共享。當(dāng)AI換臉與換聲的門檻被降低，明星的肖像與聲音被反復(fù)使用，會帶來濫用個人數(shù)據(jù)的風(fēng)險。DeepFakes與ZAO催生的深度偽造引起了廣泛爭議，被指打開了“潘多拉魔盒”，造成對隱私的侵犯。這使我們要反思濫用數(shù)據(jù)帶來的倫理問題，重視對隱私權(quán)的保護，加強電影領(lǐng)域的相關(guān)立法，防止違規(guī)使用明星的肖像與聲音數(shù)據(jù)，特別要警惕在限制類電影中的濫用，保持工具理性。AI技術(shù)倫理是人機相處的道德準(zhǔn)則，如同控制AI這匹駿馬的韁繩，目前人類防范AI倫理問題的能力還較弱，缺乏在電影制作領(lǐng)域建立相關(guān)倫理框架，建議成立電影制作領(lǐng)域的AI技術(shù)倫理委員會，對電影數(shù)據(jù)與算法進(jìn)行審查與監(jiān)管，進(jìn)一步提高從業(yè)者的倫理素養(yǎng)，倡導(dǎo)科技向善、以人為本的價值觀，電影后期制作中的數(shù)據(jù)與算法倫理研究將成為重要課題。

AI時代，電影后期制作人員面臨前所未有的挑戰(zhàn)，對從業(yè)者的素質(zhì)提出了新的要求，部分從業(yè)者面臨技術(shù)性失業(yè)的危機。AI帶來的變革，不僅是技術(shù)的變革，更是思維方式的變革。AI對傳統(tǒng)的電影教育帶來了挑戰(zhàn)，筆者調(diào)研發(fā)現(xiàn)國內(nèi)不少高校的影視后期制作課的主要內(nèi)容仍是學(xué)習(xí)傳統(tǒng)的制作軟件，與十年前的課程內(nèi)容相差甚微，缺乏學(xué)習(xí)與AI有關(guān)的內(nèi)容，對AI的重視程度不夠，建議開設(shè)AI通識課程，學(xué)習(xí)編程語言，提高與機器合作的能力。傳統(tǒng)電影后期制作人員很多是藝術(shù)類專業(yè)的畢業(yè)生，未來則需要更多科技人才加入電影行業(yè)，促進(jìn)跨學(xué)科的合作。弱人工智能時代，AI在跨界融合方面尚存在不足，人類更需要培養(yǎng)跨界融合的能力。筆者采訪了北京電影學(xué)院陳山教授，他認(rèn)為：“電影類專業(yè)的學(xué)生迫切需要提高科學(xué)技術(shù)素養(yǎng)，國內(nèi)的電影教育對新技術(shù)的重視程度仍不夠?！泵鎸I的挑戰(zhàn)，電影類專業(yè)的師生都需要轉(zhuǎn)變觀念，培養(yǎng)“AI+”思維，包括大數(shù)據(jù)思維與算法思維，提升AI素養(yǎng)。目前，電影后期制作行業(yè)非常缺少電影數(shù)據(jù)標(biāo)注與挖掘人員，電影圖像標(biāo)注、語音標(biāo)注與挖掘都需要同時學(xué)習(xí)電影知識與AI知識，市場缺乏這類復(fù)合型人才，未來電影后期需要更多理工科背景的人才加入，進(jìn)行跨界合作。在新文科、新工科教育改革的背景下，面向未來培養(yǎng)具有AI素養(yǎng)、有跨學(xué)科能力的電影人才勢在必行。

海德格爾認(rèn)為技術(shù)“把人連根拔起”，霍金更是告誡人們要警惕AI終結(jié)人類文明。AI帶來的挑戰(zhàn)啟迪我們要重新思考人機關(guān)系，AI時代的人機關(guān)系不應(yīng)是彼此取代的關(guān)系，而應(yīng)是你中有我、我中有你的關(guān)系，在人機協(xié)同的基礎(chǔ)上構(gòu)建新型人機關(guān)系，共同構(gòu)建電影后期制作的生態(tài)系統(tǒng)。機器可以成為人類的合作伙伴，減輕人類的負(fù)擔(dān)，幫助人類更好地發(fā)揮自身的優(yōu)勢，延伸并增強人的智能，但是也要清醒地認(rèn)識到“機器代人”與“無人化”的風(fēng)險與挑戰(zhàn)。馬斯克曾大力推廣AI的運用，打造“無人工廠”，但隨著生產(chǎn)的不斷滯后，導(dǎo)致特斯拉陷入困境，后來他發(fā)文承認(rèn)過度自動化是個錯誤，使得人類的價值被低估。尤瓦爾·赫拉利認(rèn)為技術(shù)用溫水煮青蛙的方式，讓多數(shù)人淪為“無用階層”，他提醒人類不要過度依賴AI，更不能貶低人類的智能，倘若人類放棄自我的陣地，將會面臨退化的風(fēng)險。我們也要充分認(rèn)識到AI的局限性，AI需要人類給予明確的框架，所以要突出人的核心價值，堅持“以人為本”。斯坦福大學(xué)李飛飛與約翰·埃齊門第教授建立了“以人為本”AI研究院，倡導(dǎo)AI為人類帶來福祉，不是取代人類。我們還需反思人類區(qū)別于機器的特質(zhì)，AI時代人類所從事的工作應(yīng)有別于機器。電影是供人類品味的精神產(chǎn)品，終究需要人類為其注入靈魂。根據(jù)塞爾中文房間實驗的啟示，AI難以真正理解電影的情感與價值觀，故事與情感依然是電影的核心，人類獨特的情感、價值觀、工匠精神與創(chuàng)造能力是難以被AI替代的。電影后期制作中特效、剪輯與配音還需要帶給觀眾美的體驗，這離不開制作人員的美學(xué)修養(yǎng)與審美判斷。

三、結(jié)語

AI正成為電影工業(yè)發(fā)展的新引擎，引發(fā)一場新的電影技術(shù)革命，智能化將成為電影后期制作的新常態(tài)，催生新的視聽語言、美學(xué)標(biāo)準(zhǔn)與傳播方式。計量電影學(xué)的發(fā)展，將進(jìn)一步推動AI在電影后期制作中的應(yīng)用，AI換聲、換臉之于電影后期制作利大于弊，人類將有更多時間聚焦電影的藝術(shù)創(chuàng)作部分，電影的藝術(shù)性與精神性會進(jìn)一步得到彰顯。我國的AI技術(shù)目前處于國際領(lǐng)先地位，同時我國擁有數(shù)據(jù)優(yōu)勢，有利于訓(xùn)練AI模型。數(shù)據(jù)與算法正成為我國電影業(yè)的寶貴資產(chǎn)，AI為中國電影提供了前所未有的機遇，將進(jìn)一步完善我國的電影工業(yè)體系。我國需高度重視電影數(shù)據(jù)庫的建設(shè)，建立電影算力中心與電影算法平臺，縮短與世界發(fā)達(dá)國家的差距，助力中國由電影大國向電影強國邁進(jìn)。