人工智能視頻生成平臺的安全隱患與應(yīng)對策略分析

摘要： 隨著人工智能技術(shù)的迅猛發(fā)展，AI視頻生成平臺如Sora、可靈AI和騰訊混元等不斷推陳出新，實(shí)現(xiàn)了4K高清短片與多樣化風(fēng)格的創(chuàng)作，顯著促進(jìn)了視頻創(chuàng)作領(lǐng)域的創(chuàng)新與效率提升。但伴隨生成式人工智能內(nèi)容門檻的不斷降低，網(wǎng)絡(luò)空間治理和網(wǎng)絡(luò)安全迎來更多挑戰(zhàn)，需要堅(jiān)持問題導(dǎo)向，破解人工智能生成合成內(nèi)容新風(fēng)險(xiǎn)。

關(guān)鍵詞：人工智能 AI視頻 法規(guī) 安全 風(fēng)險(xiǎn) 策略

一、人工智能視頻生成平臺的技術(shù)邏輯與安全隱患

（一）平臺概況與技術(shù)邏輯

當(dāng)前，國內(nèi)外主流人工智能視頻生成平臺仍保持迅猛態(tài)勢。包括SORA、可靈AI、海螺AI、Runway、2024年騰訊混元等平臺快速發(fā)展。在國外，OpenAI于12月推出Sora Turbo，可生成最高1080p分辨率、最長20秒視頻，并配備了故事板工具，允許用戶根據(jù)個人需求定制內(nèi)容。DeepMind于2024年12月發(fā)布視頻生成模型“Veo 2”，可生成最大分辨率4K的視頻，并可以特定鏡頭和角度設(shè)計(jì)鏡頭畫面。在國內(nèi)，快手可靈AI于2024年12月升級至1.6版，提升了畫面美感并增強(qiáng)了鏡頭控制功能。MiniMax推出海螺AI，支持超寫實(shí)、東方、二次元、科幻等多種風(fēng)格的視頻生成。阿里通義萬相、騰訊混元文生視頻平臺也分別于2024年9月和12月發(fā)布。這些人工智能文生視頻模型平臺的不斷進(jìn)步，正在推動人工智能視頻創(chuàng)作技術(shù)的飛速發(fā)展。

上述人工智能生成視頻平臺的底層技術(shù)邏輯主要依賴于深度學(xué)習(xí)的生成模型，將圖像生成技術(shù)擴(kuò)展至視頻生成。首先，平臺核心技術(shù)基于深度神經(jīng)網(wǎng)絡(luò)模型，通常采用Transformer、生成對抗網(wǎng)絡(luò)（GAN）或擴(kuò)散模型等先進(jìn)架構(gòu)，通過對海量的視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)場景構(gòu)圖、物體形狀、動作時序和視覺風(fēng)格等要素的映射關(guān)系。其中擴(kuò)散模型在圖像生成領(lǐng)域取得顯著進(jìn)展，成為視頻生成領(lǐng)域主流發(fā)展方向。擴(kuò)散模型通過逆向擴(kuò)散的過程，將隨機(jī)噪聲轉(zhuǎn)化為清晰的圖像或視頻幀，且在視頻生成過程中，必須保證多幀之間的時序一致性，通常通過時序注意力機(jī)制或3D卷積來實(shí)現(xiàn)。

其次，在技術(shù)實(shí)現(xiàn)上，Transformer架構(gòu)與自回歸生成方法在視頻生成中也發(fā)揮了重要作用。視頻生成模型通過序列建模生成每一幀或多個連續(xù)幀的潛在表示，并最終將其解碼為可見的視頻幀。許多平臺采用編碼器-解碼器或純解碼器架構(gòu)，將文本嵌入作為條件，逐幀生成視頻，再通過圖像解碼器重建完整的視頻序列。

最后，為了提高生成質(zhì)量和穩(wěn)定性，平臺通常采用多階段生成、風(fēng)格遷移和特效融合技術(shù)，將初始生成的低分辨率視頻通過超分辨率模型進(jìn)行清晰化處理，進(jìn)一步提升視頻的視覺效果，以滿足用戶的定制化需求。

（二）人工智能視頻生成技術(shù)平臺的主要安全隱患

當(dāng)前人工智能視頻生成平臺在技術(shù)邏輯上實(shí)現(xiàn)了從圖像到視頻、從靜態(tài)到動態(tài)的生成模式進(jìn)化。廣電行業(yè)積極運(yùn)用AIGC技術(shù)，涵蓋了視頻采集、制作、傳播、審核等環(huán)節(jié)，但虛假信息傳播、隱私侵犯、版權(quán)糾紛、技術(shù)漏洞等各類安全隱患與監(jiān)管難題也隨之而來。

一是虛假信息和誤導(dǎo)性內(nèi)容。深度偽造技術(shù)可以輕易將名人或者普通人的面孔合成到特定的場景中，從而制造出看似真實(shí)的虛假視頻，用于經(jīng)濟(jì)詐騙或敲詐勒索等非法活動。此外，生成的視頻還可能被用來偽造新聞事件，誤導(dǎo)公眾輿論，甚至干預(yù)選舉等重大社會事件。這類虛假視頻一旦廣泛傳播，將對社會秩序和公眾信任造成嚴(yán)重?fù)p害。

二是隱私與肖像權(quán)侵犯。平臺用戶上傳的圖像或視頻素材可能被不法分子惡意利用，生成目標(biāo)人物的虛假視頻，侵犯個人的肖像權(quán)和隱私權(quán)。例如，通過將某人無意入鏡的視頻合成到虛假視頻中，可能會導(dǎo)致該人物的私人生活暴露，或成為非法活動的犧牲品。

三是版權(quán)和知識產(chǎn)權(quán)的風(fēng)險(xiǎn)。AI生成視頻往往會利用大規(guī)模的訓(xùn)練數(shù)據(jù)，其中可能包含受版權(quán)保護(hù)的素材。若生成的視頻未經(jīng)過授權(quán)就進(jìn)行使用，可能會引發(fā)版權(quán)糾紛。同樣，生成包含他人品牌或商標(biāo)的虛假廣告或宣傳視頻，可能導(dǎo)致品牌方的商譽(yù)損害，并構(gòu)成侵權(quán)。

四是技術(shù)漏洞和惡意攻擊。黑客攻擊可能導(dǎo)致平臺上的用戶數(shù)據(jù)、視頻內(nèi)容或個人信息泄露，造成嚴(yán)重的數(shù)據(jù)安全事件。針對生成模型的對抗性攻擊也可能導(dǎo)致平臺生成違禁內(nèi)容，或使得現(xiàn)有過濾機(jī)制失效，從而影響平臺的內(nèi)容安全。

五是跨國業(yè)務(wù)的監(jiān)管和法律風(fēng)險(xiǎn)同樣不可忽視。各國在人工智能生成視頻的監(jiān)管上存在差異，平臺在全球范圍內(nèi)運(yùn)營時可能面臨法律空白或法規(guī)沖突的問題，尤其是內(nèi)容責(zé)任認(rèn)定方面，如何界定平臺、用戶和開發(fā)者的責(zé)任，仍然是一個復(fù)雜的法律問題。

二、法律法規(guī)與平臺自律規(guī)范相結(jié)合的治理體系及存在問題

（一）法律法規(guī)和平臺自律并行并重的規(guī)制體系

近年來，我國先后頒布多項(xiàng)法律法規(guī)，包括技術(shù)研發(fā)、數(shù)據(jù)合規(guī)、內(nèi)容標(biāo)識到網(wǎng)絡(luò)生態(tài)治理多個層面，為我國人工智能產(chǎn)業(yè)的健康發(fā)展奠定了更完善的法律與監(jiān)管基礎(chǔ)。

2023年8月15日施行的《生成式人工智能服務(wù)管理暫行辦法》確立了生成式AI服務(wù)的基本準(zhǔn)則和安全合規(guī)要求；2024年8月1日生效的《網(wǎng)絡(luò)暴力信息治理規(guī)定》聚焦網(wǎng)絡(luò)暴力信息的防控與處置；2024年9月公布的《人工智能生成合成內(nèi)容標(biāo)識辦法（征求意見稿）》及配套國家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標(biāo)識方法》，全方位、多層次地規(guī)范人工智能內(nèi)容標(biāo)識要求和方法；2024年10月發(fā)布的《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例》強(qiáng)化了對個人信息、重要數(shù)據(jù)的管理，我國人工智能治理制度加快完善。

上述法律法規(guī)不僅要求AI生成內(nèi)容需顯式或隱式標(biāo)識，便于社會公眾與監(jiān)管部門識別AI生成視頻，對用戶隱私、數(shù)據(jù)來源合法性和內(nèi)容合規(guī)提出更高要求；對違法生成內(nèi)容的下架、封禁、報(bào)告程序作出明確規(guī)定，使平臺對違規(guī)行為有更直接的處理依據(jù)與懲處手段；對知識產(chǎn)權(quán)與侵權(quán)責(zé)任提出了量化要求，要求平臺在訓(xùn)練與推理過程中必須合規(guī)使用素材，杜絕違法采集或復(fù)制；對于極端、暴力和非法內(nèi)容，平臺須加強(qiáng)內(nèi)容審核與實(shí)時處置，一經(jīng)發(fā)現(xiàn)立即移除并上報(bào)。另外，這些法規(guī)還建立了分級分類監(jiān)管、投訴舉報(bào)機(jī)制，提出對技術(shù)對抗與安全漏洞的防護(hù)要求，進(jìn)一步壓縮了違法者的生存空間。

各人工智能生成視頻平臺也在技術(shù)和運(yùn)營層面普遍采取多重防護(hù)措施，并通過用戶協(xié)議、內(nèi)容審核與隱私政策來進(jìn)一步強(qiáng)化管理。

首先，平臺往往采取嚴(yán)格的數(shù)據(jù)加密、權(quán)限分級和審計(jì)日志等安全策略，確保用戶上傳素材（如圖像、視頻、文本提示）在存儲和傳輸過程中獲得充分保護(hù)，并遵循最小化使用與匿名化原則以減少不必要的個人信息留存。

其次，生成模型層面則部署了內(nèi)容過濾、檢測與限制機(jī)制，在用戶輸入文本描述前后進(jìn)行多輪審核，自動識別違法、色情、暴力、仇恨言論等不當(dāng)內(nèi)容并拒絕生成；部分平臺還在成品視頻中嵌入數(shù)字水印或元數(shù)據(jù)標(biāo)記，以便追溯或區(qū)分AI生成與真實(shí)視頻。

最后，平臺通常結(jié)合人工與自動化審查對用戶提交的可疑內(nèi)容進(jìn)行進(jìn)一步評估，一旦發(fā)現(xiàn)嚴(yán)重違規(guī)內(nèi)容或侵犯他人權(quán)益，會及時下架并對相關(guān)賬號進(jìn)行處罰。用戶舉報(bào)與申訴渠道賦予用戶監(jiān)督權(quán)，提升了審查系統(tǒng)的有效性。與此同時，各平臺通過隱私政策和用戶協(xié)議，明晰數(shù)據(jù)利用方式和用戶義務(wù)，設(shè)置使用規(guī)范與違規(guī)處理機(jī)制，引導(dǎo)用戶在合法合規(guī)范圍內(nèi)創(chuàng)作，整體上提升了內(nèi)容生態(tài)的安全與可控性。

（二）需要持續(xù)關(guān)注的關(guān)鍵問題

盡管我國法律法規(guī)以及各平臺的用戶政策為AI生成視頻平臺提供了較為堅(jiān)實(shí)的合規(guī)基礎(chǔ)，但在實(shí)際應(yīng)用中，技術(shù)進(jìn)步的速度、跨國監(jiān)管的復(fù)雜性以及高昂的合規(guī)成本，仍然是需要持續(xù)關(guān)注和解決的關(guān)鍵問題。

首先，技術(shù)對抗導(dǎo)致監(jiān)管難度加大。人工智能技術(shù)發(fā)展迅速，尤其是內(nèi)容生成算法上的進(jìn)步，使得現(xiàn)有的監(jiān)管措施往往存在滯后性，惡意用戶可能通過對抗性樣本和繞過水印的技術(shù)手段，繼續(xù)生成和傳播虛假或有害內(nèi)容。

其次，國際協(xié)作與跨境執(zhí)法的問題依然嚴(yán)峻。我國相關(guān)法規(guī)主要適用于國內(nèi)運(yùn)營的平臺，對于來自境外的AI生成違法內(nèi)容，尤其是在全球化互聯(lián)網(wǎng)環(huán)境下，執(zhí)行和監(jiān)管存在較大難度，需要國際更緊密的合作與協(xié)調(diào)。

再次，平臺在落實(shí)法律要求時面臨高昂的執(zhí)行成本與合規(guī)細(xì)則落地的壓力，為了滿足嚴(yán)格的法律標(biāo)準(zhǔn)需要投入大量資源進(jìn)行技術(shù)升級、人員培訓(xùn)和流程重組，為各平臺帶來較大的經(jīng)濟(jì)和運(yùn)營壓力，尤其對于中小型企業(yè)而言壓力更大。

最后，具體細(xì)則的執(zhí)行和落地可能會因?yàn)槠脚_規(guī)模和技術(shù)能力的差異，造成一定的落差，影響法律法規(guī)的全面實(shí)施。

三、構(gòu)建安全規(guī)范的人工智能生成視頻生態(tài)環(huán)境的思考

面對人工智能生成視頻技術(shù)帶來的復(fù)雜安全與隱私挑戰(zhàn)，必須堅(jiān)持高質(zhì)量發(fā)展和高水平安全良性互動，建立健全高效的人工智能生成視頻精細(xì)化治理體系，為數(shù)字經(jīng)濟(jì)、產(chǎn)業(yè)發(fā)展注入強(qiáng)大動力。

一是建立健全法規(guī)政策的前瞻性研究與動態(tài)調(diào)整機(jī)制。廣電管理部門可聯(lián)合相關(guān)部門建立行業(yè)技術(shù)預(yù)警與跟蹤機(jī)制，與科技企業(yè)合作，定期監(jiān)測國內(nèi)外AI生成視頻領(lǐng)域的最新技術(shù)動態(tài)；通過設(shè)立“技術(shù)預(yù)警清單”與“風(fēng)險(xiǎn)評估報(bào)告”制度，提前識別潛在的技術(shù)風(fēng)險(xiǎn)，為后續(xù)政策的調(diào)整提供數(shù)據(jù)支持和決策依據(jù)；修訂完善指引性標(biāo)準(zhǔn)和技術(shù)規(guī)范，并在法規(guī)中嵌入“快速修訂”或“動態(tài)更新”條款，及時靈活應(yīng)對技術(shù)發(fā)展帶來的挑戰(zhàn)，確保監(jiān)管措施始終與時俱進(jìn)。與此同時，加強(qiáng)國際合作與跨境治理框架建設(shè)，推動全球范圍內(nèi)對深度偽造和違法生成內(nèi)容的治理提供統(tǒng)一的技術(shù)標(biāo)準(zhǔn)和監(jiān)管框架，建立跨境執(zhí)法與信息共享平臺，提升跨境監(jiān)管能力。

二是構(gòu)建可信、安全的公共音視頻訓(xùn)練數(shù)據(jù)資源平臺。國家廣播電視總局可牽頭制定和推廣音視頻訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)化管理規(guī)范，明確音視頻數(shù)據(jù)的收集、標(biāo)注和使用規(guī)則，確保數(shù)據(jù)來源合法且授權(quán)明確，為AI模型的訓(xùn)練提供可信、安全的數(shù)據(jù)支持。引導(dǎo)平臺強(qiáng)化版權(quán)保護(hù)機(jī)制，構(gòu)建透明的版權(quán)追溯體系，通過技術(shù)手段在音視頻數(shù)據(jù)中嵌入數(shù)字水印或元數(shù)據(jù)標(biāo)簽，確保版權(quán)信息在模型訓(xùn)練和生成內(nèi)容的全流程中可被追溯，并為人工智能視頻模型開發(fā)者提供版權(quán)授權(quán)服務(wù)。

三是完善分級管理與配套扶持機(jī)制。加強(qiáng)部門之間的政策與治理統(tǒng)籌協(xié)同，采取分級管理的方式，為涉及AI視頻及相關(guān)技術(shù)的不同規(guī)模企業(yè)提供差異化監(jiān)管政策，即根據(jù)企業(yè)規(guī)模、業(yè)務(wù)形態(tài)以及技術(shù)能力的不同，設(shè)立不同的合規(guī)標(biāo)準(zhǔn)，并給予中小企業(yè)一定的過渡期或豁免條款，以減輕其合規(guī)負(fù)擔(dān)，鼓勵其進(jìn)行技術(shù)升級和流程調(diào)整。通過設(shè)立技術(shù)與資金支持計(jì)劃，聯(lián)合產(chǎn)業(yè)基金和創(chuàng)新孵化器，提供技術(shù)工具包、培訓(xùn)、優(yōu)惠政策和補(bǔ)貼，并為公共技術(shù)平臺提供統(tǒng)一的審查工具和數(shù)據(jù)管理方案，探索新型視聽知識產(chǎn)權(quán)互利共贏機(jī)制，幫助中小企業(yè)優(yōu)化合規(guī)成本，減少重復(fù)性投入，讓AI技術(shù)賦能行業(yè)創(chuàng)新發(fā)展。

（作者索強(qiáng)系國家廣播電視總局廣播影視發(fā)展研究中心科研人員）

責(zé)任編輯：任雨希