• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    張亞勤:將價值觀放在技術(shù)之上擁抱AI

    2023-08-31 09:01:36鐘秀斌
    互聯(lián)網(wǎng)周刊 2023年15期
    關(guān)鍵詞:人類模型

    今年以來,人工智能(AI)爆出個超級大網(wǎng)紅ChatGPT。它上知天文,下知地理,博古通今。它才思敏捷,吟詩作畫,編程寫論文,無所不能。它與其他大模型不同,開放了用戶界面,普通人可以像用手機或電腦一樣,直接應(yīng)用。因此,它圈粉無數(shù),短短兩個月吸引上億用戶,且無廣告,完全依賴用戶口碑,掀起全球AI颶風,堪稱史上最受歡迎的產(chǎn)品。在ChatGPT橫空出世的幾個月里,它成為許多會議的當然主題,知名度和影響力史無前例,其幕后推手Open AI也大沾其光,迅速出“圈”,被業(yè)界外的人津津樂道。如果說2016年AlphaGo戰(zhàn)勝人類圍棋最強手的影響力還局限在中國和亞洲,那么ChatGPT則是席卷全球,深入各個領(lǐng)域各個層次。

    PC互聯(lián)網(wǎng)呈現(xiàn)網(wǎng)景時刻,移動互聯(lián)網(wǎng)閃亮iPhone時刻,ChatGPT的影響力堪比互聯(lián)網(wǎng),因此,有人稱之為ChatGPT時刻。

    ChatGPT究竟是何方神圣能全球吸睛?它將給AI時代帶來什么?它給人類驚喜的同時,又存在哪些隱患?中國將面臨怎樣的機遇和挑戰(zhàn)?在清華大學智能產(chǎn)業(yè)研究院(AIR),清華大學“智能科學”講席教授、中國工程院院士張亞勤院長,娓娓道來他的人工智能觀。

    1978年12歲的張亞勤,從山西考入中國科大少年班,是當年全國最耀眼的一名大學生,成為20世紀七八十年代十年寒窗苦讀者的集體偶像,更是家長眼里“別人家的孩子”。1985年,年僅19歲的他從中國科大研究生畢業(yè),赴美國喬治華盛頓大學深造,1989年獲得博士學位。1999年回國出任微軟中國研究院首席科學家,一年后擔任微軟中國研究院院長。2001年微軟中國研究院升格為微軟亞洲研究院,張亞勤擔任首任院長。2004年他擢升微軟公司全球副總裁,2007年執(zhí)掌微軟中國公司(董事長),兼任微軟亞太研發(fā)集團主席。2014年出任百度公司總裁,2019年從百度公司退休后,來清華創(chuàng)辦AIR。

    張亞勤從事AI研究數(shù)十年,是數(shù)字視頻和AI領(lǐng)域的世界頂級科學家和企業(yè)家,擁有60多項美國專利,發(fā)表500多篇學術(shù)論文,出版11本專著。他發(fā)明的多項圖像視頻壓縮和傳輸技術(shù)成為國際標準,廣泛地應(yīng)用于高清電視、互聯(lián)網(wǎng)視頻、多媒體檢索、移動視頻和圖像數(shù)據(jù)庫領(lǐng)域。

    張亞勤是中國工程院院士(外籍)、美國藝術(shù)與科學院院士和澳大利亞國家工程院院士(外籍)。他也是美國國家發(fā)明院(NAI) 院士,歐亞科學院院士和中國人工智能學會會士。1997年31歲時被授予IEEE Fellow,成為歷史上獲得這一榮譽最年輕的科學家。

    AI時代的操作系統(tǒng)

    張亞勤認為,過去30年,IT行業(yè)最重要的變革是實現(xiàn)數(shù)字化。人工智能的三要素:算力、算法和數(shù)據(jù),過去10年算力增加了10萬倍,遠超摩爾定律。數(shù)據(jù)是新一代AI,特別是大模型的基石。數(shù)字化經(jīng)歷三個發(fā)展階段,數(shù)字化1.0是內(nèi)容數(shù)字化,包括文本、音樂、圖片、視頻、語言,直接產(chǎn)物是消費者互聯(lián)網(wǎng);數(shù)字化2.0是企業(yè)數(shù)字化,即企業(yè)信息化,如ERP、CRM、商務(wù)智能、企業(yè)智能等,直接產(chǎn)物是云計算;現(xiàn)在是數(shù)字化3.0時代,信息、物理、生物世界的數(shù)字化,比如車、機器、城市、道路、家庭、大腦、身體器官、細胞、分子、基因都在數(shù)字化。1.0到2.0是從原子到比特,3.0是比特和原子分子的相互映射,直接產(chǎn)物是海量數(shù)據(jù),數(shù)據(jù)比1.0和2.0時代大很多數(shù)量級,這是AI發(fā)展最重要的基石。

    AI的鼻祖是圖靈。圖靈測試可驗證人類是否能夠分辨出交互對象是人還是機器。ChatGPT是人類第一個通過圖靈測試的智能體。之前很多年所做的聊天機器人屬于分析式、決策式、預(yù)測式、鑒別式AI,在專有領(lǐng)域如智能客服等方面表現(xiàn)很好,但跨領(lǐng)域效果一般,因為還不是通用類生成式AI。ChatGPT走向通用AI。大模型用不同的微調(diào)策略,執(zhí)行不同的任務(wù)。因此,從產(chǎn)業(yè)方面講,GPT+等各種大模型是AI時代的“操作系統(tǒng)”。

    鐘秀斌(下文簡稱鐘):張院長好!好久不見,您還像當年一樣精神抖擻,沒什么變化。我看過您近期關(guān)于AI和大語言模型ChatGPT的一些演講,受益匪淺。我們多數(shù)人沒有AI背景知識,特別期待您這樣的權(quán)威學者科普一下,如何認識ChatGPT這一現(xiàn)象級的新事物?

    張亞勤(下文簡稱張):ChatGPT及其所引領(lǐng)的大語言模型和生成式AI,不是橫空出世的,而是隨著人工智能技術(shù)發(fā)展進化而來的。大基礎(chǔ)模型 Foundation Model(FM)正在成為人工智能時代的操作系統(tǒng)。

    說到操作系統(tǒng),人們自然想到 PC時代的Windows,移動互聯(lián)網(wǎng)時代的安卓和iOS?,F(xiàn)在有兩種操作系統(tǒng),一種是在云平臺上,一種是在用戶終端上。GPT所代表的大模型是云平臺里的操作系統(tǒng)。云平臺有IaaS(基礎(chǔ)設(shè)施層)、PaaS(中間層即平臺層)和SaaS(軟件服務(wù)層)三層。GPT可以理解為MaaS(Model as a Service),模型即服務(wù),屬于PaaS層。

    云和端的說法比較形象。在端這邊,是一個更小的系統(tǒng),會具體到手機、機器人、無人車等物體上。這個系統(tǒng)較小,建立在現(xiàn)有的體系之上,比如手機終端建立在安卓和iOS上,或建立在機器人操作系統(tǒng) Ross之上。

    操作系統(tǒng)會撬出一個大的產(chǎn)業(yè)生態(tài),包括硬件(芯片)、軟件和服務(wù)體系。大語言模型是AI時代的平臺級技術(shù),將形成比移動互聯(lián)網(wǎng)規(guī)模更大的產(chǎn)業(yè)生態(tài)。

    移動互聯(lián)網(wǎng)產(chǎn)業(yè)生態(tài)比 PC時代要大一個數(shù)量級,ChatGPT為核心的AI產(chǎn)業(yè)生態(tài)比移動互聯(lián)網(wǎng)還要大一個數(shù)量級?,F(xiàn)在的AI芯片不同了,芯片早期是CPU x86,后來是ARM,現(xiàn)在AI芯片多是GPU、ASIC等。AI時代,大模型的算法也不同,整個計算架構(gòu)完全變了。

    馮諾依曼架構(gòu)過去60年一直是計算機架構(gòu)的主體,目前需要新的計算架構(gòu)。大模型需要大計算,無論GPU,還是數(shù)據(jù)中心,其內(nèi)部通信功能很強而形成大連接大計算。深度學習算法需要大量的向量Tensor運算,稀疏矩陣和布爾代數(shù)邏輯。數(shù)據(jù)處理的這些變化,需要新的芯片架構(gòu)、新的指令集、新的框架、新的工具鏈,在此之上的應(yīng)用也得重寫。比如從電腦到手機,手機上的APP是新的,各類平臺上有APP store,商業(yè)模式同樣發(fā)生變化。這是我從產(chǎn)業(yè)方面理解所帶來的新體驗與新變化。

    AI三大要素算力、算法和數(shù)據(jù)變化了,基于ChatGPT或者FM上的應(yīng)用和產(chǎn)業(yè)模式也隨之改變。因此,它在成為AI時代的操作系統(tǒng)。

    人們現(xiàn)在感受還沒那么深。就像我們所經(jīng)歷的互聯(lián)網(wǎng)發(fā)展一樣,剛開始只在行業(yè)內(nèi)擴散,然后走向通用,在各個垂直領(lǐng)域里深入融合。ChatGPT也是這么一個過程?,F(xiàn)在為什么ChatGPT的震撼這么大,因為它有用戶體系,界面有接口,用戶可以直接應(yīng)用它。

    過去大模型基本都有API(應(yīng)用程序接口,Application Programming Interface),像Windows一樣呈現(xiàn)一個界面,用戶直接用,但后臺復(fù)雜的計算處理,用戶不知道。

    ChatGPT像Office一樣,用戶可以直接用。目前尚是一個最簡單的接口,今后它會發(fā)展成橫向通用模型,會有各種垂直模型,應(yīng)用在to B(行業(yè))的垂直領(lǐng)域,機會非常大。

    鐘:從計算機到人工智能,工具或者技術(shù)能力越來越強大。比如1998年IBM深藍計算機打敗國際象棋高手,2016年Alpha Go戰(zhàn)勝人類圍棋高手,2021年Alpha Fold成功預(yù)測了人體蛋白質(zhì)結(jié)構(gòu),意味著AI開始攻克生物科學和醫(yī)學領(lǐng)域的重大難題。這些成果令人驚嘆,AI在計算和邏輯方面比人更具優(yōu)勢。ChatGPT完全可能融會貫通人類有史以來的所有知識,它是否會突然“涌現(xiàn)”出一種新的能力和價值來,比如在數(shù)學、物理、化學、生物等基礎(chǔ)研究,甚至在藥物研發(fā)、蛋白質(zhì)解析、基因編輯、智能駕駛等應(yīng)用領(lǐng)域,有較人類更出色的能力,去解決人類未曾解決的難題?

    張:AI生成式大模型正在朝這一方向走,這些都是未來必然的發(fā)展趨勢。深度學習AI可以分成兩個階段,第一階段是解決專用問題,比如說Alpha Go下圍棋,Alpha Fold解析蛋白質(zhì),已經(jīng)超過人類。無人駕駛其實也已超過人類,只是大規(guī)模商用還需要點時間。語音識別、人臉識別能力AI超過人類。AI在每個專業(yè)任務(wù)的能力基本上與人類差不多,過去的5年AI發(fā)展很快,在每一個垂直領(lǐng)域和解決某一類問題的能力還會繼續(xù)提高。

    ChatGPT開始具備一定的通識能力,把人類的知識融合在一塊,變成生成式AI大模型,它就可以寫文章、作畫、編程序。目前也能做些簡單的數(shù)學題,考試和人類平均水平差不多,甚至更強。但是要在數(shù)理化領(lǐng)域做基礎(chǔ)科研,它還需要更大的數(shù)據(jù),培養(yǎng)更多的能力。為什么ChatGPT能寫程序?是由于 Open AI把Github等開源社區(qū)上10億行代碼,拿來訓練后而形成的能力。今后,如把所有的數(shù)學知識(包括數(shù)學公式)都訓練之后,ChatGPT數(shù)學肯定做得很好。只要有足夠的物理學數(shù)據(jù),它經(jīng)訓練之后,物理水平也能很高。有家公司在訓練ChatGPT,嘗試批閱高考試卷,據(jù)說批得還挺準的。

    可能有很多公司在每一個垂直領(lǐng)域去做AI for Science這些事。5年之后AI數(shù)理化做題水平都會超過人類。它可以證明人類有些證明不了的數(shù)學、物理公式或猜想。它不僅可幫人類證明數(shù)學題,還可能發(fā)明新公式,它每天都在學習,會不斷進步。甚至了解各種化學反應(yīng)后,會推導(dǎo)新的化學反應(yīng)式。人的精力和能力是有限的,而AI不一樣,它學會了數(shù)理邏輯和各種定律后,綜合能力完全可能強過人類。

    當然,人類有些能力AI是沒有的。如果把人的能力分成三個層次,第一層感知能力,像聽說交互或圖像識別,AI和人類差不多,甚至比人還強;第二層邏輯能力,AI的推理、判斷能力,將來發(fā)展和人類也差不太多;第三層情感和意識能力,AI沒有。人的感情和意識, AI雖然可能會學習,但是我們目前并不知道人類的情感和意識是怎么產(chǎn)生的。因此,人可能會對AI有情感,但它對人可能并沒有情感,或者不是真正的情感。對于通用AI或者超智能體,大家可能覺得它們會有自我意識。就像好萊塢科幻電影里的機器人,最后控制了人類。我覺得這不太可能。

    鐘:您能肯定AI不會有情感,對人類也不會有情感?

    張:我覺得有時候這是一種哲學或者是一種信仰,我也不肯定,因為這是個悖論。

    人類情感和意識是怎么產(chǎn)生的?到底這是碳基生命的特點,還是比如說人類記憶力達到一定程度,或者推理能力達到一定程度之后就有意識了?我們并不知道。既然不知道,我們只能選擇相不相信。我是選擇不相信。因此,這沒有對錯,而是每個人的判斷或者信仰問題。

    像對待核武器一樣重視AI風險

    2019年張亞勤到清華大學創(chuàng)建AIR,出任掌門人。幾十年來引領(lǐng)AI研究的他,將目光聚焦在應(yīng)用研發(fā)上,致力于AI與產(chǎn)業(yè)融合。他給AIR立了規(guī)矩——做負責任的AI,提出3R原則,即通過Responsive(積極響應(yīng))、Resilient(適應(yīng)發(fā)展)、Responsible(堅守價值)三大準則,來推動AI賦能行業(yè)發(fā)展。

    如何做負責任的AI?張亞勤認為,要了解不同行業(yè)的底層基礎(chǔ),分析技術(shù)將產(chǎn)生的影響和后果,通過技術(shù)創(chuàng)新,國際合作和治理,廣泛應(yīng)用AI推進第四次工業(yè)革命。因此,AIR選擇智慧交通、智慧物聯(lián)、智慧生命作為主攻的三大方向,以人的生存環(huán)境、生命健康和人的價值為主題,發(fā)揮AI效能,造福人類。

    張亞勤多年領(lǐng)導(dǎo)世界頂流公司和頂級研發(fā)團隊,比常人更深諳技術(shù)的兩面性。他熱愛AI,擁抱AI,他確信AI將給人類帶來無法限量的價值,是人類第四次工業(yè)革命引擎。同時,他深信AI存在尚未為人所知的不確定性風險,因此,當國際上有學者將AI風險和核戰(zhàn)爭、新冠疫情相提并論,需要引起人類高度重視時,他和老東家比爾·蓋茨在第一時間回應(yīng),并在這份聲明上簽名,表明心跡:一定要把人的價值、價值觀和責任放在技術(shù)之上。

    鐘:人類科技史表明,一項新技術(shù)人類使用到一定程度后越用越熟練,效用也越大。反過來,一旦失控,它也可能對人類傷害越大。比如核能技術(shù),既能綠色應(yīng)用,也能制造核武。現(xiàn)在的社交網(wǎng)絡(luò)成為人們生活的標配,可網(wǎng)絡(luò)詐騙層出不窮?;蚓庉嬁梢栽卺t(yī)療上造福人類,但同樣也可在科學倫理不允許的地方犯錯?;瘜W造福人類滿眼皆是,但也有人為了牟利,往食品添加不宜食用的化學品。

    正因為AI的超能表現(xiàn),令人不免想到如何使它與人類的價值觀和目標對齊的問題。您如何看這一問題?

    張:這一問題我20年前就開始談了。每當AI有進展,這個問題就會回來。這也自然,任何技術(shù)能力越來越強時,它的風險也會越來越大。早期人們不太相信AI的能力,好多人覺得像是吹?!,F(xiàn)在看起來,當年科幻電影里的AI場景和內(nèi)容,現(xiàn)在已越來越近了,正一步步成為現(xiàn)實。

    人類擁有兩種智慧:發(fā)明技術(shù)和控制技術(shù)走向,二者要均衡,目前后者稍微落后了些。要解決AI和人類價值觀對齊問題,第一,做技術(shù)的人要把技術(shù)和研究放到對齊上面,先要讓機器理解人的價值,追隨人的價值。對齊(alignment)這個詞很好,其實這不僅僅是倫理的問題,還有如何實現(xiàn)的問題。做技術(shù)和研究的人要致力于實現(xiàn)對齊任務(wù),不能只開發(fā)能力,不著力對齊問題,這是相當重要的問題?,F(xiàn)在有門新學科AI Security Research,即AI安全研究,就像航天有門學科Rocket Safety Engineering,專門研究火箭安全工程。AI也需要有人專門研究安全問題。

    第二,要制定和堅持一些基本原則。20世紀50年代美國科幻作家阿西莫夫定義了機器人和人類的三原則1。2017年一批科學家又制定了《阿西洛馬人工智能23條原則》(Asilomar AI Principles)2,我認為這是人和機器的基本原則。機器永遠是從屬體,人類是主體。不管機器、軟件,或是機器人也好,它是從屬的,其主體可以是人,也可以是公司,或者我們目前的實體。

    因此,機器產(chǎn)生的任何行為,主體要負責任,并從法律層面明確主體責任。比如說無人車出車禍,用戶和制造無人車軟件的技術(shù)公司,加上保險公司等主體共同承擔主體責任,就像現(xiàn)在司機出車禍,可能是司機問題,也可能是車的問題,由用戶或車廠和保險公司承擔事故責任。AI也一樣,今后也得購買保險??傊?,AI本身不能獨立成為主體。

    第三,AI不能有自己獨立的倫理和價值系統(tǒng)。它服務(wù)人的系統(tǒng),它的價值就是人的價值,它的倫理體系就是人的倫理體系。我們要讓它服從這一體系,實現(xiàn)這一體系。此外AI要可信任,具備安全性和可控性,這點也非常重要。

    這類問題涉及技術(shù)、倫理道德和法律層面。當前人們在這方面所做工作還不多。最近歐洲剛簽署一個新規(guī)則,中國網(wǎng)信辦起草了《生成式人工智能服務(wù)管理辦法(征求意見稿)》,工信部出臺《工業(yè)和信息化領(lǐng)域數(shù)據(jù)安全管理辦法(試行)》。技術(shù)研發(fā)、道德倫理、立法監(jiān)管等合力并進,才能讓AI發(fā)展更健康。

    我們歡迎政府立法監(jiān)管,監(jiān)管才能使AI方向正確。哪怕走得慢一點,也需要監(jiān)管,以確保方向正確。有時政府政策法規(guī)出臺相對慢些,就像互聯(lián)網(wǎng)一樣,剛開始野蠻生長,發(fā)展到一定程度,才能出臺法規(guī)加以規(guī)范。因此,正如我之前所說的兩種智慧要平衡,技術(shù)往前跑,監(jiān)管來規(guī)范。信息社會技術(shù)發(fā)展快,人的意識形態(tài)、政策法律體系仍然按工業(yè)時代的節(jié)奏,自然會滯后些。

    鐘:信息時代面臨的互聯(lián)網(wǎng)治理問題越來越突出。比如個人隱私信息保護,類似健康碼、行程碼,在特殊時期,人們?yōu)楣矁r值而讓渡一些個人權(quán)利。但如果國家相關(guān)立法沒有跟進,這類工具就可能被濫用。現(xiàn)在網(wǎng)購已成為人們?nèi)粘I畹囊环N方式,但一些平臺利用大數(shù)據(jù)算法,可把用戶瀏覽過的一些物品,無限地推送給用戶,干擾用戶購物體驗。

    AI時代類似的問題肯定不會少。人們在享受AI帶來的便利的同時,也必然會受到負面影響。正如您所說的,技術(shù)發(fā)展和風險控制要平衡,齊驅(qū)并進。如何讓主導(dǎo)技術(shù)發(fā)展的科學家和工程師們有清醒的認識和堅定的原則,哪些是要鼓勵發(fā)展的應(yīng)用,哪些是要時刻警惕的技術(shù)?如何培養(yǎng)他們科技為善的價值觀?

    張:我在清華大學智能產(chǎn)業(yè)研究院(AIR)強調(diào),做研究或者做技術(shù),一定要把人的價值、價值觀和責任放在技術(shù)之上。因此,AIR選擇了在未來五年十年AI具有巨大影響力的三個方向,研究課題(包括與公司合作項目)都與這一理念相關(guān)。一是智慧物聯(lián),面向雙碳(碳達峰碳中和)的綠色計算、小模型部署到端等,節(jié)能減排。物聯(lián)網(wǎng)應(yīng)用廣泛,可以做許多東西,但AIR選擇圍繞雙碳做文章。二是智慧交通,機器人和無人駕駛,安全第一。無人駕駛安全性增加10倍以上,現(xiàn)在90%交通事故都是人為事故。AI駕駛可以排除人工駕駛中的失誤,大大增加安全性。同時,低碳節(jié)能減排,各種應(yīng)用無縫銜接,效率高。三是智慧醫(yī)療,AI新藥研發(fā)、生物技術(shù),服務(wù)人的生命健康。

    清華AIR的選題圍繞人的生命健康、生存環(huán)境和人的價值,基于計算機學科基礎(chǔ)ABCD(Artificial Intelligence, Big Data, Cloud, Device),面向世界科技前沿、經(jīng)濟主戰(zhàn)場、國家重大需求和人民生命健康的方向,開展相關(guān)研究工作。這是AIR社會責任所在。我們要有這樣的認識,但確實存在挑戰(zhàn)。這一挑戰(zhàn)不僅僅是人工智能,而是面對所有的技術(shù)。

    每項技術(shù)就如核技術(shù),如果人類有選擇,也許最好不去找像鈾或鐳這些放射性物質(zhì)。核磁共振醫(yī)學應(yīng)用造福人類,而核武器卻可以毀滅人類。

    像化學和生物,早先有生物戰(zhàn)和化學武器。后來因為世界大國之間達成共識,立法禁止使用生物化學武器。核武器出現(xiàn)后,也就相應(yīng)立法禁核?,F(xiàn)在的基因編輯技術(shù),世界各國也有明確的立法,不能用于改變物種,尤其是針對人類。

    需要有一些清晰的基本規(guī)則,來規(guī)范和約束技術(shù)的發(fā)展與應(yīng)用。AI,尤其現(xiàn)在到大語言模型程度之后,由于具備生成式能力,具有不可預(yù)測性,它能生成什么人們并不能完全預(yù)知。

    過去AI工作主要幫助人做分析、決策和預(yù)測,但現(xiàn)在它完全可能創(chuàng)造出新的東西,不加控制,未必是好事。尤其是銀行金融或者具有關(guān)鍵使命的系統(tǒng),應(yīng)用AI時,小心保守些為好。AI有些能力的因果關(guān)系目前人類還不清楚,比如說智能有限問題、AI怎么達到智能、黑盒子問題或者透明性問題,人們并不明晰它的因果關(guān)系。

    我們有時了解What而不太清楚Why,可能了解What百分之三四十就可以做,知其然不知其所以然。其實Why很重要,我們現(xiàn)在不清楚AI Why的情況下,所以在應(yīng)用到物理系統(tǒng)或關(guān)鍵使命體系時,更得小心保守。

    鐘:今天處于AI時代,人們不得不面臨如何確保AI與人類價值觀和目標對齊的問題。您作為權(quán)威AI科學家,見過世面,稟賦異人,更能感受控制技術(shù)風險的重要性和迫切性。

    張:現(xiàn)在越來越感受到問題的重要性,越來越多地討論這些類問題。以達沃斯論壇為例,我十多年前參加達沃斯論壇的時候就在討論AI對第四次工業(yè)革命或者社會變革的深刻變化和深遠影響。但從2018年開始,達沃斯論壇的議題開始主要談?wù)揂I發(fā)展所帶來的風險及其管控,在剛剛閉幕的天津夏季達沃斯論壇上,80%議題都談風險控制。

    早年我參加達沃斯論壇時,大家多在探討AI的能力,對它具有什么特別功能并不確信,認為人工智能就是個軟件,所能做的事情有限,不可能對產(chǎn)業(yè)有什么深遠影響。

    之后人們越來越多地談?wù)揂I相關(guān)話題。先是談數(shù)據(jù),擔心掌握大數(shù)據(jù)會形成數(shù)據(jù)壟斷大公司。我2019年以百度總裁的身份參加達沃斯論壇。當時有二三十家大公司CEO都在討論大公司大責任大擔當?shù)脑掝}。特別是當時臉書(Facebook)數(shù)據(jù)泄露和操縱選舉事件發(fā)生后,人們覺得公司掌握數(shù)據(jù)越多,AI能力越強,需要承擔的責任也更大。這幾年大家的風險意識增強。之前國內(nèi)媒體很少談?wù)揂I風險,像你這樣問我的人很少,一般都是關(guān)注AI怎么改變產(chǎn)業(yè),投資機會在哪里,中國和美國企業(yè)如何競爭等等。

    我們擁抱AI,希望它走得更好。但目前對于AI可能的風險問題,已經(jīng)引起越來越多的人關(guān)注和擔心。最近關(guān)于AI風險有兩份著名的公開聲明,一份由特斯拉創(chuàng)始人、SpaceX公司CEO埃隆·馬斯克(Elon Reeve Musk)和美國未來生命研究所(Future of Life Institute)創(chuàng)始人、《生命3.0》作者邁克斯·泰格馬克(Max Tegmark)發(fā)起的,呼吁暫停訓練比GPT4更強大的AI模型至少6個月。

    另一份由劍橋大學助理教授戴維·克魯格(David Kreuger)發(fā)起,包括多倫多大學教授杰弗里·辛頓(Geoffrey Hinton)和深度學習之父、圖靈獎得主、蒙特利爾大學教授約書亞·本吉奧(Yoshua Bengio),比爾蓋茨、OpenAI CEO(主導(dǎo)ChatGPT)山姆·奧特爾曼、谷歌 DeepMind 首席執(zhí)行官戴米斯·哈薩比斯(Demis Hassabis)等多位頂級研究人員、工程師和CEO,就AI對人類可能構(gòu)成的威脅發(fā)出最新警告,超過350位相關(guān)領(lǐng)域人員共同簽署了這份只有22個單詞的聲明:“減輕AI帶來的滅絕風險,應(yīng)該與流行病和核戰(zhàn)爭等其他社會規(guī)模的風險,一起成為全球優(yōu)先事項?!卑袮I可能帶來的風險,用了十分顯眼的詞——滅絕風險。AI風險等級和核武器、流行病相提并論。

    第一份聲明我沒簽名,因為我覺得科研很難停得下來。一個企業(yè)可以暫停研發(fā),其他企業(yè)未必會暫停;或者一個國家可以暫停相關(guān)研究,但并不能阻止另一國家繼續(xù)。第二份聲明我簽名了,我認為做人工智能研究要是沒有這樣的風險意識,就不會重視,如果AI研究一旦失控就會帶來災(zāi)難性的風險。有了風險意識之后,政府、企業(yè)、研究院校、社會各方就會像對待核武器、新冠疫情一樣,時刻警惕,強化監(jiān)管,使技術(shù)走在正確的道路上,從而達到發(fā)展和風險的平衡。

    AI時代的中國機會與挑戰(zhàn)

    在越來越不確定性的今天,中國發(fā)展面臨著更為復(fù)雜的國內(nèi)外環(huán)境。自2018年中美貿(mào)易戰(zhàn)爆發(fā)以來,世界兩大經(jīng)濟體展開了曠日持久的國力博弈,影響到社會經(jīng)濟各個領(lǐng)域,甚至出現(xiàn)“卡脖子”現(xiàn)象。作為中國高科技產(chǎn)業(yè)鏈上的明珠,AI也未能幸免。

    張亞勤清醒地認識到現(xiàn)實的嚴酷性,但他依然一如既往地樂觀。這樂觀的底氣來源于他經(jīng)歷了中國互聯(lián)網(wǎng)從無到有、從有到強的過程,來源于他洞悉中國改革開放幾十年高速發(fā)展的要素積累,來源于他對中國融入世界,世界需要中國的人類命運共同體的歷史自信。他認為中國的人才積累和產(chǎn)業(yè)基礎(chǔ),已為今后AI發(fā)展鋪開路,只是現(xiàn)在逆風跑要多比順風跑時多費點力而已。

    鐘:在工業(yè)時代,通過工業(yè)革命,人類解放了手腳和體力,使人類可以扛得更重、走得更遠,探索更廣袤的物質(zhì)世界。在信息時代,通過AI,人類逐步解放和延伸了大腦,處理更為復(fù)雜的問題,瓦解之前的許多困惑,使人類抵達更加自由的精神世界。從哲學角度看,AI讓人類變得更加自由,進入更高的精神狀態(tài),這是人們可以樂觀地擁抱AI,造福人類。科學家、工程師和企業(yè)家已有共識,AI風險在一定程度上是可控的。其實,AI最大的風險還在作為AI主體的人類自身。如果人類是可控的,那么AI的風險必然大大降低。就像您一樣,將AIR定位在都與人的價值和福祉緊密相關(guān)的應(yīng)用領(lǐng)域。如果人們都往人類的共同目標著力,那么結(jié)果應(yīng)該增進福祉。

    AI發(fā)展與人類命運緊密相聯(lián),因此它更值得人們關(guān)注。在中國當前環(huán)境下,AI發(fā)展面臨怎樣的機會和挑戰(zhàn)?

    張:中美關(guān)系走勢影響AI產(chǎn)業(yè)發(fā)展,中美關(guān)系面臨三種可能。一是完全解耦或脫鉤。這種情況下,AI發(fā)展沒什么捷徑,要做芯片、光刻機,技術(shù)周期比較長,得堅持。但是我認為這種概率很小,基本上不存在。美國大芯片公司想和中國做生意,一是中國的市場大,30%-50%的需求都在中國,二是產(chǎn)業(yè)鏈已經(jīng)互相咬合在一起。即使一些政客講來講去,也不會真正脫鉤的。也許一些高端芯片暫時過來慢一點,需要費點時間等待。我們自己,比如百度在做芯片,芯片可能效率稍低一點,但是可用。

    中國大語言模型公司可以整合一下,集中算力資源。當芯片不夠時,大家自我調(diào)整,加強合作,整合芯片資源,共同做些研究。

    雖然完全脫鉤的可能性不大,但是要像過去10年前那樣全球化已不大可能,需要時間來修復(fù)。今后四五年我們還能拿到芯片,可能芯片會有代差,落后一兩代。但我們?nèi)阅芾^續(xù)研究、創(chuàng)新、做產(chǎn)品。之前我們是順風跑,現(xiàn)在就像逆風跑,需要克服阻力大點,要多花點勁,相對要辛苦一些,但還是能跑。

    現(xiàn)在中國的人才積累不少,中國的產(chǎn)業(yè)已有基礎(chǔ)。經(jīng)過了 PC互聯(lián)、移動互聯(lián)之后,中國數(shù)字化程度高,數(shù)據(jù)量大,O2O線上線下連接能力,供應(yīng)鏈體系、移動網(wǎng)絡(luò)設(shè)施、數(shù)字支付等AI時代重要的基礎(chǔ)設(shè)施都已建好。因此,我們沒有什么借口做不好,在逆風中也是可以跑的。

    早在PC時代,咱們什么都沒有。經(jīng)過二三十年的努力,已有了相當基礎(chǔ)。在Windows時代,我們在應(yīng)用層做了許多開發(fā),取得不少成績。當年國內(nèi)有人致力做操作系統(tǒng),其實通用操作系統(tǒng)既然已有,再要替代必然困難。即便在美國,也無法再做另一個操作系統(tǒng)。但在產(chǎn)業(yè)平臺變更時,就有新的操作系統(tǒng)替代。比如移動互聯(lián)時代的安卓和iOS,操作系統(tǒng)換了,其上的應(yīng)用生態(tài)也都要改變?,F(xiàn)在AI是個機會,人們有機會開發(fā)出新的操作系統(tǒng)來匹配。如果我們這一代來不及,下一代還可以繼續(xù)做。

    做基礎(chǔ)研究或者應(yīng)用開發(fā)也好,要瞄向未來五年十年的發(fā)展趨勢。這需要有一批人,能夠看到更遠的方向和機會。

    如果中美脫鉤,有的東西就得我們自己做,比如云或者大模型,大模型是基于云上的應(yīng)用。

    美國有多個云,中國也有多個云。兩國的云各自獨立,并不直接相互競爭。云在每個地區(qū)有它的特點,不同政策、不同用戶、不同習慣、不同數(shù)據(jù),包括我們的互聯(lián)網(wǎng)也是如此,所以我覺得機會還是挺大的。

    鐘:大模型的訓練,需要海量數(shù)據(jù)。中文數(shù)據(jù)比英文的數(shù)據(jù)量要小,那么是否會影響大模型功能開發(fā)?

    張:當年互聯(lián)網(wǎng)剛剛開始時,基本上沒什么中文數(shù)據(jù)。經(jīng)過這么多年發(fā)展之后,全球中文的數(shù)據(jù)量僅次于英文的。不必擔心數(shù)據(jù)不夠,這不會成為咱們AI發(fā)展劣勢。

    首先,許多公司所用的中文數(shù)據(jù),并沒有用全。百度、阿里也一樣,數(shù)據(jù)量很多卻未能充分利用。

    其次,咱們也能用英文數(shù)據(jù)。訓練模型時可用英文數(shù)據(jù),很多英文數(shù)據(jù)也是開放的。國外能用中文數(shù)據(jù),我們也可用英文數(shù)據(jù)。

    最后,目前大模型剛剛開始,以后多模態(tài)大模型,可以使用各種各樣的數(shù)據(jù),包括視頻圖像、物理數(shù)據(jù)、行車數(shù)據(jù)等等。未來這些數(shù)據(jù)很多,而每個垂直行業(yè)里,又有海量的行業(yè)數(shù)據(jù)。

    當然數(shù)據(jù)選擇很重要。ChatGPT有1/3時間花在數(shù)據(jù)清洗上。數(shù)據(jù)有許多問題,比如互聯(lián)網(wǎng)數(shù)據(jù)里有大量假數(shù)據(jù)和有毒數(shù)據(jù),許多人為制造的假數(shù)據(jù)假信息。社交網(wǎng)絡(luò)上的評價數(shù)據(jù),一些罵人或者暴力的內(nèi)容,就是有毒數(shù)據(jù)。如果用這些數(shù)據(jù)去訓練大模型,肯定會有問題。因此要篩選數(shù)據(jù)或清洗數(shù)據(jù),確保數(shù)據(jù)盡量是真信息。

    大模型訓練會自動過濾一些信息。一是數(shù)據(jù)本身的質(zhì)量問題,二是人類反饋強化學習,有很多人幫它和人對齊,特別是一些敏感詞。

    在美國,比如種族歧視、性別歧視、年齡禁忌等,十分敏感。我可以說太太開車水平差,但不能說女司機開車差,哪怕是開玩笑,這在國內(nèi)人們不會太介意,但在美國肯定犯忌。不同地區(qū)不同時間不同文化,因此選擇數(shù)據(jù)時要特別注意,要和人類價值觀對齊。

    中國AI可以做得起來,尤其是應(yīng)用開發(fā),大模型在垂直領(lǐng)域的機會很多。當時我在微軟做過分析,操作系統(tǒng)每賺1元,在操作系統(tǒng)生態(tài)上的合作伙伴賺18元,具有很強的產(chǎn)業(yè)輻射效應(yīng)。移動時代,無論to C或to B,Android和iOS平臺上面的應(yīng)用機會更多了。

    鐘:因為操作系統(tǒng)不是我們自主研發(fā),有無可能被關(guān)掉而導(dǎo)致不能使用大模型?

    張:我們自己做的大模型,別人關(guān)不掉。就像我們的云一樣,是獨立的,沒人能關(guān)掉而不可用。我們現(xiàn)在沒有引進ChatGPT,而是大家重做的大模型,百度做,阿里做,國內(nèi)還有幾十家公司也在做。今年3月百度發(fā)布文心一言后,現(xiàn)在還在測試,包括適應(yīng)監(jiān)管政策,估計還需要一些時間。

    我們中國公司,用自有數(shù)據(jù),做自己的模型,大模型建在云端上,外界沒法關(guān)掉你的云,這點不像Windows。目前這些系統(tǒng),包括服務(wù)器、芯片、云都在國內(nèi),因此,云端上的大模型不必擔心脫鉤的影響。即便在極端情況下,百度云、阿里云都可以用,大模型的訓練方法,包括一些開源的算法,可能會受到點影響,但是大模型設(shè)施都在這里,一般應(yīng)用沒有問題。我認為不可能出現(xiàn)極端情況,基于過去40多年改革開放全球化進程的經(jīng)驗,我對此比較樂觀。

    保持好奇心,做永恒的學習者

    張亞勤少年天才,青年精英,壯年成為全球企業(yè)和學界的雙棲領(lǐng)袖。外人看來一路順風順水,但他卻謙遜地認為自己幸運地踏在大時代的發(fā)展節(jié)點上,每一步都能聽從內(nèi)心的召喚。他出生在史無前例的動蕩年代,父親早逝,從小在外祖母、祖母、母親和親戚家之間輾轉(zhuǎn),讓他一直感到不穩(wěn)定——不知道下個學期要去哪座城市,能在哪里上學?直到12歲考上大學,才算穩(wěn)定下來。童年罹遭厄運,所幸親人們都很愛他,母親的教誨令他終生不忘。他說小時候不能靜心做事,浮躁而易放棄。有一次,母親特別生氣,罰他站在墻角,大聲責問:“你有一技之長嗎?你能自食其力嗎?你靠什么生存?”振聾發(fā)聵的三問,這么多年來縈繞在心。每當遇到困難時,無論是作為學生、工程師、教授,還是總裁,這個聲音總在耳邊:“你的一技之長是什么?”

    另一件事也令張亞勤記憶猶新。小時有一好友,一起讀書,一起玩耍。有一天,他對母親說,好友很笨,簡單的題都不會做。母親嚴肅地批評他:“任何時候都不能在背后說別人的壞話……要學會善待別人。”后來,這成為他做人和管理的一個原則,不在背后說別人的壞話,也不喜歡別人在背后講別人壞話。這個原則讓他學會善待別人,也避免了90%的辦公室政治,讓他的世界和管理方式變得簡單和干凈。

    如今進入人生3.0階段的張亞勤,放下職場要務(wù),轉(zhuǎn)戰(zhàn)清華教書育人,欲將學識、經(jīng)驗和智慧,傳承給年輕人。6月25日,他在清華大學經(jīng)管學院2023屆畢業(yè)典禮上致辭,提醒即將走出清華的莘莘學子,在AI時代,有些產(chǎn)業(yè)和工作或?qū)⑾?。任何重?fù)性和流程性的腦力和體力工作將被機器取代;任何可描述的、有固定規(guī)則的、有標準答案的問題,機器都會超過人類……他要求學子們保持對世界的好奇,做永恒的學習者。因為AI時代,機器在學習,人類更要學習!

    鐘:2019年您從百度退休后,為什么還來清華當教授?

    張:這是我計劃的人生3.0,退休后希望能做些科研和培養(yǎng)人才,做慈善做公益,能增強中國科技界和國外的交流, 也能更多陪伴家人,來清華純是機緣巧合?,F(xiàn)在比預(yù)想的要忙得多,只是沒有在企業(yè)時責任那么大。在學校的好處是自己考慮問題可以更長遠,包括培養(yǎng)學生和研究課題。其次,時間相對自由。不過,這點我沒做到令自己滿意,前兩天我還向朋友請教怎么管理時間?怎么高效行動?這幾年受疫情影響,出行走動比較麻煩。

    在清華總體感覺挺好的。我現(xiàn)在帶15個學生,每年5個博士生,3個學術(shù)博士,2個工程博士。我還帶了3個碩士生,清華碩士生少,主要是國際碩士生。我平常不上課,只是給研究生開些講座。

    鐘:當企業(yè)家和當教授,您更享受哪一種身份?

    張:我都挺習慣的??赡懿煌A段從事不同的角色,更能豐富人生。我博士剛畢業(yè)時,像現(xiàn)在這樣做研究。之后在微軟做企業(yè)研究院,后來又管研究、管技術(shù)、管產(chǎn)品、管市場,什么都管過。

    現(xiàn)階段我還是希望做現(xiàn)在的事。不同的人生階段做不同的事情,我都挺用心。由于過去我在公司做事,包括中美學習工作經(jīng)歷和管理大團隊經(jīng)驗,因此,我對技術(shù)的看法會有一些新視角,思維方式也可能不一樣。如果過去一直學術(shù)界,一直做研究,沒有產(chǎn)業(yè)經(jīng)驗,那么對產(chǎn)業(yè)發(fā)展的感覺就會不一樣。無論做企業(yè),還是現(xiàn)在做研究,我一直與技術(shù)和產(chǎn)業(yè)關(guān)聯(lián),從來沒有遠離過技術(shù)和產(chǎn)業(yè)。清華AIR也是圍繞產(chǎn)業(yè)發(fā)展做研究,我們做的東西要對社會、對產(chǎn)業(yè)有用。做的時間可以三年五年甚至十年,但做的東西最終要應(yīng)用而不是純粹的理論研究。這是我對自己的一個定位。

    無論是憑借好奇心驅(qū)動去探索,做象牙塔式的基礎(chǔ)研究,還是以解決現(xiàn)實問題為導(dǎo)向的技術(shù)應(yīng)用,都是我們社會所需要的?;A(chǔ)研究和應(yīng)用研究都有用,無用之用方為大用。這兩種研究對學術(shù)和技術(shù)發(fā)展都重要。只是我們強調(diào)所做的研究最終要成為未來看得見的應(yīng)用,能夠產(chǎn)生社會效益或者帶來產(chǎn)業(yè)機會。

    鐘:您12歲考上中科大少年班,是我們一代人的偶像。從少年學霸,到企業(yè)領(lǐng)導(dǎo),最后成為學界領(lǐng)袖,這是成功人生的典范。您對剛剛參加完高考的孩子有什么樣人生建議?

    張:我剛在清華經(jīng)管學院畢業(yè)典禮做了一個演講,談到我上學、出國、做企業(yè),然后又回到清華的經(jīng)歷。我很幸運,每一步都踏在大時代發(fā)展的節(jié)點上。AI時代我給即將畢業(yè)的學子幾點建議:

    要保持對世界的好奇,做永恒的學習者。因為機器在學習,人類更要學習。

    要有獨特的觀點和倫理價值判斷,不要隨波逐流,不要失去個性和棱角,AI越來越強大,ChatGPT可以比任何人更圓滑和更全面,能夠生成很多觀點。但唯一無法生成的,就是你獨特的觀點。

    要將倫理和人文精神放在心中,雖然技術(shù)是中立的,但創(chuàng)新者有使命。技術(shù)是工具,要為人類服務(wù)。要重新審視人類與AI的關(guān)系,讓AI和人類價值和目標對齊,降低不確定性風險。

    要培養(yǎng)自我選擇的能力。在探索人生的過程中,要大膽嘗試,找到適合自己的道路,做自己的選擇。沒有最好的選擇,只有你的選擇;沒有最完美的人生,只有你的人生。

    對于馬上要上大學的孩子,上大學后別那么在乎分數(shù)。高考前沒辦法,沒有好分數(shù),上不了喜歡的大學。上大學后,要學自己有興趣的課程,要學到再學習的能力?,F(xiàn)在信息噪聲很多,大學要著重提高信噪比,去除噪聲,培養(yǎng)找到有效信號源的能力。孩子要有辨別對錯的判斷力,清楚自己的想法,找到關(guān)鍵點,主動學習。

    注: 1阿西莫夫在《我,機器人》一書的前言里,明確了《機器人學的三大法則》。第一原則:機器人不得傷害人類個體,或者目睹人類個體將遭受危險而袖手不管;第二原則:機器人必須服從人給予它的命令,當該命令與第一定律沖突時例外;第三原則:機器人在不違反第一、第二定律的情況下要盡可能保護自己的生存。后來又補充了第零定律:機器人必須保護人類的整體利益不受傷害。22017年1月,在加利福尼亞州阿西洛馬舉行的Beneficial AI會議上,近千名人工智能和機器人領(lǐng)域的專家,聯(lián)合簽署了《阿西洛馬人工智能23條原則》(Asilomar AI Principles),呼吁全世界人工智能的研究人員、科學家和立法者嚴格遵循這些原則,共同保障人類未來的倫理、利益和安全?!栋⑽髀羼R人工智能原則》是阿西莫夫機器人三大法則的擴展版本,主要分為三大類:科研問題、倫理價值和長期問題。由生命未來研究所(Future of Life Institute,F(xiàn)LI)概括《阿西洛馬人工智能原則》。

    猜你喜歡
    人類模型
    一半模型
    顫抖吧,人類
    哈哈畫報(2022年4期)2022-04-19 11:11:50
    人類能否一覺到未來?
    人類會成長起來嗎?
    英語文摘(2021年2期)2021-07-22 07:56:54
    p150Glued在帕金森病模型中的表達及分布
    重要模型『一線三等角』
    人類第一殺手
    好孩子畫報(2020年5期)2020-06-27 14:08:05
    重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
    1100億個人類的清明
    3D打印中的模型分割與打包
    精品一品国产午夜福利视频| 久久久国产成人免费| 老司机福利观看| 热re99久久国产66热| 黄网站色视频无遮挡免费观看| 久久久国产欧美日韩av| 久久人妻福利社区极品人妻图片| 18禁裸乳无遮挡动漫免费视频| av国产精品久久久久影院| av免费在线观看网站| 久久国产精品男人的天堂亚洲| 成人免费观看视频高清| 久久久国产成人免费| 久久人人爽av亚洲精品天堂| 超碰97精品在线观看| 国产又色又爽无遮挡免| 久久精品亚洲av国产电影网| 久久影院123| 日韩 亚洲 欧美在线| 亚洲国产看品久久| 精品福利永久在线观看| 男女高潮啪啪啪动态图| 国产精品国产三级国产专区5o| avwww免费| 国产免费福利视频在线观看| 高清av免费在线| 老司机深夜福利视频在线观看 | 狂野欧美激情性xxxx| 99九九在线精品视频| 亚洲专区中文字幕在线| 女人久久www免费人成看片| tocl精华| 少妇猛男粗大的猛烈进出视频| 日韩中文字幕欧美一区二区| www.999成人在线观看| 国产成人影院久久av| 免费av中文字幕在线| 美女国产高潮福利片在线看| 久久久精品免费免费高清| 在线看a的网站| 中文字幕色久视频| a 毛片基地| 青春草视频在线免费观看| 免费女性裸体啪啪无遮挡网站| 性少妇av在线| 女人爽到高潮嗷嗷叫在线视频| 亚洲av成人不卡在线观看播放网 | 两性午夜刺激爽爽歪歪视频在线观看 | 国产精品av久久久久免费| 99久久国产精品久久久| 国产在视频线精品| 欧美在线黄色| 亚洲一区二区三区欧美精品| av天堂久久9| 麻豆乱淫一区二区| 国产欧美日韩精品亚洲av| 欧美成狂野欧美在线观看| 青青草视频在线视频观看| 激情视频va一区二区三区| 亚洲精品一二三| 久久久久国内视频| 亚洲欧美日韩高清在线视频 | 精品少妇黑人巨大在线播放| 久久性视频一级片| 50天的宝宝边吃奶边哭怎么回事| 超碰97精品在线观看| 亚洲久久久国产精品| 男人操女人黄网站| 黑人操中国人逼视频| 国产在线一区二区三区精| 午夜福利免费观看在线| 亚洲成国产人片在线观看| 国产亚洲精品一区二区www | 一个人免费看片子| 一级片免费观看大全| 国产亚洲午夜精品一区二区久久| 亚洲中文字幕日韩| 岛国毛片在线播放| 成人国产av品久久久| 丝袜在线中文字幕| 国产免费现黄频在线看| 亚洲avbb在线观看| 建设人人有责人人尽责人人享有的| 18禁国产床啪视频网站| 国产av又大| 看免费av毛片| 国产一区有黄有色的免费视频| 男女之事视频高清在线观看| 男女国产视频网站| 亚洲专区中文字幕在线| 最近最新中文字幕大全免费视频| www.熟女人妻精品国产| 飞空精品影院首页| 亚洲九九香蕉| 久久久久国产一级毛片高清牌| 欧美激情久久久久久爽电影 | 亚洲人成电影观看| 午夜免费鲁丝| 丝袜喷水一区| 18在线观看网站| 91老司机精品| 日韩欧美国产一区二区入口| 高清黄色对白视频在线免费看| 欧美中文综合在线视频| 亚洲三区欧美一区| 久久女婷五月综合色啪小说| 高清av免费在线| 热re99久久国产66热| 极品少妇高潮喷水抽搐| av超薄肉色丝袜交足视频| 亚洲欧洲精品一区二区精品久久久| 亚洲三区欧美一区| 国产精品自产拍在线观看55亚洲 | 国产成人av教育| 久久精品国产综合久久久| 精品亚洲成国产av| 亚洲一区二区三区欧美精品| 国产成人a∨麻豆精品| 在线观看人妻少妇| 色精品久久人妻99蜜桃| 午夜福利视频精品| 精品卡一卡二卡四卡免费| 91av网站免费观看| 国产真人三级小视频在线观看| 一本一本久久a久久精品综合妖精| 欧美激情高清一区二区三区| 嫁个100分男人电影在线观看| av片东京热男人的天堂| www.精华液| 久久 成人 亚洲| 亚洲欧美精品综合一区二区三区| 欧美 日韩 精品 国产| 精品人妻在线不人妻| 国产三级黄色录像| 久久精品成人免费网站| 日韩制服骚丝袜av| 男女高潮啪啪啪动态图| 黑人操中国人逼视频| 亚洲国产成人一精品久久久| 国产欧美亚洲国产| 高清av免费在线| 性色av一级| 国产成人精品在线电影| 久久ye,这里只有精品| 12—13女人毛片做爰片一| 日韩三级视频一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 麻豆乱淫一区二区| 欧美激情高清一区二区三区| 搡老乐熟女国产| 亚洲国产成人一精品久久久| 母亲3免费完整高清在线观看| 91大片在线观看| 少妇粗大呻吟视频| 国产成人精品无人区| 欧美大码av| 国产欧美日韩一区二区三区在线| 天天操日日干夜夜撸| 男女高潮啪啪啪动态图| 男女午夜视频在线观看| 欧美精品人与动牲交sv欧美| 丝袜美足系列| kizo精华| 女人精品久久久久毛片| 性色av一级| 久久国产精品大桥未久av| 国产精品免费大片| 国产一级毛片在线| 国产精品久久久久久人妻精品电影 | 人人妻人人澡人人看| 热99国产精品久久久久久7| 久久天堂一区二区三区四区| 18禁裸乳无遮挡动漫免费视频| 亚洲五月色婷婷综合| 捣出白浆h1v1| 精品久久蜜臀av无| 国产欧美日韩一区二区三区在线| 国产黄色免费在线视频| 一本久久精品| 国产在线视频一区二区| 午夜久久久在线观看| 欧美亚洲日本最大视频资源| av超薄肉色丝袜交足视频| 窝窝影院91人妻| 搡老岳熟女国产| 最新的欧美精品一区二区| 久久 成人 亚洲| 男女无遮挡免费网站观看| 欧美精品一区二区免费开放| 色老头精品视频在线观看| a级片在线免费高清观看视频| 一进一出抽搐动态| 一二三四在线观看免费中文在| 99国产精品免费福利视频| 成人国产av品久久久| av在线老鸭窝| 亚洲天堂av无毛| 老司机深夜福利视频在线观看 | 午夜91福利影院| 欧美午夜高清在线| 中文字幕色久视频| 免费在线观看影片大全网站| 国产精品 国内视频| 日日爽夜夜爽网站| 欧美老熟妇乱子伦牲交| 一级片'在线观看视频| 飞空精品影院首页| av网站免费在线观看视频| 久久国产亚洲av麻豆专区| 精品一区二区三卡| 国产av又大| 国产老妇伦熟女老妇高清| 十八禁网站网址无遮挡| 亚洲精品国产色婷婷电影| 乱人伦中国视频| 精品福利永久在线观看| 亚洲精品国产av成人精品| 久久中文看片网| av片东京热男人的天堂| 老熟妇仑乱视频hdxx| 天天操日日干夜夜撸| 国产1区2区3区精品| 少妇被粗大的猛进出69影院| 爱豆传媒免费全集在线观看| 伊人久久大香线蕉亚洲五| 精品福利永久在线观看| 一区二区三区乱码不卡18| 欧美老熟妇乱子伦牲交| 国产激情久久老熟女| 亚洲全国av大片| 久久久久久久久久久久大奶| 美国免费a级毛片| 美女高潮喷水抽搐中文字幕| 久久久精品94久久精品| 午夜影院在线不卡| 99久久精品国产亚洲精品| 侵犯人妻中文字幕一二三四区| 国产精品一区二区在线观看99| 中文字幕最新亚洲高清| 国产主播在线观看一区二区| 亚洲成国产人片在线观看| 黄色 视频免费看| 欧美精品一区二区大全| 人妻人人澡人人爽人人| 美女高潮到喷水免费观看| www.熟女人妻精品国产| 日韩 欧美 亚洲 中文字幕| 视频区图区小说| 亚洲精品成人av观看孕妇| 久久人妻福利社区极品人妻图片| 免费在线观看日本一区| 日韩欧美国产一区二区入口| 日韩大码丰满熟妇| a 毛片基地| 黄色视频,在线免费观看| 50天的宝宝边吃奶边哭怎么回事| 热99久久久久精品小说推荐| 少妇的丰满在线观看| 欧美 日韩 精品 国产| 最近最新免费中文字幕在线| 色老头精品视频在线观看| videosex国产| 免费在线观看日本一区| 深夜精品福利| 多毛熟女@视频| 精品人妻一区二区三区麻豆| 99久久国产精品久久久| 12—13女人毛片做爰片一| 国产福利在线免费观看视频| 一本综合久久免费| 久久久国产精品麻豆| 两个人看的免费小视频| 少妇被粗大的猛进出69影院| 亚洲欧洲日产国产| 日本欧美视频一区| 亚洲免费av在线视频| 少妇粗大呻吟视频| 欧美日韩视频精品一区| 日韩中文字幕欧美一区二区| 这个男人来自地球电影免费观看| 9热在线视频观看99| 日韩视频一区二区在线观看| 在线观看免费高清a一片| 国产一卡二卡三卡精品| 亚洲精品国产色婷婷电影| 国产又爽黄色视频| 久久久久久亚洲精品国产蜜桃av| 飞空精品影院首页| 国产欧美日韩一区二区精品| 国产精品久久久久久精品古装| 美女大奶头黄色视频| 亚洲av成人一区二区三| 少妇精品久久久久久久| 欧美 亚洲 国产 日韩一| 久久精品aⅴ一区二区三区四区| 视频在线观看一区二区三区| 国产一区二区 视频在线| 午夜视频精品福利| 欧美日韩亚洲综合一区二区三区_| 国产精品亚洲av一区麻豆| 老司机深夜福利视频在线观看 | 日本一区二区免费在线视频| 99久久综合免费| 亚洲国产毛片av蜜桃av| 日本a在线网址| 两人在一起打扑克的视频| 亚洲精品av麻豆狂野| www.自偷自拍.com| 老司机影院毛片| 首页视频小说图片口味搜索| 国产精品熟女久久久久浪| 亚洲国产看品久久| 日韩大码丰满熟妇| 脱女人内裤的视频| 在线亚洲精品国产二区图片欧美| 黑丝袜美女国产一区| av网站在线播放免费| 亚洲精品成人av观看孕妇| 男女下面插进去视频免费观看| 一本综合久久免费| 狠狠婷婷综合久久久久久88av| 男男h啪啪无遮挡| 欧美日本中文国产一区发布| 亚洲色图综合在线观看| 亚洲精品粉嫩美女一区| 国产av国产精品国产| 欧美黑人欧美精品刺激| 国产高清videossex| 精品视频人人做人人爽| 法律面前人人平等表现在哪些方面 | 国产黄色免费在线视频| 午夜两性在线视频| 最新的欧美精品一区二区| 亚洲精品一卡2卡三卡4卡5卡 | 丰满少妇做爰视频| 叶爱在线成人免费视频播放| 国产亚洲精品一区二区www | 亚洲人成77777在线视频| 黄色毛片三级朝国网站| 国产免费现黄频在线看| 在线观看舔阴道视频| 国产在线免费精品| 在线观看免费高清a一片| 国产一区二区三区综合在线观看| 亚洲 欧美一区二区三区| 99精品欧美一区二区三区四区| 国产高清videossex| 午夜福利一区二区在线看| 高清av免费在线| 精品国产一区二区三区四区第35| av网站在线播放免费| 国产xxxxx性猛交| 大码成人一级视频| avwww免费| 欧美另类亚洲清纯唯美| 久久精品国产亚洲av香蕉五月 | 夜夜夜夜夜久久久久| 日韩欧美国产一区二区入口| 国产区一区二久久| 天天躁狠狠躁夜夜躁狠狠躁| 一级片'在线观看视频| 日韩视频在线欧美| 美女扒开内裤让男人捅视频| 另类亚洲欧美激情| 黄片播放在线免费| 欧美日本中文国产一区发布| 国产成人a∨麻豆精品| 久久久国产精品麻豆| 亚洲成人手机| 大陆偷拍与自拍| 搡老熟女国产l中国老女人| 俄罗斯特黄特色一大片| 超碰成人久久| 久久久久久久久久久久大奶| 欧美成人午夜精品| 国产欧美日韩一区二区精品| www.自偷自拍.com| 日韩大片免费观看网站| 天天影视国产精品| 日本猛色少妇xxxxx猛交久久| 亚洲精品久久成人aⅴ小说| 午夜成年电影在线免费观看| 久久中文看片网| 9色porny在线观看| 国产一区二区激情短视频 | 亚洲av欧美aⅴ国产| 黄色视频在线播放观看不卡| 黄片大片在线免费观看| 成人av一区二区三区在线看 | 国产日韩欧美在线精品| 欧美另类亚洲清纯唯美| 国产不卡av网站在线观看| 亚洲av电影在线观看一区二区三区| 亚洲成人国产一区在线观看| 精品国内亚洲2022精品成人 | av天堂在线播放| 日韩一卡2卡3卡4卡2021年| 99国产极品粉嫩在线观看| 精品久久久久久电影网| 天天躁狠狠躁夜夜躁狠狠躁| www.精华液| 另类亚洲欧美激情| xxxhd国产人妻xxx| 黑丝袜美女国产一区| 日韩免费高清中文字幕av| 亚洲欧美一区二区三区黑人| 久热爱精品视频在线9| 日韩大码丰满熟妇| 欧美日韩亚洲高清精品| 一区二区av电影网| 久久久国产欧美日韩av| 国产成人啪精品午夜网站| 国产欧美日韩一区二区三 | 久久精品aⅴ一区二区三区四区| 欧美另类一区| 精品人妻熟女毛片av久久网站| 国产免费视频播放在线视频| 91av网站免费观看| av免费在线观看网站| 汤姆久久久久久久影院中文字幕| 久久久久久久大尺度免费视频| 黄色片一级片一级黄色片| 十八禁高潮呻吟视频| 欧美黄色淫秽网站| 国产精品香港三级国产av潘金莲| av天堂久久9| 亚洲精品美女久久久久99蜜臀| 少妇猛男粗大的猛烈进出视频| 精品国产一区二区三区久久久樱花| 免费少妇av软件| 自拍欧美九色日韩亚洲蝌蚪91| 午夜福利一区二区在线看| 国产日韩一区二区三区精品不卡| 亚洲中文av在线| av电影中文网址| 精品福利永久在线观看| 天堂俺去俺来也www色官网| 欧美精品一区二区免费开放| 99久久人妻综合| 首页视频小说图片口味搜索| 99久久人妻综合| 99热国产这里只有精品6| 亚洲熟女毛片儿| 久久免费观看电影| 欧美性长视频在线观看| 国产精品.久久久| 法律面前人人平等表现在哪些方面 | 男人爽女人下面视频在线观看| 午夜福利在线免费观看网站| 亚洲欧美日韩高清在线视频 | 久久女婷五月综合色啪小说| 欧美国产精品va在线观看不卡| 一级片免费观看大全| 999久久久精品免费观看国产| 精品熟女少妇八av免费久了| 欧美av亚洲av综合av国产av| 国产人伦9x9x在线观看| 国产欧美日韩精品亚洲av| 9191精品国产免费久久| av网站免费在线观看视频| 精品国产超薄肉色丝袜足j| 黄色片一级片一级黄色片| 亚洲欧美色中文字幕在线| 男女国产视频网站| av有码第一页| 亚洲va日本ⅴa欧美va伊人久久 | 午夜激情av网站| 日本av免费视频播放| 人人妻,人人澡人人爽秒播| 色综合欧美亚洲国产小说| 亚洲成人国产一区在线观看| 国产成人精品久久二区二区免费| 纵有疾风起免费观看全集完整版| 欧美日韩黄片免| 亚洲人成电影免费在线| 午夜福利视频在线观看免费| 成人影院久久| kizo精华| 久久影院123| 啦啦啦啦在线视频资源| 深夜精品福利| 91大片在线观看| 久久精品国产亚洲av香蕉五月 | 一边摸一边做爽爽视频免费| 日韩欧美免费精品| 国精品久久久久久国模美| 18禁国产床啪视频网站| 欧美国产精品一级二级三级| 搡老岳熟女国产| 日本撒尿小便嘘嘘汇集6| 国产一级毛片在线| 男女边摸边吃奶| 国产精品久久久久久精品电影小说| 久久人妻福利社区极品人妻图片| 国产av国产精品国产| 久久久欧美国产精品| av网站在线播放免费| 人人妻,人人澡人人爽秒播| 一进一出抽搐动态| 动漫黄色视频在线观看| 色精品久久人妻99蜜桃| www日本在线高清视频| 久久久久精品人妻al黑| 日韩大片免费观看网站| 免费在线观看影片大全网站| 亚洲精品日韩在线中文字幕| 99国产精品一区二区三区| 91成年电影在线观看| 精品少妇久久久久久888优播| 久久久欧美国产精品| 成人国产av品久久久| 女人被躁到高潮嗷嗷叫费观| 亚洲国产欧美在线一区| 99re6热这里在线精品视频| 亚洲欧美清纯卡通| 亚洲av日韩在线播放| 女性被躁到高潮视频| 51午夜福利影视在线观看| 国产成人精品久久二区二区免费| 久久亚洲国产成人精品v| 国产精品 欧美亚洲| 涩涩av久久男人的天堂| 国产一区二区在线观看av| 悠悠久久av| 久久九九热精品免费| 一二三四在线观看免费中文在| cao死你这个sao货| 美女国产高潮福利片在线看| 亚洲av欧美aⅴ国产| 久久久久久久大尺度免费视频| 中文精品一卡2卡3卡4更新| 久久av网站| 亚洲欧美日韩高清在线视频 | 欧美变态另类bdsm刘玥| 国产男女内射视频| 日本欧美视频一区| 老司机午夜十八禁免费视频| 亚洲专区中文字幕在线| 波多野结衣一区麻豆| 欧美亚洲日本最大视频资源| 国产成人影院久久av| 亚洲五月色婷婷综合| 日韩人妻精品一区2区三区| 天堂俺去俺来也www色官网| 国产97色在线日韩免费| 欧美黑人欧美精品刺激| 亚洲国产欧美网| 亚洲av电影在线进入| 咕卡用的链子| 国产有黄有色有爽视频| 色播在线永久视频| 90打野战视频偷拍视频| 日日摸夜夜添夜夜添小说| 啦啦啦 在线观看视频| 精品国产乱子伦一区二区三区 | 亚洲免费av在线视频| 欧美+亚洲+日韩+国产| 18禁黄网站禁片午夜丰满| 亚洲专区中文字幕在线| 国产精品欧美亚洲77777| 90打野战视频偷拍视频| 国产日韩欧美视频二区| 成人国语在线视频| 久久国产精品男人的天堂亚洲| 法律面前人人平等表现在哪些方面 | 亚洲成人国产一区在线观看| 法律面前人人平等表现在哪些方面 | 成年人免费黄色播放视频| 亚洲欧美日韩高清在线视频 | 亚洲男人天堂网一区| 天堂8中文在线网| 岛国毛片在线播放| 在线观看舔阴道视频| 亚洲成人国产一区在线观看| 黄片播放在线免费| 国产欧美日韩精品亚洲av| 午夜福利视频精品| 中文字幕另类日韩欧美亚洲嫩草| 久久久久网色| 汤姆久久久久久久影院中文字幕| 丝袜在线中文字幕| 亚洲国产av影院在线观看| 免费少妇av软件| svipshipincom国产片| 亚洲,欧美精品.| 久久99热这里只频精品6学生| 岛国毛片在线播放| 一本久久精品| 免费观看av网站的网址| 丰满少妇做爰视频| 国产精品.久久久| 男男h啪啪无遮挡| 岛国毛片在线播放| 精品少妇内射三级| 狠狠婷婷综合久久久久久88av| 高清欧美精品videossex| 日本a在线网址| 久久国产精品影院| 69精品国产乱码久久久| 国产亚洲精品第一综合不卡| 午夜激情久久久久久久| 国产91精品成人一区二区三区 | 丁香六月欧美| 少妇裸体淫交视频免费看高清 | 人人妻,人人澡人人爽秒播| e午夜精品久久久久久久| 一个人免费看片子| 2018国产大陆天天弄谢| 一区二区日韩欧美中文字幕| 精品一区在线观看国产| 91麻豆精品激情在线观看国产 | 91成人精品电影| 50天的宝宝边吃奶边哭怎么回事| 伊人亚洲综合成人网| 久久久国产欧美日韩av|