• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    軍事指揮信息系統(tǒng)中的機器智能:現(xiàn)狀與趨勢

    2016-09-10 07:22:44胡曉峰
    人民論壇·學術前沿 2016年15期
    關鍵詞:深度學習人工智能

    胡曉峰

    【摘要】我軍指揮信息系統(tǒng)建設取得突出成就,但也面臨極大挑戰(zhàn),其中最大的挑戰(zhàn)來自于智能化。如何理解智能化在未來戰(zhàn)爭中的地位和作用,推進智能化關鍵技術研究突破,是我國指揮信息系統(tǒng)建設必須面對的問題。本文以美軍“深綠”計劃發(fā)展過程為例,分析當前指揮信息系統(tǒng)發(fā)展存在的智能化難題,并結合以AlphaGo為代表的智能技術突破,探討指揮信息系統(tǒng)建設及其智能化發(fā)展的方向。

    【關鍵詞】指揮信息系統(tǒng) 人工智能 深度學習 態(tài)勢理解

    【中圖分類號】 E919 【文獻標識碼】 A

    【DOI】10.16619/j.cnki.rmltxsqy.2016.15.002

    近年來我軍指揮信息系統(tǒng)建設成果十分顯著。首先,以指揮自動化建設為基礎,新型指揮信息系統(tǒng)已經(jīng)涵蓋了作戰(zhàn)指揮C4ISR的各個環(huán)節(jié),成為作戰(zhàn)指揮的基礎平臺;其次,多年的建模仿真及數(shù)據(jù)工程建設實踐為指揮信息系統(tǒng)建設積累了大量的基礎性模型、規(guī)則和數(shù)據(jù);第三,分析評估和任務規(guī)劃系統(tǒng)快速發(fā)展,已經(jīng)成為指揮信息系統(tǒng)的重要組成部分。但是,這些系統(tǒng)都遇到了智能化問題,即對智能程度要求稍高的態(tài)勢理解、決策輔助或對抗推演等問題始終難以突破。未來戰(zhàn)爭需要快速決策、自動決策和自主決策,這些都有賴于智能瓶頸的突破,否則無法適應未來戰(zhàn)爭的需要。這也是其他國家軍隊指揮信息系統(tǒng)建設同樣面臨的問題。

    指揮信息系統(tǒng)的智能化既是系統(tǒng)能力實現(xiàn)階躍式提升的核心環(huán)節(jié),也是形成與對手不對稱優(yōu)勢的關鍵。本文將以美軍的“深綠”計劃發(fā)展過程為例,簡要分析機器智能輔助存在的問題,并結合AlphaGo在智能方法研究上的突破,探討未來指揮信息系統(tǒng)研發(fā)需要關注的問題及趨勢。

    “深綠”計劃的組成及特點

    “深綠”計劃是2007年由美國國防部高級研究計劃局(DARPA,Defense Advanced Research Projects Agency)啟動的關于指揮控制系統(tǒng)的研發(fā)計劃,原計劃3年完成,然后將這個系統(tǒng)嵌入到美國陸軍旅級C4ISR戰(zhàn)時指揮信息系統(tǒng)中去①。

    簡單的說,“深綠”就是想將智能技術引入到作戰(zhàn)指揮過程中。受當時IBM的“深藍”戰(zhàn)勝了國際象棋棋王卡斯帕羅夫的影響,該計劃取名“深綠”。美軍認為既然計算機可以戰(zhàn)勝棋王,那么也能幫助指揮員快速決策,在作戰(zhàn)指揮中取得致勝的先機。但事實證明原先的估計過于樂觀和簡單了,計劃至今都沒有完成。

    “深綠”的任務是預測戰(zhàn)場上的瞬息變化,幫助指揮員提前進行思考,判斷是否需要調(diào)整計劃,并協(xié)助指揮員生成新的替代方案。最初的設想是能夠將制定和分析作戰(zhàn)方案的時間縮短為現(xiàn)在的四分之一。通過提前演示出不同作戰(zhàn)方案以及可能產(chǎn)生的分支結果實現(xiàn)快速決策,從而使敵方始終不能將完整的決策行動閉環(huán)(觀察—判斷—決策—行動),永遠無法完成決策并行動?!吧罹G”的主要目標是將指揮員的注意力集中在決策選擇上,而非方案細節(jié)制定上,方案細節(jié)的制定交由計算機完成。

    “深綠”由四大部分組成。第一部分叫指揮官助手,實質(zhì)是人機接口;第二部分叫“閃電戰(zhàn)”,實質(zhì)是模擬仿真;第三部分叫“水晶球”,相當于系統(tǒng)總控,完成戰(zhàn)場態(tài)勢融合和分析評估;第四部分是“深綠”與指揮系統(tǒng)的接口。它們主要有三個特點:

    基于草圖指揮。通過指揮官助手這個模塊實現(xiàn)決策指揮“從圖中來,到圖中去”,以最大限度地符合指揮員的決策分析與操作習慣。也就是通過最自然的手寫圖交互的方式,與計算機實現(xiàn)交互。從戰(zhàn)場態(tài)勢感知、目標價值分析、作戰(zhàn)方案制定、指揮員決策,一直到作戰(zhàn)行動執(zhí)行、作戰(zhàn)效果評估,全部實現(xiàn)“基于草圖進行決策”,即由“草圖到計劃”(STP, Sketch to Plan)和“草圖到?jīng)Q策”(STD, Sketch to Decision)兩個模塊完成。該功能實現(xiàn)的關鍵是智能化的人機接口。

    自動決策優(yōu)化。決策通過模型求解與態(tài)勢預測的方式進行優(yōu)化,系統(tǒng)從自動化接口的“指揮官助手”進去,然后通過“閃電戰(zhàn)”模塊進行快速并行仿真,再通過“水晶球”模塊實現(xiàn)對戰(zhàn)場態(tài)勢的實時更新、比較、估計,最后將各種決策方案提供指揮員,由指揮員決策選擇。

    該功能的實現(xiàn)需要兩個工具支持:即“閃電戰(zhàn)”和“水晶球”。前者是自動決策優(yōu)化工具,實際就是分析引擎,能夠迅速地對指揮官提出的各種決策計劃進行并行模擬仿真,從而生成一系列未來可能的結果。同時它可以識別出各個決策的分支點,預測可能的結果、范圍和可能性,即通過多分辨仿真實現(xiàn)對未來的預測。后者實際就是決策總控,通過收集各種計劃方案,更新戰(zhàn)場當前態(tài)勢,控制快速模擬,向指揮員提供可能的選擇,提醒指揮員決策點的出現(xiàn)。

    指揮系統(tǒng)的集成。即將決策輔助功能集成到“未來指揮所”(CPoF, Command Post of Future)系統(tǒng)中?!拔磥碇笓]所”是美軍針對未來作戰(zhàn)需要研發(fā)的一個指揮信息系統(tǒng)?!吧罹G”的項目負責人蘇杜爾曾說,“深綠”將來就是未來指揮所系統(tǒng)屏幕上的一個圖標或工具。通過簡單的點擊操作就可以輔助指揮員進行決策。未來指揮所系統(tǒng)雖然很復雜,包括了各種傳感器、可視化、空間推理、仿真決策、數(shù)據(jù)庫等要素,但美軍覺得最需要的是智能輔助決策的支持。

    “深綠”的無奈——指揮信息系統(tǒng)面臨的智能化難題

    “深綠”的理想效果是只要提供己方、友方和敵方的兵力數(shù)據(jù)和可預期的計劃,系統(tǒng)就可以快速推演出結果,輔助指揮員快速做出正確決策。如將該系統(tǒng)嵌入到指揮系統(tǒng)中,就可以大大提高指揮效率。但該項目發(fā)展并不順利,“深綠”最后只留下了“草圖到計劃”STP,其它都不見了②?!吧罹G”是美軍十年前設想的項目,但為什么沒有做到并達成預定目標呢?這就要回答指揮信息系統(tǒng)面臨哪些智能化難題。實際上我國這幾十年也在做類似工作,但結果也是一樣,很多都覺得應該能夠做到,但到最后都卡在智能化問題環(huán)節(jié)。

    戰(zhàn)場態(tài)勢理解。戰(zhàn)場態(tài)勢理解與各種棋類比賽的態(tài)勢理解的特點完全不同。下棋是固定規(guī)則、完全信息,行動全開放,什么都能看見,什么都知道,看的是你的決策。但戰(zhàn)場態(tài)勢理解是不完全信息條件下的態(tài)勢判斷,也就是態(tài)勢信息有真有假,有多有少,指揮員看到的和實際的情況根本不一樣。戰(zhàn)場態(tài)勢理解是指揮決策不可缺少的前提,決策內(nèi)容包括作戰(zhàn)力量、戰(zhàn)場布勢、行動過程、環(huán)境目標等多種要素,而且層次越高,對態(tài)勢的認知就越具主觀性,從戰(zhàn)斗、戰(zhàn)術層,再到戰(zhàn)役、戰(zhàn)略層,態(tài)勢可量化的程度就越低。從這個角度來說,低層次的戰(zhàn)斗戰(zhàn)術態(tài)勢理解相對容易一些,現(xiàn)在能夠做到的幾乎都在這個層面,比如飛行員看到的雙機對抗態(tài)勢,連排長看到的分隊戰(zhàn)術態(tài)勢。但就整體而言,計算機對態(tài)勢的理解能力還遠遠達不到人的水平。即使非常復雜的戰(zhàn)略戰(zhàn)役態(tài)勢,有經(jīng)驗的指揮員一看馬上就知道戰(zhàn)場情況如何,百萬雄兵自在胸中,但計算機還做不到。

    態(tài)勢理解的表達?!吧罹G”將決策的“想法”用筆繪制圖形輸入很容易,畫個草圖就行了,這對于目前的技術來說幾乎沒有問題。但要把對態(tài)勢判斷的理解表達出來就不容易了,比如作戰(zhàn)決心,采用哪種圖表和符號呢?是畫個箭頭,還是畫個圈圈來表示?表達粗細如何選擇?如何補充其中的細節(jié)?而且,如果要素更多一些,各種情況更復雜一些,這種決策的表達就會更加復雜。對人來說,這種表達沒有任何問題,但讓計算機去做就比較困難,因為人機接口還做不到對圖形圖像和自然語言的理解。決策想法的輸入是分析評估的前提,要解決這個問題,智能化人機接口就必不可少。

    作戰(zhàn)計劃的描述。這是一個最大難題。因為作戰(zhàn)行動及結果有不確定性,會導致行動偏離計劃預想。而且決策選擇還會出現(xiàn)組合爆炸現(xiàn)象,前面計劃的任何變化都會導致后面計劃的無窮變化。所以識別情況變化并能正確應對就成為難題。態(tài)勢改變了如何識別和理解?如何知道改變的意思是什么?如何調(diào)整后面的計劃?敵方的決策如何確定?這其實就是“人機對抗問題”的翻版,和AlphaGo人機大戰(zhàn)一樣。不管紅方、藍方,你事先都可以做一個很“圓滿的”作戰(zhàn)計劃,但因為不確定性,只要對抗開始,一切就全都變了,使得你根本無法再按原計劃進行。所以以往進行作戰(zhàn)計劃評估,一般只做單方的,像地地導彈發(fā)射,不管別人怎么辦。在一些低對抗條件、低層次或低復雜度的行動組合,也可以勉強做到一部分。但對高對抗條件、較高層次的作戰(zhàn)計劃,如果不能實現(xiàn)態(tài)勢認知理解和智能應變,就根本無法做到對計劃的真正評估。

    對“未來”的仿真。“深綠”的“閃電戰(zhàn)”模塊功能是對未來多種可能情況進行仿真,推演出可能的結果,供指揮員決策時參考。該模塊的實現(xiàn)需要回答兩個問題:一是“未來”有多遠?對于長程的推演,會由于復雜性傳遞導致狀態(tài)偏離越來越大,和你原來設想的不一樣,你將如何處理這種變化?而且越復雜的行動推演,涉及要素和變化越多,又怎么辦?二是推演中誰來負責敵方的決策?因為推演即有對抗,指揮信息系統(tǒng)都是我方的,誰來負責推演中敵方的行動決策?是由指揮員去假定,還是由指揮信息系統(tǒng)自動得出?而且對抗的敵方是不會合作的,如何進行取舍?是不是需要配套合適的仿真系統(tǒng)并與指揮系統(tǒng)互聯(lián)?這些問題的本質(zhì)其實都是智能問題,不解決這些問題就無法對“未來”進行仿真。

    數(shù)據(jù)的決定性作用。人們總是認為,系統(tǒng)之所以做不出正確決策,是因為所提供的數(shù)據(jù)不夠或不準。這是典型的“決定論”觀點,即初始條件足夠,就可以預測一切。實際上這種理解是片面的,也是不正確的。戰(zhàn)爭是典型的復雜系統(tǒng),敵人也不是合作者,永遠也不會有“足夠的”數(shù)據(jù)給你,不完全信息條件下決策是作戰(zhàn)指揮的本質(zhì)特點。決策需要根據(jù)情況不斷變化,數(shù)據(jù)的要求也會不斷發(fā)生改變。復雜性會導致“決策”本身不唯一,也就無法確定哪個“正確”,哪個更好?層次越低,決策越接近簡單系統(tǒng),數(shù)據(jù)可能才越具有決定性作用。比如單機單艦,在戰(zhàn)術級還勉強可以,但到了高層次就可能不行了,數(shù)據(jù)的多少并不能減少作戰(zhàn)的復雜性。但無論如何,能否采集到足夠的數(shù)據(jù)是能否正確決策的前提,“深綠”之所以要集成到指揮所系統(tǒng)中,就是要通過指揮系統(tǒng)給它提供采集和感知到的各種數(shù)據(jù)。所以說,“數(shù)據(jù)是否具有決定性”,在不同情況下會有不同的回答。

    計算機的決策是不是優(yōu)于人。計算機做出的作戰(zhàn)決策是不是可以優(yōu)于“人”?米勒定律③認為,大多數(shù)人在分析問題的時候,同時只能考慮7至9個因素。但如果計算機能夠同時考慮10個以上因素的話,那么它的分析能力肯定可以超過人。美軍曾做過一個RAID仿真實驗來驗證這個結論。設想了一個步兵連與一群叛亂分子的對抗,步兵連分為30~35個小組,由斯特瑞克裝甲車和武裝直升機加強火力。叛亂分子則由30個規(guī)模不一的小組組成。用OneSAF仿真系統(tǒng)仿真實驗36次,最后得出結論是RAID表現(xiàn)像人類的有16次,也就是你分不出來是人決策還是計算機決策,大約占到44%,也就是一半左右。戰(zhàn)斗取勝的18組中有16組是計算機,就是說有88%超過了人,這說明在這種情況下計算機能力還是很強的。

    但這是在戰(zhàn)斗或戰(zhàn)術層面等比較低的層次。到了高層,比如說旅級指揮所這一層,這個結論就很難說了。很多研究證明,層次越高藝術成分越高,越難用計算機輔助,就是因為計算機還不能像人那樣“藝術地”思考問題,其實這也是智能問題。這種情況下想要計算機去取代人肯定是不現(xiàn)實的,也不明智。決策問題最終要解決的問題,本質(zhì)上就是人與計算機應該如何分工的問題。

    陸軍平臺問題。“深綠”計劃雖然主要是針對陸軍部隊的,但事實上解決陸軍的自動化指揮決策問題比海空軍更困難,因為陸軍作戰(zhàn)行動中個人更自由,一般的步兵散兵很難定位和規(guī)范,也就是很難數(shù)字化。所以要想使用“深綠”系統(tǒng),就必須先將部隊的行動規(guī)范化,但是這在實際作戰(zhàn)中又做不到。

    那么“深綠”更適合用在什么系統(tǒng)里呢?對陸軍來說,更適合的是車載戰(zhàn)術級作戰(zhàn)指揮輔助系統(tǒng),就是使用車、使用坦克、使用裝甲車的部隊。對海軍、空軍及導彈部隊來說,比較適合的是戰(zhàn)術級輔助決策以及作戰(zhàn)規(guī)劃等系統(tǒng)。對網(wǎng)絡作戰(zhàn)來說,可能更適合于“事先規(guī)劃”的方式,就是戰(zhàn)前依托系統(tǒng)輔助制定決策,戰(zhàn)時依托數(shù)據(jù)自動決策的方式來完成。這種智能決策輔助應該如何使用,應該由它的對象來決定。

    以上這七個問題都是在“深綠”研發(fā)中必須要解決的問題,否則就很難被廣泛使用。但就目前的情況來看,“深綠”能做到的和人們期望只值之間,還存在很大的差距。而且還有一個矛盾或悖論:有的事情你能夠做到,但作戰(zhàn)并不太需要;有的事情作戰(zhàn)特別需要,卻很難做到。比如,在戰(zhàn)斗層或分隊層指揮信息系統(tǒng)可以做到智能輔助決策,因為這個層次的智能問題比較易于解決,但在實戰(zhàn)中偏偏在這種情況下指揮員一般一眼就可以看清,并不需要推演計算;但在戰(zhàn)役以上層次,戰(zhàn)場態(tài)勢特別復雜,一般人往往看不懂或看不清,特別需要智能輔助,但它卻無能為力。

    層次越高,作戰(zhàn)決策越復雜,越難以描述和處理,這不僅僅是因為部隊多了、數(shù)據(jù)多了、運算量大了等問題,而且還有復雜性帶來的不確定性、指數(shù)爆炸,以及對“對手”意圖的把握等對抗博弈的問題。所以說到底,核心問題還是決策智能輔助問題,也就是智能瓶頸能否突破?如果不能突破智能瓶頸,剛才說的問題就永遠都是問題。

    AlphaGo帶來的機遇——指揮信息系統(tǒng)智能技術的探索

    人類智能和機器智能面臨著不同的智能難題。有些事情對計算機非常容易,但對人卻很難,比如說計算、排序、記憶等;也有些事情對人來說很容易,但對計算機卻很難,比如說理解圖像,人一眼就能看出圖片中的各種物體,但是讓計算機去看恐怕就很困難。這就是所謂的“莫拉維克悖論”,說的就是人和機器在智能方面往往非常不同。

    一般來說,機器智能主要分為三大類:第一類是計算智能。機器可以在科學計算、邏輯處理等方面完勝人類。比如超級巨型機“天河”,科學運算速度可以達到幾千萬億次。但也還有很多事情能做但還做不好,比如說復雜推理時可能還需要直覺的幫助。IBM的“深藍”和“更深的藍”連續(xù)戰(zhàn)勝國際象棋棋王卡斯帕羅夫,但有很多科學家卻認為,它的方法本質(zhì)上還只是數(shù)學方法,并不屬“智能”的范疇。第二類是感知智能,就是智能化的感知接口,這種智能對人很容易但對機器卻很難。這幾年大數(shù)據(jù)和深度學習的出現(xiàn),使得機器在這方面有了很大的進步。比如語音識別,即將聽到的語音識別成文字,訊飛、阿里的語音識別就可以完勝速記員④,蘋果Siri、微軟小冰和百度的小度等也都做得非常出色,谷歌的圖片識別標注、ImageNet競賽等,都已經(jīng)達到令人驚嘆的水平。在行為感知智能方面,比如“大狗”機器人、行走士兵等。雖然現(xiàn)在進步很大,但還只是初級水平,尚有很多復雜的事情計算機還做不了。第三類是認知智能。這是最復雜的智能,以“能理解”“會決策”為基本特征。IBM的問答智能程序“沃森”可以在問答比賽中完勝人類,標志著計算機在知識組織上更有效;谷歌無人車需要多種感知和決策方面智能的結合,標志著無人平臺開始融入社會生活;現(xiàn)在還有包括我國在內(nèi)的多個國家都在做一件事情,就是要讓人工智能程序參加高考,甚至要爭取考入一本大學,最好能進清華、北大。這些事情在智能方面未來都有可能做到,但即便如此它們離真正的認知智能還有很遠的距離。要真正做到“能理解”“會決策”還很困難,因為“可識別”不等于“能理解”,你能認出這個東西是什么不等于理解了它,更不等于它“有意識”。AlphaGo和李世石的比賽一結束,就有媒體制造一些聳人聽聞的標題,討論“計算機何時開始統(tǒng)治人類”等問題,而目前計算機能不能具有“自我意識”都還不知道,消滅人類估計是很久以后的事情了。

    從三類機器智能來看,指揮信息系統(tǒng)在認知智能方面的差距最大,是明顯的瓶頸。但可以設想如果一旦突破,帶來的影響也將是極為重大的,這樣戰(zhàn)場態(tài)勢的認知速度就將成為決定作戰(zhàn)勝負的關鍵因素。因為從工具的角度來看,機器肯定要比人要做得好,所以只要一旦做出來了,它的算法、數(shù)據(jù)及計算能力都是可以重復的,因而也就可以無限放大它的作用。

    表1列出了指揮信息系統(tǒng)在三類智能方面的差距。認知智能、計算智能、感知智能分別對應著指揮信息系統(tǒng)的人機接口、基本指揮業(yè)務和輔助決策等功能。在感知智能方面,人機接口技術現(xiàn)在已經(jīng)越來越好了,因為近幾年深度學習方法取得很大突破,今后應該會有很大的突破。但是在輔助決策的認知智能方面,目前還有較大差距,還非常初級,就像“深綠”所做的那樣,雷聲大雨點小,至少目前還沒有很大的進展。

    AlphaGo近期掀起了一個很大的高潮,被認為是機器智能在方法進步上的里程碑。有人說這是谷歌會做廣告,但筆者認為不是這樣。為什么別的下棋程序也非常多,也戰(zhàn)勝過一些“名人”,卻知者寥寥?因為它們從智能技術和方法進步上來看價值不是太大。但AlphaGo卻給了我們很多驚喜,有了很多新的發(fā)現(xiàn),而且還有很多甚至連設計者事先可能都沒想到的地方,這才是它被大家認可的真正原因。

    AlphaGo在這次人機大戰(zhàn)中至少表現(xiàn)出以下幾個方面的突破,或者是表現(xiàn)出了很好的苗頭:一是它是通過深度學習自己掌握了圍棋對弈知識,而不是像“深藍”那樣將相關知識編在程序里;二是它展現(xiàn)出了一種捕捉“棋感直覺”的方法,將人類平衡全局勝負和局部優(yōu)化的能力捕捉下來并用于對抗,這是一個很大創(chuàng)新;三是在對弈中它甚至發(fā)現(xiàn)了人類沒有的圍棋著法,這是從圍棋高手的評論中得知的,說它比人更接近“圍棋之神”。據(jù)說它已經(jīng)達到了職業(yè)十三段,也有說可以讓四子下贏柯潔。這個進展還隱含著另一個結論,就是機器智能并不是簡單模擬和逼近人的智能,而是可以超過人的智能的。四是這種方法具有一定的“通用性”,可以應用在其他地方,而不只是下棋,因而極具參考價值。

    從以上這四條可以看出,雖然AlphaGo在認知智能方面還非常簡單也非常初級,但它揭示出了非常重要的趨勢,即在未來幾年以深度學習為代表的機器智能技術將有可能會有很大的突破,有可能產(chǎn)生出爆炸性的影響,我們不能不關注。

    深度學習方法的進展

    圍棋棋手的棋感和其他很多經(jīng)驗知識是一樣的,決定了他的水平,但只可意會,不可言傳。那么,怎樣讓AlphaGo學會圍棋高手的著法,并且獲得所謂的“棋感直覺”呢?這是通過深度學習方法做到的。

    深度學習是通過建立神經(jīng)元網(wǎng)絡達成“理解概念、捕捉感覺”的目的的,即“通過對大量樣本的學習,形成對事物特征的提取和分類”。這種學習可以分為有監(jiān)督訓練,也就是有人指導,用標簽進行分類;無監(jiān)督的訓練,沒有人指導,自己實現(xiàn)對特征的聚類。但這需要非常大的計算能力,比如AlphaGo就用了1202個CPU、176個GPU,計算能力約為深藍2.5萬倍,才完成了訓練。

    AlphaGo的神經(jīng)元網(wǎng)絡是通過學習逐步建立起來的,學習的過程就是逐步整合神經(jīng)網(wǎng)連接的過程,而逐漸整合就意味著逐步理解。但這個神經(jīng)網(wǎng)絡本身對外部的人來說仍然是黑箱網(wǎng)絡,我們并不知道十幾億節(jié)點之間怎么連接的,而且這些連接還會發(fā)生什么變化。但這些神經(jīng)網(wǎng)絡確實表示出了人對圍棋規(guī)律的理解,它是建立在大量訓練數(shù)據(jù)和大量計算基礎上的??梢哉f,深度學習就是“大數(shù)據(jù)+高性能計算+神經(jīng)網(wǎng)絡算法”的一個綜合體。

    而且,深度學習的學習方法是一種非常接近人類認知的形式。一般來說,人類學習的知識有兩類,一類是通過抽象化方式學習得到的,比如說在小學中學學習四則運算、牛頓定律和運動方程,這些是用抽象的形式化方法表達的。語文則是用文字方式來表達的,也是形式化的。另一類則是通過反復訓練、積累經(jīng)驗,以直覺的方式學習。以人接拋過來的球的過程為例,當你伸手去接球時,你的大腦中并沒有任何有關拋物線方程等形式化的公式,而是根據(jù)多年的經(jīng)驗就能把球接到。當我們把飛盤拋給狗的時候,這個狗也可以被慢慢地訓練得知道如何去接,形成條件反射。深度學習就是這種學習方法,而且具有“學習需要過程、經(jīng)驗難以言傳、結果有對有錯”等特點。這也是一種比較符合復雜系統(tǒng)特點的認知方式,雖然可能暫時找不到對應的因果關系或形式化表達,那就只能依據(jù)“感覺”和“經(jīng)驗”來做。而AlphaGo的深度增強學習方法,就為人們提供了捕捉這種經(jīng)驗和感覺的具體方法。其實,高手和低手的差別,其實就在“經(jīng)驗”“感覺”方面。誰都知道圍棋怎么下,但是高手和低手之間的差別就在于經(jīng)驗和棋感的差距。抓住經(jīng)驗的過程實質(zhì)上就是認知的過程。

    將這些方法用于作戰(zhàn)指揮信息系統(tǒng),既大有好處也非常自然?,F(xiàn)在許多深度學習方面的研究進展,都可以用于指揮信息系統(tǒng)設計中。

    智能人機接口方面的進展。在圖像語音的識別和理解方面,谷歌、微軟等很多公司做得非常好,進展很大。比如對象的識別、圖像的標注等,目前都可以做到。如果將這些方法用于衛(wèi)星圖像處理、目標識別、作戰(zhàn)文書識別等方面,效果肯定要比過去的那些方法要好很多,比如模式識別,這就可以為指揮信息系統(tǒng)提供更好的智能人機接口手段。

    智能認知方面的進展。以AlphaGo為例,它主要使用了四種方法實現(xiàn)圍棋的對弈決策:一是通過策略網(wǎng)絡(Policy Network)預測下一步走棋,這個網(wǎng)絡是通過前人棋譜和新老版本的自我博弈訓練出來的;二是通過估值網(wǎng)絡(Value Network)實現(xiàn)對整個棋局勝負的判定和預測,這個網(wǎng)絡是用隨機自我博弈的方式得到的;三是快速走子(Fast rollout),這是一種加快走棋速度的方法,是一種只管局部的著法,類似深藍,雖勝率要低些,但速度可以快1000倍左右;四是通過蒙特卡洛樹搜索(Monte Carlo Tree Search, MCTS)來探索勝率高的著法,將前三者結合起來,就像總控一樣來判斷哪種方式更好,并且結合起來使用。

    AlphaGo的這些方法很巧妙地解決了對圍棋這一類復雜問題的思考、判斷和決策問題。這方面的技術問題已經(jīng)有很多文章解釋過,本文僅簡單說明。如圖2所示,精確思考可以看作是以深度為主的推演估算,而若要得到對棋局全局的理解,就要在廣度上具有勝負直覺。這兩種方式正好與人類思考過程一致,推演估算是慢思考的方式,是一個精確計算逐步推理的過程,這是用策略網(wǎng)絡和快速走子完成的。而勝負直覺的思考過程,可以與快思考過程相對應,是由估值網(wǎng)絡實現(xiàn)的?,F(xiàn)在科學已經(jīng)證明,快思考的準確率可能比慢思考的準確率反而要高。也就是說,有時候我們一眼看過去得到的直覺答案往往是對的,而仔細推敲得到的答案反而可能是錯的。AlphaGo因為采用了類似的思考方式,所以勝率得以提高。

    AlphaGo團隊在論文里提供了一些數(shù)據(jù),這三種走子方式都可以單獨使用,但等級分并不高,也就是個業(yè)余水平;但如果將他們兩兩結合甚至三個結合起來,就完全可以超過人類頂尖棋手。這就是智能應該有的宏觀微觀整體考慮的感覺,所以結果就會很不一樣。至于用多少CPU,用分布式還是集中式,其實不是關鍵,差別也不大,核心問題仍然是算法。

    為了實現(xiàn)以上算法,就必須訓練得到兩個神經(jīng)網(wǎng)絡。為做到這一點,他們收集了16萬人類高手的棋譜,拆分為3000萬手盤面,相當于3000萬個訓練數(shù)據(jù),最后得到13層神經(jīng)網(wǎng)絡。但是對估值網(wǎng)來說,由于只估算終局勝負,16萬棋譜數(shù)據(jù)就遠遠不夠了。為得到更多數(shù)據(jù),他們再用隨機法生成了自我博弈的3000萬盤面,并且快速下完,得到勝負結果。有人認為這種方式其實也是一個重大創(chuàng)新,因為找到了產(chǎn)生更多樣本數(shù)據(jù)的途徑。

    這些方法也可以用于戰(zhàn)場態(tài)勢認知,通過多層神經(jīng)網(wǎng)絡學習來理解作戰(zhàn)態(tài)勢,并利用歷次作戰(zhàn)、演習的數(shù)據(jù)進行逐層訓練,逐步得到態(tài)勢理解的神經(jīng)網(wǎng)絡。在理解戰(zhàn)場態(tài)勢的基礎上準確判斷并合理處置,就可以實現(xiàn)輔助決策或自主決策。這就為解決最復雜的態(tài)勢認知問題提供了新的途徑。但是下棋和作戰(zhàn)指揮打仗還是很不一樣的,戰(zhàn)場上不可能有那么多得樣本數(shù)據(jù),而且決策方式、對抗過程也不可能讓你反復試驗,這就需要研究出更多的方法出來,并結合使用。

    學習方法的進展。AlphaGo使用的增強深度學習方法,是最可能用于戰(zhàn)場態(tài)勢理解的方法。一般的有監(jiān)督學習方法,比如AlphaGo最初得到的策略網(wǎng)絡,基本是模仿人類走法的套路,屬于經(jīng)驗招式。它學來學去最后也超不過人類高手,為什么?因為它學習的都是前人的東西,徒弟不創(chuàng)新怎么能戰(zhàn)勝師傅呢?

    但用增強學習得到的最終策略網(wǎng)絡就不一樣了,因為它還要通過自我博弈、調(diào)整參數(shù)等更多的學習過程加以完善。這就像師傅帶徒弟打籃球,徒弟老是去加班訓練投籃,而且還凈找些新方法,訓練的時間長了就有可能超過師傅了。所以,只有“訓練超出”“樣本超出”,才有可能做到“能力超出”。要下贏人,光靠模仿人不行,還要找到超過人的方法,自己加強創(chuàng)新訓練才行。AlphaGo團隊利用增強學習方法訓練計算機玩視頻游戲,已經(jīng)基本全部超過人類玩家,而且也是通過看電視進行像素級反復訓練做到的。

    增強學習方法是一種自我強化的訓練方式,但需要更多的樣本。而樣本并不容易找,因此就要有一種用少量樣本產(chǎn)生更多樣本方法,以解決樣本稀缺問題。對作戰(zhàn)態(tài)勢理解來說更是如此。AlphaGo產(chǎn)生訓練估值網(wǎng)絡的3000萬盤面用的是隨機下子然后正推的方式,在圖像識別領域用的則是將圖像旋轉等方法。對作戰(zhàn)態(tài)勢理解所需的訓練樣本,也可以使用空間劃分、時段分解、隨機復推等方式。利用兵棋推演得到仿真數(shù)據(jù),也可以看成是一種樣本生成方式。樣本生成是一種“以少代多、無中生有”的方法。

    遷移學習是一種可以只用少量樣本就可以完成訓練的學習方法,可以看成是“觸類旁通、舉一反三”的過程。在一些比較相似的領域,可以利用已經(jīng)訓練好的模型,這樣只需要一小部分數(shù)據(jù)就可以完成訓練,而不需要那么多的數(shù)據(jù)。比如,已經(jīng)認識了“坦克”,再去認識“自行火炮”就容易得多了,就不需要幾千萬樣本再去訓練它。

    小樣本學習可能是一種更有用的方式,可以看成是一種“照貓畫虎”的方式。人類為什么可以只看一眼就可以識別某個對象的特征?比如看這個菠蘿只用一眼就可以找出特征,下次再看到就知道這是菠蘿。通過“例子”抓住特征,一旦抓住我們就能把它和別的東西區(qū)分開。2016年初《科學》雜志報道了麻省理工學院的一種小樣本學習方法⑤,叫“概率程序計算結構”,其實就是基于案例的貝葉斯程序方法(BPL)。用這個方法生成相似的字符,還通過了圖靈測試,也就是分不出人類與計算機的差別。這就給了我們新的啟示,用小樣本也可以來做作戰(zhàn)態(tài)勢理解,過去在分析過程中就常用貝葉斯方法。

    具體對抗類應用方面的進展?,F(xiàn)在深度學習方法已經(jīng)被DeepMind公司用到了很多地方,比如說用于打德州撲克,這是一種“不完全動態(tài)信息”博弈問題。對抗各方的牌面不完全公開,這就要求對抗各方要在“戰(zhàn)爭迷霧”中進行決策和對抗,讓計算機去理解它就更為復雜。他們怎么做的呢?也是用“增強學習方法+虛擬自我博弈”的方式,通過自己跟自己打來學習,打久了也就知道怎么打了。目前它打德州撲克已經(jīng)達到了人類專家的水平,也就是和高手去比勝多負少。

    DeepMind下一步還準備攻克“星際爭霸II”。這是一種2010年出品的即時戰(zhàn)略游戲,可以多人對戰(zhàn),在特定的地圖上采集資源,生產(chǎn)兵力,并摧毀對手的所有建筑而取得勝利。可以認為它就是一種真實戰(zhàn)場的簡化:不確定條件、不完全信息、多兵種行動、策略間對抗。如果成功,它就將進一步接近對戰(zhàn)爭對抗的認知,而且還很容易遷移到真實的作戰(zhàn)態(tài)勢認知方面,所以我們絕對不能忽視!

    指揮信息系統(tǒng)的智能化趨勢

    如何把這些方法用于改進指揮信息系統(tǒng)呢?DARPA原以為“深藍”可以自然變?yōu)椤吧罹G”,但實際上,“深藍”方法并不是真正的智能,與作戰(zhàn)指揮的本質(zhì)規(guī)律也不太符合,“暴力搜索”方法也不適應決策的非線性空間求解,即使是在智能接口實現(xiàn)方面也不太理想。

    但AlphaGo的深度學習方法更有參考價值,因為它已經(jīng)有了通用化特點,具備了產(chǎn)生突破的可能性,技術途徑更符合人類智能行為,而且易與指揮活動對接起來。如果把AlphaGo的方法用于“深綠”,可以有很好的對應關系:對于指揮官助手,可以采用深度學習方法解決語音理解、草圖輸入等問題;閃電戰(zhàn)部分有點類似AlphaGo的走子網(wǎng)絡SL+RL+Rollout的結合;和水晶球部分類似的則是AlphaGo的蒙特卡洛樹搜索MCTS。把它們結合起來,就可以比過去“深藍”的方法要好得多。所以說,如果“深綠”引入AlphaGo的技術,將會很快取得更大進展,這一點我們可以拭目以待。

    最近又爆出一個消息,辛辛那提大學開發(fā)的“阿爾法AI”機器飛行員,在2016年6月,戰(zhàn)勝了著名的空軍戰(zhàn)術教官基納·李上校,而且無一敗績。據(jù)說這個上校雖然已經(jīng)退役,但在空戰(zhàn)方面是專家。與機器飛行員的“人機”對抗是通過空戰(zhàn)模擬器進行的,單機對單機,過程比較簡單,屬于“動作及簡單戰(zhàn)術行為”的智能。它采用的是稱為“遺傳模糊邏輯”的智能技術,空中格斗快速協(xié)調(diào)戰(zhàn)術計劃的速度比人快250倍。而且所用硬件僅價值500美元,比AlphaGo便宜太多了。據(jù)說在未來這個機器飛行員可充當智能對手進行作戰(zhàn)訓練,也可以成為智能僚機,幫助人去打仗,或者是用于自主化的無人機。它的出現(xiàn)使人們可以肯定一點,即人工智能將會很快走入實戰(zhàn)領域。這是一件比較可怕的事情,設想計算機打敗了一個著名資深戰(zhàn)術教官上校,那它來跟人打仗,至少在速度上已經(jīng)占據(jù)了優(yōu)勢,如果還捕捉了專家的經(jīng)驗,斗爭的結果將不言而喻。

    目前機器智能研究已成熱點。孫正義認為,機器智能就是未來的“智能核彈”。他說,普通人的IQ為100,愛因斯坦為190,達芬奇是人類史上IQ最高的人為200,如果機器達到了10000,那將會是一種什么效果?那時,是不是機器看人類都像是傻子?世界上許多大型IT公司對“深度學習”研究也都做了大量的布局,谷歌在2012年只有不到100這個方面的項目,而到了2015年,就超過了2700個。如果其中有十分之一甚至百分之一獲得成功,他也將會大獲成功。AlphaGo已經(jīng)證明了這一點,臉譜、百度、騰訊、阿里巴巴等公司也是一樣。

    美國DARPA現(xiàn)在非常重視人工智能的研究,它的第三次抵消戰(zhàn)略實際上就是圍繞人工智能和無人機這個重點來做的。他們認為,智能技術是改變戰(zhàn)爭規(guī)則的東西,但重點在人、機智能的結合方面,所以它叫“半人馬”⑥。所以說,即使從這一點看,解決指揮信息系統(tǒng)中的智能瓶頸問題也是刻不容緩的。

    目前指揮信息系統(tǒng)智能化方面的趨勢主要有以下一些:

    擬人化人機交流。未來在指揮信息系統(tǒng)中擬人化的人機交流方式會越來越普遍,指揮員與系統(tǒng)將通過草圖、口語或手勢進行交流,成為指揮信息系統(tǒng)人機接口的標配,而且會普及到所有裝備和人員。

    數(shù)據(jù)化快速決策。從數(shù)據(jù)到?jīng)Q策將使決策走向智能化、自動化?!吧罹G”只能為指揮員“輔助決策”,起作戰(zhàn)伴侶作用,但利用大數(shù)據(jù)及智能輔助可實現(xiàn)“從數(shù)據(jù)到?jīng)Q策”,也就是它可以直接決策,不需要人介入,因而作戰(zhàn)速度會大大加快。不僅行動要快,態(tài)勢理解要快,做出決定更要快!這就意味著認知速度將成為未來作戰(zhàn)勝負的決定性因素,也就是誰理解得快誰就可以打贏,誰理解得慢誰就挨打。

    無人平臺的指控。未來需要特別關注自主化無人智能作戰(zhàn)平臺的指揮控制問題,這在過去根本沒有過,所以如何指揮控制成為問題。無人機與有人機的協(xié)同,尤其是自主無人機協(xié)同,將成為重點。蘭德公司去年出了一個報告,專門研究了無人機和有人機協(xié)同作戰(zhàn)問題,演化出的新戰(zhàn)法完全不同于現(xiàn)在。如果我們還是沿用傳統(tǒng)思維,哪怕是信息化了的傳統(tǒng)思維,恐怕連敵機的面都沒有見到,就與世界拜拜了。這種方式在未來可能成為主要的作戰(zhàn)方式。所以,美國人說了一句話:“散開來的智能武器更令人恐懼”⑦。明明知道它沒有人,但散開來之后極其嚇人,因為你根本不知道它會如何對付你?,F(xiàn)在已經(jīng)出現(xiàn)恐怖分子向美國無人機投降的情形,很值得玩味。

    作戰(zhàn)云開始出現(xiàn)。這個概念是前美國空軍第一副參謀長戴維·A·德普圖拉中將提出來的⑧,他也是美國軍事變革的代表性人物。他的意思就是要采用信息時代技術的情報、監(jiān)視與偵察、打擊、機動和維持的復合體,以使高度互聯(lián)的分布式作戰(zhàn)行動可行。這類似于云計算和云服務的概念,通過所有可能得到的數(shù)據(jù),整合各個作戰(zhàn)力量,從而達到增強作戰(zhàn)效能且獲得規(guī)模效益。它特別適于智能化無人平臺、特戰(zhàn)部隊等新型作戰(zhàn)力量的運用。

    所有這些都特別需要智能技術的進步。指揮信息系統(tǒng)未來發(fā)展的關鍵在于:第一,要充分利用智能技術進步成果,如深度學習等,促進指揮控制技術和信息系統(tǒng)的升級換代;第二,對不同類型應用應結合不同智能技術和方法,比如人機接口、輔助決策、模擬推演等,都會有不同的側重點;第三,發(fā)揮人機結合的優(yōu)勢,未來是“人機智能”的時代,而不是機器取代人。人、機在智能上如何分工如何合作,這才是關鍵之所在。

    “深綠”的發(fā)展及AlphaGo的突破給了我們很多啟示。我們不能急功近利,但也不能坐以待斃,特別注意搞好基礎性研究。有人說,我們過去是“機械化沒趕上,信息化拼命追,智能化不能再落后”。筆者認為,機械化通過裝備更新比較容易趕上,信息化需要時間積淀和規(guī)模效應,但也可以逐步追上,但智能化就不太一樣,它們之間是有本質(zhì)區(qū)別的,一旦趕不上可能就會永遠趕不上,因為戰(zhàn)爭可能不會給你追趕的時間了,戰(zhàn)爭智能技術會快速地擴大強者和追趕者之間的鴻溝,放大兩者之間的能力差距,從而導致狂妄的戰(zhàn)爭冒險,讓你追無可追。

    注釋

    Kerr,Bob, "DARPA demos Deep Green," Fort Leavenworth Lamp, 7 April 2011. Surdu, John R.,"Deep Green," Defense Advanced Research Projects Agency (8 May 2008). Banks, Stephen, J., "Lifting Off of the Digital Plateau With Military Decision Support Systems, " United States Army Command and General Staff College, 2013.

    Surdu, John R., "The Deep Green Concept," Huntsville Simulation Conference 2007. Huntsville, 2007. Surdu, John R.,"The Deep Green Concept," Spring Simulation Multiconference 2008 (SpringSim'08), Military Modelling and Simulation Symposium (MMS). Ottawa, 2008.

    Geoge A Miller, "The magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information," The Psychological Review, 1956, 63: 81-97.

    Yann LeCun, Yoshua Benjio, Geoffrey Hinton, "Deep Learning," Nature, 2015, 521:436-444.

    Brenden M. Lake, Ruslan Salakhutdinov, Joshua B.Tenenbaum, Human-level Concept Learning Through Probabilistic Program Induction, Science. 2015, 350:1332-1338.

    http://www.cetin.net.cn/gcw/index.php?m=content&c=index&a=show&catid=9&id=17945.

    王濤:《美軍打造無人機系統(tǒng)訓練戰(zhàn)略》,《現(xiàn)代軍事》,2015年第7期,第99頁。

    Lt Gen David A.Deptula, "A New Era for Command and Control of Aerospace Operations" Air & Space Power Journal, July–August 2014.

    責 編/凌肖漢

    Abstract: The military command information system has made outstanding achievements, but it also faces great challenges, the biggest one comes from intelligent technology. How to understand the role and function of intelligent technology in the future war and help to make a breakthrough in the research on the key intelligent technology are the problems that must be faced in the construction of the Chinese command information system. Taking the development process of the American "Deep Green" project as an example, this article analyses the intelligence-related problems existing in the development of the current command information system, and by referring to intelligent technology breakthroughs like AlphaGo, explores the development direction of the command information system as well as the way to make it intelligent.

    Keywords: command information system, artificial intelligence, depth learning, situation understanding

    猜你喜歡
    深度學習人工智能
    我校新增“人工智能”本科專業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    有體驗的學習才是有意義的學習
    電子商務中基于深度學習的虛假交易識別研究
    MOOC與翻轉課堂融合的深度學習場域建構
    大數(shù)據(jù)技術在反恐怖主義中的應用展望
    深度學習算法應用于巖石圖像處理的可行性研究
    軟件導刊(2016年9期)2016-11-07 22:20:49
    基于深度卷積網(wǎng)絡的人臉年齡分析算法與實現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    综合色丁香网| 久久精品熟女亚洲av麻豆精品| 久久精品国产a三级三级三级| 热re99久久精品国产66热6| 午夜日韩欧美国产| 日韩不卡一区二区三区视频在线| 久久99一区二区三区| 欧美精品人与动牲交sv欧美| 午夜日本视频在线| 国产黄色免费在线视频| 成人黄色视频免费在线看| 亚洲色图 男人天堂 中文字幕| 观看av在线不卡| 亚洲国产av影院在线观看| 亚洲精品乱久久久久久| 夫妻午夜视频| av在线播放精品| 一本大道久久a久久精品| 丝袜在线中文字幕| 女性生殖器流出的白浆| 国产精品秋霞免费鲁丝片| 亚洲情色 制服丝袜| 国产黄色视频一区二区在线观看| 18+在线观看网站| 亚洲av欧美aⅴ国产| 日韩大片免费观看网站| 9热在线视频观看99| 精品一区二区三卡| 日韩av在线免费看完整版不卡| 亚洲av福利一区| 亚洲欧美一区二区三区久久| tube8黄色片| 精品国产露脸久久av麻豆| 亚洲欧美成人综合另类久久久| 一区二区三区四区激情视频| 亚洲图色成人| 黄频高清免费视频| 日本猛色少妇xxxxx猛交久久| 中文字幕精品免费在线观看视频| 久久狼人影院| 亚洲av国产av综合av卡| 国产日韩一区二区三区精品不卡| 人妻系列 视频| 国产午夜精品一二区理论片| 街头女战士在线观看网站| av天堂久久9| 少妇人妻精品综合一区二区| 国产成人一区二区在线| 国产精品成人在线| 国产免费视频播放在线视频| 国产日韩欧美亚洲二区| 亚洲国产精品一区二区三区在线| 欧美少妇被猛烈插入视频| 午夜激情av网站| 久久精品aⅴ一区二区三区四区 | 夜夜骑夜夜射夜夜干| 亚洲av在线观看美女高潮| 久久久久国产网址| 日本vs欧美在线观看视频| 亚洲婷婷狠狠爱综合网| 亚洲少妇的诱惑av| 亚洲av欧美aⅴ国产| 国产亚洲午夜精品一区二区久久| 国产黄色视频一区二区在线观看| 午夜福利一区二区在线看| 天天躁夜夜躁狠狠久久av| 有码 亚洲区| 久久久久精品性色| 人妻 亚洲 视频| 日韩av不卡免费在线播放| 男女边吃奶边做爰视频| 亚洲成人一二三区av| 国产精品二区激情视频| 国产一区二区在线观看av| 亚洲国产欧美网| 亚洲伊人色综图| 国产男女超爽视频在线观看| 日韩av免费高清视频| av女优亚洲男人天堂| 久久婷婷青草| 哪个播放器可以免费观看大片| 黄色怎么调成土黄色| 亚洲精品国产av蜜桃| 伦理电影大哥的女人| 国产一区二区在线观看av| 人妻人人澡人人爽人人| 成年动漫av网址| 一级片免费观看大全| av一本久久久久| 三级国产精品片| 人人妻人人爽人人添夜夜欢视频| 亚洲欧洲国产日韩| 免费日韩欧美在线观看| 蜜桃在线观看..| 在线观看免费日韩欧美大片| 精品少妇久久久久久888优播| 如何舔出高潮| 丝袜美腿诱惑在线| 自拍欧美九色日韩亚洲蝌蚪91| 色婷婷久久久亚洲欧美| 久久av网站| 男人操女人黄网站| 咕卡用的链子| 亚洲人成网站在线观看播放| 国产精品无大码| 最近中文字幕高清免费大全6| 女人被躁到高潮嗷嗷叫费观| 免费观看在线日韩| 伦理电影免费视频| 精品99又大又爽又粗少妇毛片| 人人妻人人澡人人爽人人夜夜| 99热网站在线观看| 久久精品夜色国产| 欧美人与善性xxx| 少妇被粗大猛烈的视频| 日本欧美国产在线视频| 日韩在线高清观看一区二区三区| 成人国产麻豆网| 人妻人人澡人人爽人人| 国产不卡av网站在线观看| 街头女战士在线观看网站| 国产1区2区3区精品| 日日啪夜夜爽| 天天操日日干夜夜撸| av一本久久久久| 黄色 视频免费看| 色94色欧美一区二区| 色吧在线观看| 激情视频va一区二区三区| 久久鲁丝午夜福利片| 大香蕉久久成人网| 亚洲精品国产色婷婷电影| 热re99久久精品国产66热6| 性高湖久久久久久久久免费观看| av网站在线播放免费| 一本久久精品| 国产黄色视频一区二区在线观看| 国产精品免费视频内射| 女的被弄到高潮叫床怎么办| 国产成人精品福利久久| av又黄又爽大尺度在线免费看| 久久精品夜色国产| 久久女婷五月综合色啪小说| 中文字幕色久视频| 人妻系列 视频| 五月开心婷婷网| 可以免费在线观看a视频的电影网站 | 午夜激情av网站| 欧美人与善性xxx| 精品久久久久久电影网| 97精品久久久久久久久久精品| 不卡视频在线观看欧美| h视频一区二区三区| 亚洲精品自拍成人| 亚洲av电影在线观看一区二区三区| 999精品在线视频| 国产精品一区二区在线观看99| 一级毛片 在线播放| 超碰成人久久| 中文字幕人妻丝袜一区二区 | 精品少妇内射三级| 久久国产精品男人的天堂亚洲| 久久免费观看电影| 国产成人a∨麻豆精品| 老熟女久久久| 国产精品成人在线| 老司机亚洲免费影院| av在线老鸭窝| 国产精品成人在线| 男人爽女人下面视频在线观看| 免费看不卡的av| 久久精品亚洲av国产电影网| 婷婷色综合www| 亚洲欧美成人精品一区二区| 亚洲欧洲国产日韩| 秋霞在线观看毛片| 黄频高清免费视频| 亚洲,一卡二卡三卡| videos熟女内射| 久久久久久久久久久久大奶| www.熟女人妻精品国产| 久久精品夜色国产| 亚洲男人天堂网一区| 欧美日韩一区二区视频在线观看视频在线| 国产日韩欧美在线精品| 成人免费观看视频高清| 亚洲色图 男人天堂 中文字幕| 日韩伦理黄色片| 纵有疾风起免费观看全集完整版| 日韩一卡2卡3卡4卡2021年| 日日爽夜夜爽网站| 亚洲精品日本国产第一区| 另类精品久久| 一个人免费看片子| 国产精品二区激情视频| 精品福利永久在线观看| 又大又黄又爽视频免费| 亚洲精品国产色婷婷电影| 9191精品国产免费久久| 亚洲精品中文字幕在线视频| 午夜福利乱码中文字幕| 欧美日韩综合久久久久久| 哪个播放器可以免费观看大片| 欧美精品av麻豆av| 久久精品国产综合久久久| 国产在线一区二区三区精| 色94色欧美一区二区| 久久久精品94久久精品| videos熟女内射| 亚洲精品,欧美精品| 亚洲精品国产av成人精品| 日韩在线高清观看一区二区三区| 午夜激情久久久久久久| 丝瓜视频免费看黄片| 一级片免费观看大全| 国产精品久久久久久av不卡| 99re6热这里在线精品视频| 一本—道久久a久久精品蜜桃钙片| 亚洲精品成人av观看孕妇| 欧美日韩综合久久久久久| 中文字幕最新亚洲高清| 一级爰片在线观看| 亚洲美女视频黄频| 久久精品久久久久久久性| 亚洲第一区二区三区不卡| 黄片播放在线免费| h视频一区二区三区| 亚洲美女视频黄频| 国产精品蜜桃在线观看| 大香蕉久久成人网| 一二三四在线观看免费中文在| 日韩熟女老妇一区二区性免费视频| 一级毛片电影观看| 男人添女人高潮全过程视频| 免费观看a级毛片全部| 五月天丁香电影| 精品酒店卫生间| 国产亚洲午夜精品一区二区久久| 欧美av亚洲av综合av国产av | 精品久久蜜臀av无| 女人高潮潮喷娇喘18禁视频| 国产极品粉嫩免费观看在线| 国产精品一二三区在线看| 你懂的网址亚洲精品在线观看| 9色porny在线观看| 国产午夜精品一二区理论片| 日韩av免费高清视频| 老熟女久久久| 久久精品亚洲av国产电影网| 亚洲精品第二区| 肉色欧美久久久久久久蜜桃| 男男h啪啪无遮挡| 少妇被粗大的猛进出69影院| 777米奇影视久久| 久久人人97超碰香蕉20202| 男女边摸边吃奶| 咕卡用的链子| 美女高潮到喷水免费观看| 黑人猛操日本美女一级片| 涩涩av久久男人的天堂| 亚洲国产av影院在线观看| 久久精品久久久久久久性| 满18在线观看网站| 免费在线观看视频国产中文字幕亚洲 | 亚洲av.av天堂| 飞空精品影院首页| 久久99精品国语久久久| 97人妻天天添夜夜摸| 国产高清不卡午夜福利| 高清不卡的av网站| 久久久久精品人妻al黑| 国产成人精品无人区| 青春草亚洲视频在线观看| 欧美在线黄色| 国产精品人妻久久久影院| 熟妇人妻不卡中文字幕| 26uuu在线亚洲综合色| 婷婷色综合www| 两个人免费观看高清视频| 97人妻天天添夜夜摸| 97在线人人人人妻| 亚洲av电影在线进入| 久久久精品国产亚洲av高清涩受| 久久精品国产综合久久久| 亚洲久久久国产精品| 欧美国产精品一级二级三级| 青春草视频在线免费观看| 色婷婷av一区二区三区视频| 18禁观看日本| 少妇被粗大猛烈的视频| 妹子高潮喷水视频| 街头女战士在线观看网站| 狂野欧美激情性bbbbbb| 亚洲精品aⅴ在线观看| av电影中文网址| 黄色配什么色好看| 校园人妻丝袜中文字幕| 精品少妇黑人巨大在线播放| 日韩成人av中文字幕在线观看| av视频免费观看在线观看| 各种免费的搞黄视频| 国产爽快片一区二区三区| 免费人妻精品一区二区三区视频| 亚洲三区欧美一区| 亚洲精品日韩在线中文字幕| 在线 av 中文字幕| 免费观看在线日韩| 亚洲精品国产av成人精品| 久久久国产精品麻豆| 看免费av毛片| 亚洲久久久国产精品| 国产人伦9x9x在线观看 | 一本色道久久久久久精品综合| 亚洲国产成人一精品久久久| 看非洲黑人一级黄片| 婷婷色av中文字幕| 两性夫妻黄色片| 亚洲欧美一区二区三区国产| 男女边摸边吃奶| 亚洲国产色片| 精品人妻偷拍中文字幕| 国产成人aa在线观看| 成年美女黄网站色视频大全免费| 欧美国产精品va在线观看不卡| 老司机影院毛片| av在线播放精品| 国产精品二区激情视频| 日本爱情动作片www.在线观看| 亚洲第一青青草原| 久久久久人妻精品一区果冻| kizo精华| 免费av中文字幕在线| 美女中出高潮动态图| 成人国语在线视频| 亚洲第一av免费看| 在线观看三级黄色| 一区福利在线观看| 国产片内射在线| 日韩电影二区| 国产激情久久老熟女| 亚洲三级黄色毛片| 亚洲内射少妇av| 国产日韩欧美在线精品| 国产一区亚洲一区在线观看| 欧美97在线视频| 精品午夜福利在线看| 亚洲欧美色中文字幕在线| 最近最新中文字幕免费大全7| 亚洲av在线观看美女高潮| 日韩不卡一区二区三区视频在线| 国产乱人偷精品视频| 国产国语露脸激情在线看| 18禁观看日本| 久久久久久伊人网av| 韩国精品一区二区三区| 久久久久久伊人网av| 精品亚洲乱码少妇综合久久| av片东京热男人的天堂| 国产日韩欧美在线精品| 亚洲国产欧美在线一区| 亚洲三级黄色毛片| 欧美少妇被猛烈插入视频| 久热这里只有精品99| 日韩av免费高清视频| 成年动漫av网址| 男女边吃奶边做爰视频| 熟女av电影| 精品第一国产精品| 国产在线视频一区二区| 一二三四中文在线观看免费高清| 性高湖久久久久久久久免费观看| 午夜日韩欧美国产| 精品国产乱码久久久久久男人| 一本久久精品| 纵有疾风起免费观看全集完整版| 亚洲国产精品成人久久小说| 久久久亚洲精品成人影院| 久久精品夜色国产| 日本av免费视频播放| 久久久久久免费高清国产稀缺| 亚洲精品,欧美精品| 啦啦啦啦在线视频资源| 国产欧美日韩综合在线一区二区| av线在线观看网站| 中文字幕色久视频| 两个人免费观看高清视频| 国产亚洲最大av| 黄片小视频在线播放| 国产成人av激情在线播放| 欧美+日韩+精品| 亚洲 欧美一区二区三区| 国产欧美亚洲国产| 毛片一级片免费看久久久久| 99国产综合亚洲精品| 国产精品久久久久成人av| 亚洲av日韩在线播放| 色婷婷久久久亚洲欧美| 亚洲精品日韩在线中文字幕| 美女视频免费永久观看网站| 最新中文字幕久久久久| 亚洲少妇的诱惑av| 久久久久视频综合| 欧美变态另类bdsm刘玥| 日本av手机在线免费观看| 成年人免费黄色播放视频| 久久 成人 亚洲| 久久国产精品大桥未久av| 我要看黄色一级片免费的| 国产福利在线免费观看视频| 欧美成人午夜精品| 美女主播在线视频| 亚洲伊人色综图| 少妇的丰满在线观看| 成年女人在线观看亚洲视频| 亚洲国产精品一区三区| 成年人免费黄色播放视频| 亚洲成人手机| 在线看a的网站| 国产精品久久久久久精品电影小说| 91午夜精品亚洲一区二区三区| 亚洲精品成人av观看孕妇| 欧美精品一区二区免费开放| 999久久久国产精品视频| 99热网站在线观看| 久久这里有精品视频免费| 男女国产视频网站| 看免费成人av毛片| 午夜91福利影院| 久久人妻熟女aⅴ| 777久久人妻少妇嫩草av网站| 超色免费av| 欧美日韩亚洲高清精品| 国产97色在线日韩免费| 日韩电影二区| 欧美日韩视频高清一区二区三区二| 九草在线视频观看| 99久久精品国产国产毛片| 午夜福利网站1000一区二区三区| 亚洲五月色婷婷综合| 成人黄色视频免费在线看| 乱人伦中国视频| 自拍欧美九色日韩亚洲蝌蚪91| 久久毛片免费看一区二区三区| 黄色怎么调成土黄色| 波野结衣二区三区在线| 美女国产高潮福利片在线看| 街头女战士在线观看网站| 伊人久久大香线蕉亚洲五| 一级毛片 在线播放| 日韩精品免费视频一区二区三区| 综合色丁香网| 人体艺术视频欧美日本| 人妻少妇偷人精品九色| av免费观看日本| 纯流量卡能插随身wifi吗| 女人精品久久久久毛片| 欧美变态另类bdsm刘玥| 免费观看无遮挡的男女| 亚洲av日韩在线播放| 99热全是精品| 一区二区av电影网| 天天影视国产精品| 国产精品女同一区二区软件| 亚洲成人av在线免费| 国产精品久久久久久精品电影小说| 免费人妻精品一区二区三区视频| 国产深夜福利视频在线观看| 日韩av免费高清视频| 欧美人与善性xxx| 777米奇影视久久| 美女中出高潮动态图| 美女xxoo啪啪120秒动态图| 五月开心婷婷网| 不卡av一区二区三区| 1024视频免费在线观看| 国产爽快片一区二区三区| 国产精品人妻久久久影院| 免费看不卡的av| 国产成人免费无遮挡视频| 国产免费福利视频在线观看| 在线观看www视频免费| 日韩制服骚丝袜av| 日韩电影二区| 久久97久久精品| 天堂中文最新版在线下载| 日韩一区二区三区影片| 少妇人妻久久综合中文| 欧美97在线视频| 久久久久久久久免费视频了| 国产av码专区亚洲av| 亚洲精品第二区| 人人妻人人澡人人看| 亚洲国产看品久久| av国产精品久久久久影院| 香蕉丝袜av| 一边摸一边做爽爽视频免费| 亚洲伊人久久精品综合| 一区福利在线观看| 免费观看无遮挡的男女| 人成视频在线观看免费观看| 亚洲国产成人一精品久久久| 大片电影免费在线观看免费| 亚洲国产日韩一区二区| 久久久久网色| 中文字幕人妻熟女乱码| 国产免费又黄又爽又色| 久久精品久久精品一区二区三区| 亚洲欧美一区二区三区黑人 | 一区二区av电影网| 成人午夜精彩视频在线观看| 美女福利国产在线| 男女啪啪激烈高潮av片| av线在线观看网站| 亚洲精品国产色婷婷电影| 亚洲成色77777| 国产黄色视频一区二区在线观看| 亚洲av成人精品一二三区| 亚洲三级黄色毛片| 日日爽夜夜爽网站| 欧美精品人与动牲交sv欧美| 久久久久久人妻| 色哟哟·www| 成年人免费黄色播放视频| 国产精品熟女久久久久浪| 在线观看免费日韩欧美大片| 日本91视频免费播放| 中文字幕最新亚洲高清| 国产精品av久久久久免费| 国产日韩欧美视频二区| 国产97色在线日韩免费| 亚洲成av片中文字幕在线观看 | 欧美激情极品国产一区二区三区| 老司机影院成人| 国产 一区精品| 国产日韩欧美在线精品| 亚洲色图综合在线观看| 久久久久久久久久久久大奶| 亚洲图色成人| av天堂久久9| 国产有黄有色有爽视频| 建设人人有责人人尽责人人享有的| 色吧在线观看| 99国产精品免费福利视频| 老司机亚洲免费影院| 五月伊人婷婷丁香| 午夜福利乱码中文字幕| 午夜日韩欧美国产| 只有这里有精品99| 精品亚洲成国产av| 亚洲国产精品一区三区| 成年美女黄网站色视频大全免费| 如何舔出高潮| 午夜久久久在线观看| 亚洲成色77777| 日韩一区二区三区影片| 少妇的丰满在线观看| 日本黄色日本黄色录像| 亚洲一区中文字幕在线| 亚洲美女视频黄频| 欧美老熟妇乱子伦牲交| 国产在视频线精品| 国产熟女午夜一区二区三区| 久久这里有精品视频免费| 午夜日韩欧美国产| 91国产中文字幕| 国产xxxxx性猛交| 国产成人免费无遮挡视频| 亚洲精品自拍成人| 久久久国产欧美日韩av| 亚洲 欧美一区二区三区| 精品人妻偷拍中文字幕| 男女午夜视频在线观看| 久久久久久久精品精品| 久久久久久久久久久久大奶| 高清在线视频一区二区三区| 丰满迷人的少妇在线观看| av.在线天堂| 老汉色∧v一级毛片| 午夜久久久在线观看| 亚洲成人av在线免费| 亚洲av综合色区一区| 自拍欧美九色日韩亚洲蝌蚪91| 国产精品.久久久| 日韩一区二区三区影片| xxx大片免费视频| 久久久久久久久久久免费av| 免费黄色在线免费观看| 亚洲精品乱久久久久久| 国产一区二区激情短视频 | 精品一区二区免费观看| 人妻一区二区av| 亚洲国产色片| 国产成人91sexporn| 亚洲精品美女久久久久99蜜臀 | 老司机亚洲免费影院| 成人国产麻豆网| 欧美黄色片欧美黄色片| 在现免费观看毛片| 最新中文字幕久久久久| 亚洲国产精品999| 亚洲av免费高清在线观看| 亚洲美女视频黄频| 高清视频免费观看一区二区| 9热在线视频观看99| 一级毛片 在线播放| 日韩,欧美,国产一区二区三区| 少妇人妻精品综合一区二区| 成年女人毛片免费观看观看9 | 一个人免费看片子| 日日摸夜夜添夜夜爱| 免费人妻精品一区二区三区视频| 精品国产一区二区三区四区第35| 王馨瑶露胸无遮挡在线观看| 亚洲天堂av无毛| 18+在线观看网站|