桂暢旎,楊婧婧,李維杰
(中國信息安全測評中心 北京 100085)
在互聯(lián)網(wǎng)時代,漏洞已成為一種國家級戰(zhàn)略資源。作為網(wǎng)絡安全的核心要素,漏洞利用對國家安全、經濟發(fā)展和隱私保護帶來挑戰(zhàn)。美國政府一直將漏洞管理作為信息安全戰(zhàn)略的關鍵要素,持續(xù)投入力量建立開放靈活的漏洞收集、發(fā)布等機制。特朗普當選后,美國政府更是將漏洞管控作為網(wǎng)絡安全政策的優(yōu)先項。11月15日,美國白宮網(wǎng)站發(fā)布報告《美國聯(lián)邦政府漏洞公平裁決政策和程序》(Vulnerabilities Equities Policy and Process for the United States Government,以下簡稱《漏洞公平裁決政策和程序》)[1],詳細描述了特朗普政府更新漏洞公平裁決流程的原因、方法和愿景,標志著本屆政府向“漏洞公平裁決程序”(Vulnerabilities Equities Process,VEP)機制建設邁出重要一步,將對全球網(wǎng)絡治理產生重要影響。
“漏洞公平裁決程序”實質上是美國政府針對信息安全漏洞,由多部門協(xié)調處理的一套行政過程[2],目標是在決定披露或者保留漏洞時,能平衡“情報收集”、“調查事項”和“信息安全保障”三方面的影響,做出“對整體利益最好的決策”,主要規(guī)制對象是“新發(fā)現(xiàn)且未公開”的漏洞[3]。
漏洞公平裁決流程最早可追溯至美國前總統(tǒng)小布什在2008年1月簽發(fā)第54號國家安全政策指令[4]和第23號國土安全總統(tǒng)指令[5],提出了“綜合國家網(wǎng)絡安全倡議”(Comprehensive National Cybersecurity Initiative,CNCI),其中要求國務院、國防部、國土安全部、司法部以及國家情報總監(jiān)辦公室共同制定一項“協(xié)調進攻性能力的聯(lián)合計劃”,以保護美國信息系統(tǒng)。該計劃指出,“漏洞的發(fā)現(xiàn)可能會引發(fā)相互競爭的利益訴求,干擾政府協(xié)調建設網(wǎng)絡進攻和防御能力”,要求“采取行動妥善解決各方利益關切”[6]。該計劃提出建立“漏洞公平裁決流程”以機制化和系統(tǒng)化美國政府對零日漏洞的處理[7]。
國家情報總監(jiān)辦公室為響應“綜合國家網(wǎng)絡安全倡議”,專門設立工作組,在2008年至2009年間研究探討漏洞公平裁決流程的制定。該工作組囊括了來自國家安全委員會、中央情報局、國防情報局、司法部、聯(lián)邦調查局、國防部、國務院、能源部和國土安全部的成員,并于2010年2月最終制定完成《商業(yè)和政府信息技術及工業(yè)控制產品或系統(tǒng)漏洞政策及規(guī)程》[8](全稱Commercial and Government Information Technology and Industrial Control Product or System Vulnerabilities Equities Policy and Process,即舊版“漏洞公平裁決程序”章程),制定了漏洞裁決的通知、決策和上訴的程序,漏洞公平裁決程序初具雛形,成為奧巴馬政府內部管控漏洞的重要依據(jù)。
漏洞公平裁決程序直到2014年因輿論壓力才部分向社會公開。2014年4月,媒體報道美國國家安全局兩年前已知曉“心臟出血”漏洞[9],并且定期利用該漏洞獲取重要情報,引發(fā)公眾和輿論對美國政府漏洞管理的質疑。時任白宮網(wǎng)絡安全協(xié)調員邁克爾·丹尼爾專門撰文回應指責,稱美國政府已有一個機密的、嚴格的、高水平的漏洞披露機制,并簡要介紹了漏洞披露的考量因素[10]。但該文并未平息輿論的指責,電子前沿基金會(Electronic Frontier Foundation,EFF)在2014年5月憑借《信息自由法案》成功推動美國政府公開“漏洞公平裁決程序”章程[11]。2014年11月,美國政府公布第一批經過脫密處理的“漏洞公平裁決程序”章程,并在2015年、2016年再次公布相關文件。
根據(jù)邁克爾·丹尼爾的文章,漏洞公平裁決程序的工作自始至終都處于技術專家層面,無高級官員參與[12]。他坦言,由美國國安局繼續(xù)按內部程序處理漏洞,難以適應網(wǎng)絡安全形勢的發(fā)展,美國政府需要為VEP“重新注入活力”[13]。受此影響,在“漏洞公平裁決程序”相關章程公布后,美國各界在2014年后開始討論如何提高漏洞裁決流程的有效性。學術機構(如哈佛大學肯尼迪學院貝爾弗中心[14])、智庫(如新美國基金會[15])和政府審查團體(如總統(tǒng)情報和通信技術審查小組[16])紛紛建言獻策,形成以下共識:一是推動法律保障,提高“漏洞公平裁決程序”章程的權威性;二是公開詳細的標準,提高“漏洞公平裁決程序”章程的可操作性;三是制定定期審查制度,確保對“漏洞公平裁決程序”章程的監(jiān)督。在此背景下,特朗普政府啟動“漏洞公平裁決程序”章程落地實施。
新版《漏洞公平裁決政策和程序》主要包括目的、背景、范圍、參與主體、程序和附件六部分,區(qū)別于已公開的漏洞公平裁決程序文件,新版文件在程序透明、考量要素、參與主體等方面均進行了改進,分析如下:
新版《漏洞公平裁決政策和程序》目標是建立可重復的技術或方法,以快速權衡國家安全各要素,形成最佳實踐,并依此詳細規(guī)定了六步裁決程序:第一,提交:相關機構確認并提交滿足要求的漏洞,并給出通報或保留的建議。第二,通知:漏洞裁決程序執(zhí)行秘書處會在1個工作日內通知所有的漏洞公平裁決程序的聯(lián)系人。第三,公平性研討:受影響的機構必須在5個工作日內對其是否同意公布或保留給出反饋,若在裁決上未達成共識,可在7個工作日內進行公平性研討。第四,裁決:在與相關機構進行充分咨詢之后,同時在保障美國政府對網(wǎng)絡安全、情報、反情報、執(zhí)法、軍事行動以及關鍵基礎設施保護等職能需求上,作出公布或保留的裁決。第五,處置手段和后續(xù)行為:如果選擇披露漏洞,漏洞的提交機構有責任將漏洞相關信息通報廠商,并在7個工作日內盡可能地擴散相關信息;如果保留漏洞信息不予公布,公平裁決委員會1..詳見下文“建立問責”。每年都會對提交漏洞進行重新評估,直到漏洞可以通報或通過其他的手段被消控。第六,對初步判決進行申辯:申請公平裁決的相關部門和機構可以通過國家安全委員會(National Security Council, NSC)相關途徑上訴,申請重新考慮裁決。
根據(jù)新版《漏洞裁決政策和程序》,漏洞裁決程序的關鍵優(yōu)先項就在于提高其透明性[17],因此首次公開了漏洞裁決的四大考慮要素,保證參與者能對利益和風險進行客觀評估:(1)國家防御方面考量。一是威脅因素,包括漏洞產品使用位置、使用范圍、受影響的產品范圍、被潛在威脅者利用的可能性等;二是安全漏洞分析,包括威脅者利用漏洞的可能性、威脅者發(fā)現(xiàn)或獲取該漏洞的可能性等;三是影響力分析,包括用戶對產品安全性的依賴程度、漏洞的嚴重程度、威脅者對其加以利用可能引發(fā)的后果,用戶抵消攻擊者利用漏洞造成危害的可能性;四是緩解因素,包括通過配置消除軟件漏洞的可能性、現(xiàn)有最佳實踐或標準配置減弱漏洞影響的可能性、供應商開發(fā)補丁對降低漏洞威脅的影響。(2)情報、執(zhí)法、網(wǎng)絡行動方面考量。一方面是價值因素,包括漏洞被利用來支持情報收集、網(wǎng)絡行動以及執(zhí)法證據(jù)收集的可能性;另一方面是行動影響因素,包括利用漏洞打擊網(wǎng)絡空間威脅者、應對國家級的情報獲取或軍事打擊提供價值的可能性、披露該漏洞對暴露情報來源和方法的影響等。(3)商業(yè)方面考量,主要包括對披露漏洞給商業(yè)機構帶來風險的評估。(4)國際關系考量,主要包括對披露漏洞給美國的國際關系帶來風險的評估。
新版《漏洞公平裁決政策和程序》要求設立“公平裁決委員會”(Equities Review Board,ERB),負責機構間的審議與裁決,并舉行每月例會。公平裁決委員會由10個聯(lián)邦政府實體構成,分別是國土安全部(責任單位是國家網(wǎng)絡安全與通信集成中心、美國特情局,下同)、白宮行政管理和預算辦公室、國家情報總監(jiān)辦公室(情報聯(lián)盟安全協(xié)調中心)、財政部、國務院、司法部(聯(lián)邦調查局國家網(wǎng)絡調查聯(lián)合特遣隊)、能源部、國防部(國家安全局、網(wǎng)絡司令部、網(wǎng)絡犯罪中心)、商務部、中央情報局;每個機構設立聯(lián)系員,并任命1至2名領域專家。文件還規(guī)定漏洞裁決程序的負責人將由總統(tǒng)的網(wǎng)絡安全助理擔任,同時將漏洞公平裁決程序的執(zhí)行秘書處設在美國國家安全局,主要負責確保信息共享、組織討論、記錄流程等。對于未披露漏洞的信息,公平裁決委員會每年還要進行重新評估并提交年度報告,同時負責向供應商提供消控措施。
新版《漏洞公平裁決政策和程序》在原有的開源渠道獲得的漏洞以及公開研究的漏洞基礎上,再次擴大了例外情況,規(guī)定美國政府公布或限制漏洞信息的決定會受到“合作協(xié)定”和“敏感行動”的制約,此部分漏洞由最初發(fā)現(xiàn)的機構通過內部渠道直接報告裁決委員會主席,但具體涉及到哪些漏洞屬于涉密信息,美國政府此次并未公開。此外,安全研究人員自行確認的漏洞以及在安全事件響應中計劃公布的漏洞信息也不受漏洞裁決程序限定。
新版《漏洞公平裁決政策和程序》的出臺,既有回應當前美國漏洞操控輿論壓力的現(xiàn)實之需,也體現(xiàn)出完善美國漏洞管控體系的使命傳承,更是為今后謀求漏洞獲取合法化,便于執(zhí)法與情報行動奠定基礎。
目前,美國在漏洞領域的領先地位受到嚴重挑戰(zhàn)。2013年斯諾登事件揭示了美國政府利用本質上是漏洞的“后門”在全球網(wǎng)絡空間從事情報搜集和秘密竊取的做法;2014年的“心臟滴血”漏洞將美國“知情不報”的行為推上輿論的漩渦;2017年勒索病毒“WannaCry”席卷全球則讓美國利用漏洞囤積網(wǎng)絡武器的行為備受質疑[18]。美國共和黨參議員羅恩·約翰遜(Ron Johnson) 和民主黨參議員布萊恩·夏茲(Brian Schatz) 甚至于2017年5 月提出議案“保護我們的反黑客能力”(Protecting our Ability To Counter Hacking,PATCH Act of 2017),要求美國國土安全部主持對NSA 未披露的零日漏洞儲存庫的審查。對此,特朗普政府加快完善《漏洞公平裁決政策和程序》,并在文件中直接表明美國政府在漏洞裁決中傾向于“公開披露”,以滿足“絕大多數(shù)人”的利益,實為扭轉輿論被動局面之策。
長期以來,美國在漏洞領域一直處于全球領先地位,但斯諾登事件加速了網(wǎng)絡空間政治化和軍事化進程,導致全球漏洞研究、分析和應用進入新階段:大多數(shù)國家實體將信息安全和網(wǎng)絡安全作為國家戰(zhàn)略關注重要內容,重視漏洞的搜集、研究和防御;以互聯(lián)網(wǎng)公司為代表的信息產業(yè)企業(yè)高度重視信息安全和產品漏洞,重視漏洞的搜集和防御;私營企業(yè)主導的漏洞庫快速發(fā)展,重視漏洞信息共享和風險防御等。美國政府主導的漏洞管控體系面臨越來越大的挑戰(zhàn),在漏洞分析領域一家獨大的局面發(fā)生改變。近期,美國“記錄未來”等公司大肆炒作中國在漏洞領域超越美國[19],即反應了美國對漏洞領域發(fā)展的擔憂。白宮此次發(fā)布新的《漏洞公平裁決政策和程序》,實質是特朗普政府延續(xù)過往實踐,謀求通過技術手段規(guī)范漏洞管控,保障美國在網(wǎng)絡空間領先優(yōu)勢。
隨著蘋果和谷歌等相繼宣布將進一步加密智能手機的操作系統(tǒng),如何處理依托于獲取用戶數(shù)據(jù)的執(zhí)法取證問題越來越成為執(zhí)法部門的挑戰(zhàn)。2015年2月,美國國家安全局局長邁克爾·羅杰斯曾指出,應該有“一種合法框架”迫使蘋果和谷歌等公司在他們的信息產品中留下“前門”,以方便政府調查犯罪或威脅國家安全的問題[20]。羅杰斯口中的“前門”與“后門”本質上都是一種人為漏洞,即預先在信息產品中設置可繞過安全控制而獲得對程序或者系統(tǒng)訪問權的接口,目的是讓美國政府或者情報界能夠方便獲取信息產品中的用戶信息,而兩者的區(qū)別僅在于是否有法律支持與強制性。2015年底的蘋果與美國聯(lián)邦調查局關于解密加密手機爭端,加劇了執(zhí)法機構是否可利用加密數(shù)字產品“后門”的討論白熱化。對此,西方國家情報與執(zhí)法機構普遍開始尋求在法律上取得突破,利用漏洞執(zhí)法合法化上的趨勢越來越明顯[21]?!堵┒床脹Q政策和程序》正是美國政府謀求情報與執(zhí)法機構利用漏洞合法化的產物,為后續(xù)發(fā)展更加完備的漏洞管控體系做準備。
雖然目前各界觀察者對于新版《漏洞公平裁決政策和程序》中有關規(guī)制漏洞的定義、例外情形的擴大以及參考要素的考量等仍存質疑,但是普遍認為新版《漏洞公平裁決政策和程序》的發(fā)展方向總體向好,特別是對美國政府在管理漏洞中的主導作用表示認可[22],有利于規(guī)范零日漏洞市場亂象。值得注意的是,美國政府將新版《漏洞公平裁決政策和程序》看作是建立面向全球的漏洞管理規(guī)程的重要一步,并呼吁英國、荷蘭、瑞典、法國、德國、澳大利亞、加拿大等合作伙伴像美國一樣建設自己的VEP機制[23],以此作為建設成為負責任網(wǎng)絡空間行為體的必要條件,美國推動VEP程序成為國際網(wǎng)絡規(guī)則的意愿進一步凸顯。
從上世紀七十年代在美國南加州大學最早開展漏洞挖掘和分析研究[24],到21世紀初發(fā)布《漏洞分析框架》并成立全球最大的國家漏洞庫[25],再到2015年修改《瓦森納協(xié)定》對零日漏洞進行出口管控,美國不斷完善漏洞管控的政策體系,此次發(fā)布《漏洞公平裁決政策和程序》將進一步完善漏洞處理生態(tài)系統(tǒng)[26],對美國乃至全球網(wǎng)絡治理都將產生重要影響。與此同時,我國漏洞分析工作經過幾年的探索和嘗試,在基礎理論、技術工具、挖掘評估以及標準規(guī)范等方面均積累了一定的經驗和方法,特別是2009年我國的國家信息安全漏洞庫(CNNVD)正式運營上線,在信息安全漏洞收集、重大漏洞信息通報、高危漏洞安全消控、信息安全標準化建設等方面發(fā)揮了重要作用。但是較之于急速發(fā)展的網(wǎng)絡化時代和日趨嚴峻的信息安全形勢,我國漏洞分析工作還有待突破和創(chuàng)新:一是法規(guī)缺失。目前我國漏洞管理相關條文僅在《網(wǎng)絡安全法》、《國家安全法》等有所體現(xiàn),漏洞管理專門配套法規(guī)還未成型,這與漏洞的戰(zhàn)略地位嚴重不匹配;二是標準滯后?!缎畔踩夹g安全漏洞標識與描述規(guī)范》、《信息安全技術信息安全漏洞管理規(guī)范》、《信息安全技術安全漏洞等級劃分指南》、《信息安全技術安全漏洞分類規(guī)范》等漏洞相關標準制定已有時日,未涉及漏洞挖掘、零日漏洞管理等新問題,難以適應當前信息安全形勢;三是管理不足。目前國內相關企業(yè)紛紛建立漏洞平臺,積極開展與漏洞處置相關的工作,但是受互聯(lián)網(wǎng)自由思想的影響,存在個別黑客或安全公司濫用漏洞、隨意發(fā)布漏洞以及地下網(wǎng)絡黑色產業(yè)膨脹等諸多亂象。因此,亟需從國家層面統(tǒng)一管控好漏洞這一極其敏感又關鍵的安全資源。
目前,我國漏洞管理工作已有相關的制度安排與基礎投入,《網(wǎng)絡安全法》也對漏洞工作作出相關規(guī)定,因此當務之急是要進一步發(fā)揮職能部門的作用,充分發(fā)揮已建成的國家級漏洞庫作用,整合各方漏洞信息,進行直接管理、統(tǒng)一管控,提升國家整體的網(wǎng)絡安全態(tài)勢感知能力。
我國目前的漏洞研究和搜集體系已初具規(guī)模,但在高危漏洞挖掘與收集、漏洞利用與開發(fā)等方面與發(fā)達國家存在差距,需繼續(xù)加強漏洞研究能力的建設工作,包括:漏洞挖掘與分析能力建設、漏洞修補與風險評估能力建設、漏洞利用與開發(fā)能力建設等。
在漏洞威脅全球網(wǎng)絡安全、漏洞管理亂象突出的背景下,漏洞已引發(fā)越來越多國家的重視,并將其作為網(wǎng)絡安全中的重點規(guī)制對象。作為網(wǎng)絡大國,我國在漏洞管理上已積累豐富的經驗和教訓,對此我國應發(fā)揮優(yōu)勢強化漏洞工作體系,積極作為擴大國際話語權,在國際規(guī)制中提出中國方案,促成漏洞管理的共建共治共享。在此過程中,要充分借鑒美國在漏洞管理中的先進經驗,加強與美國在漏洞管理上的合作,努力將其打造為中美網(wǎng)絡安全合作的著力點與突破點。
[1]White House.Vulnerabilities Equities Policy and Process for the United States Government[EB/OL].(2017-11-15) .https∶//www.whitehouse.gov/sites/whitehouse.gov/files/images/External%20-%20Unclassified%20VEP%20Charter%20 FINAL.PDF.
[2]Chris Jaikaran,Vulnerabilities Equities Process,Congressional Research Service[EB/OL].(2017-02-17). https∶//lieu.house.gov/sites/lieu.house.gov/files/CRS%20Memo%20-%20 Vulnerabilities%20Equities%20Process.pdf.
[3]White House.Vulnerabilities Equities Policy and Process for the United States Government[EB/OL].( 2017-11-15).https∶//www.whitehouse.gov/sites/whitehouse.gov/files/images/External%20-%20Unclassified%20VEP%20Charter%20 FINAL.PDF.
[4]George W. Bush Administration, "Cybersecurity Policy"[EB/OL].(2003-04-03).https∶//georgewbush-whitehouse.archives.gov/infocus/bushrecord/documents/Policies_of_the_Bush_Administration.pdf.
[5]FANDOM.Homeland Security Presidential Directive 23[EB/OL].(2017-12-03).http∶//itlaw.wikia.com/wiki/Homeland_Security_Presidential_Directive_23.
[6]White House.The Comprehensive National Cybersecurity Initiative[EB/OL]. (2010-09-01).https∶//nsarchive2.gwu.edu/NSAEBB/NSAEBB424/docs/Cyber-034.pdf. September 1,2010.
[7]Electronic Frontier Foundation ,Exhibit C∶ Classified Declaration of James B.Richberg, Office of the Director of National Intelligence[EB/OL]. (2016-01-18).https∶//www.eff.org/files/2016/01/18/37-4_richberg_declaration_ocr.pdf.
[8]Electronic Frontier Foundation ,Commercial and Government Information Technology and Industrial Control Product or System Vulnerabilities Equities Policy and Process[EB/OL]. (2015-09-04).https∶//www.eff.org/files/2015/09/04/document_71_-_vep_ocr.pdf.
[9]Michael Riley.NSA Said to Exploit Heartbleed Bug for Intelligence for Years. Bloomberg L.P. [EB/OL].(2014-04-12).http∶//www.thanhniennews.com/education-youth/nsa-said-to-exploitheartbleed-bug-for-intelligence-foryears-25258.html.
[10]Michael Daniel.Heartbleed∶ Understanding When We Disclose Cyber Vulnerabilities[EB/OL].(2014-04-28).https∶//obamawhitehouse.archives.gov/blog/2014/04/28/heartbleedunderstanding-when-we-disclose-cybervulnerabilities.
[11]EFF v. NSA, ODNI - Vulnerabilities FOIA[EB/OL].(2017-12-03).https∶//www.eff.org/cases/eff-v-nsa-odni-vulnerabilities-foia.
[12]Michael Daniel.Heartbleed∶ Understanding When We Disclose Cyber Vulnerabilities[EB/OL].(2014-04-28).https∶//obamawhitehouse.archives.gov/blog/2014/04/28/heartbleedunderstanding-when-we-disclose-cybervulnerabilities.
[13]Kim Zetter.US Gov Insists It Doesn't Stockpile Zero-Day Exploits to Hack Enemies,Wired[EB/OL].(2014-11-17).https∶//www.wired.com/2014/11/michael-daniel-no-zero-daystockpile/.
[14]Ari Schwartz and Rob Knake.Government’s Role in Vulnerability Disclosure[EB/OL]. (2016-06-30).http∶//www.belfercenter.org/sites/default/files/legacy/files/vulnerability-disclosure-webfinal3.pdf.
[15]Andi Wilson, Ross Schulman, Kevin Bankston and Trey Herr.Bugs in the System[EB/OL].(2016-07-28).https∶//www.newamerica.org/oti/policy-papers/bugs-system/.
[16]The President’s Review Group on Intelligence and Communications Technologies, Liberty and Security in a Changing World[EB/OL].(2013-12-12). https∶//obamawhitehouse.archives.gov/sites/default/files/docs/2013-1212_rg_final_report.pdf.
[17]Rob Joyce.Improving and Making the Vulnerability Equities Process Transparent is the Right Thing to Do,White House[EB/OL].(2017-11-15). https∶//www.whitehouse.gov/articles/improving-making-vulnerabilityequities-process-transparent-right-thing/.
[18]中國新聞網(wǎng).勒索病毒橫行引發(fā)互聯(lián)網(wǎng)危機如何防范‘想哭’? [EB/OL].(2017-12-03).http∶//news.xinhuanet.com/world/2017-05/17/c_129606008.htm.
[19]鄭國儀.中國發(fā)現(xiàn)網(wǎng)絡安全漏洞速度有多快?美媒:領先美國20天[EB/OL].(2017-12-03).http∶//news.xinhuanet.com/world/2017-10/24/c_129725629_2.htm.
[20]林小春.美國安局長:加密數(shù)字產品應給政府留‘前門’[EB/OL].(2017-12-04).http∶//tech.sina.com.cn/i/2015-02-24/docicczmvun6257180.shtml.
[21]Robert Hannigan, How Britain’s GCHQ Decides Which Secrets to Share with You[EB/OL].(2017-11-19). https∶//www.thecipherbrief.com/column_article/britains-gchq-decides-secrets-share.Shaun Waterman, Responsible vulnerability disclosure is becoming an international norm,September19,2017.https∶//www.cyberscoop.com/vep-international-responsible-disclosurecanada-uk-netherlands/.
[22]Jennifer Stisa Granick.Trump’s New Cybersecurity Rules Are Better Than Obama’s[EB/OL].(2017-11-27).ACLU.https∶//www.aclu.org/blog/privacy-technology/internetprivacy/trumps-new-cybersecurity-rules-arebetter-obamas.
[23]Jason Healey.The US Government and Zero-Day Vulnerabilities∶from pre-heartbleed to shadow brokers,Journal of International Affairs[EB/OL].(2016-11-30).https∶//jia.sipa.columbia.edu/online-articles/healey_vulnerability_equities_process.
[24]劉劍,蘇璞睿,楊珉,等.軟件與網(wǎng)絡安全研究綜述[J].軟件學報,2017(07)∶1-25.
[25]楊詩雨,郝永樂.強化漏洞管控機制,加快國家漏洞庫建設[J].中國信息安全,2016(07)∶63-67.
[26]Andi Wilson, Ross Schulman, Kevin Bankston and Trey Herr.Bugs in the System[EB/OL].(2016-07-28).https∶//www.newamerica.org/oti/policy-papers/bugs-system/.