黃成云,張志超,李軍鋒,李海濤,溫滿華
(廣東電網有限責任公司教育培訓評價中心,廣東廣州 510650)
視頻圖像認證技術的發(fā)展主要得益于包括成像模式創(chuàng)建、圖像存檔和通信系統(tǒng)[1-2]在內的諸多領域技術的進步,其中關鍵技術是指負責圖像采集、管理、存儲、可視化和圖像比對的系統(tǒng)[3-4]。圖像數(shù)據(jù)激增使得圖像識別出現(xiàn)大數(shù)據(jù)問題[5]。其主要特點是:在云計算的基礎上,計算資源以彈性的方式進行提供,并且云軟件的開發(fā)和維護變得更容易、更可靠、更安全。基于此現(xiàn)狀,大量計算能力和海量互聯(lián)網資源和服務被用于日常服務。然而關于圖像認證的解決方案需要很高的維護成本,私有化部署的基礎服務設施的可伸縮性是有限的[6],尤其是圖像認證服務遷移到云平臺的過程中存在著較高的通信延遲[7],因為通過公共互聯(lián)網的遠程訪問要比內部網絡連接慢得多。
針對此問題,目前最常見的縮短訪問時間的技術手段是基于本地緩存和預取的機制,這種機制可以通過嘗試預測用戶的數(shù)據(jù)請求來分配資源。然而,它們的有效性取決于所需預測的數(shù)據(jù)類型。也就是說,這種機制仍然存在許多問題和限制。
基于以上問題,提出一種用于圖像認證存儲庫的智能云存儲網關,且重點研究如何降低通信延遲。其中所提出的體系結構是對以前方法的改進,同時結合靜態(tài)規(guī)則和模式識別算法,從而使系統(tǒng)能夠適應用戶的日常應用。
數(shù)字圖像被用來保存重要的認證信息。但是,對這些圖像提供完整性認證是一項具有挑戰(zhàn)性的任務,因為它們越來越多地在不安全的網絡上傳輸,需要對這些圖像進行保護,以防止對它們的各種嘗試。因此,重要的是解決圖像認證問題的有效方法,即確保圖像的完整性。數(shù)字圖像認證系統(tǒng)應滿足以下要求:(1)靈敏度:認證系統(tǒng)必須能夠檢測任何內容修改或操作。對于嚴格的認證算法,需要任何操作的檢測,而不僅僅是內容修改。(2)健壯性:也稱為容差。認證系統(tǒng)必須容忍內容保持操作。此屬性僅適用于提供選擇性驗證服務的算法。(3)定位:認證系統(tǒng)必須能夠定位已經改變的圖像區(qū)域。(4)恢復:認證系統(tǒng)必須能夠部分或完全恢復被篡改的圖像區(qū)域。(5)安全性:認證系統(tǒng)必須具有保護認證數(shù)據(jù)免受任何篡改企圖的能力。(6)可移植性:認證系統(tǒng)必須能夠在任何傳輸、存儲或處理操作期間攜帶受保護圖像的簽名。(7)復雜性:認證系統(tǒng)必須使用既不復雜也不慢的實時實現(xiàn)算法。
提出一個新的云存儲網關的體系結構,同時將對該結構中涉及到的各模塊進行介紹。該體系結構支持分布式環(huán)境的緩存替換和規(guī)則預取,目的是通過學習用戶的行為來最小化通信延遲。體系結構如圖1所示。
圖1 體系結構示意圖
首先,對體系結構中所涉及的傳感器、消息傳感器、特征傳感器和網絡傳感器作簡要介紹。
傳感器:數(shù)據(jù)系統(tǒng)根據(jù)環(huán)境條件進行行為預測,因此系統(tǒng)運行過程中必須配備不同類型的傳感器來捕獲這些數(shù)據(jù)條件。
消息傳感器:該傳感器是新模式識別系統(tǒng)最重要的來源,因為它可以接收識別本地區(qū)域網絡以及遠程云存檔之間交換的消息。由于所提議的體系結構可以直接訪問網關交換下的網絡消息,因此在網關中集成一組偵聽器,每當新消息被發(fā)送到存儲庫(或從存儲庫接收)時,此偵聽器就會被喚醒。偵聽器在每次消息交換時自動生成事件報告,并且自動保存在日志文件中,其主要包括的信息元素有:(1)消息交換的時間;(2)數(shù)據(jù)信息請求;(3)請求應用程序實體;(4)目標應用程序實體。
特征傳感器:在某些特定情況下,交換的網絡數(shù)據(jù)并不足以對使用模式進行評估。為有效避免此現(xiàn)象的影響,在該體系結構中利用特征傳感器,它可以對存儲庫進行查詢,從而使得對特定特征的提取更加方便。
網絡傳感器:為了優(yōu)化系統(tǒng),在結構中嵌入一種新的網絡傳感器,以便在進行預取之前對網絡條件進行評估。該組件可以有效監(jiān)視云網關通信,從而監(jiān)視網絡請求以及響應。通過這種方式,可以隨時了解網絡的運行狀態(tài)。換言之,此傳感器對于文中所探討新機制的正確部署是非常必要的。
對體系結構中的標簽和模式識別模塊進行介紹。該模塊所負責檢測的用戶行為結果主要依托于模式識別機制[8],繼而提出針對于用戶行為結果的分類與理解。同時為了有效實現(xiàn)用戶行為結果的分類理解,將使用人員的互動分為如下4種不同的使用行為模式:(1)單人認證:這是一種默認的使用模式,使用過程中需要快速訪問圖像以便保持服務質量;(2)形態(tài)校正:用戶對特定情態(tài)的研究進行修改;(3)錯誤查詢:用戶錯誤查詢模式下,圖像數(shù)據(jù)無法正常下載;(4)其他使用:代表該架構下無法識別的場景模式。
綜合以上4種行為模式,可以知道此模塊的功能如下:首先,它將消息傳感器所感知的信息進行分割。然后,對這些信息進行預處理并執(zhí)行特征提取,最后將其發(fā)送到一組經過訓練的多層感知器(Multi Layer Perceptron,MLP)模型中進行分析。
緩存替換模塊由緩存管理器代理和驅逐代理構成。緩存管理器主要負責對成像數(shù)據(jù)進行管理,并將其存儲在緩存系統(tǒng)中;驅逐代理則負責對已達到一定比例且可能會阻礙結構運行的信息數(shù)據(jù)的存儲。該模塊由于實現(xiàn)相對簡單且性能良好,因此通常被用于實際環(huán)境中。
在整個體系結構中,緩存替換模塊是非常重要的,因為它連接了存儲庫和數(shù)據(jù)庫。只有通過緩存替換模塊,才可以評估存儲的數(shù)據(jù)量、存儲的圖像、研究結果、用戶數(shù)據(jù)以及存儲在緩存中的圖像時間,繼而更好地執(zhí)行驅逐代理。
預取代理分為短期預取和長期預取,但是在本節(jié)中,主要對短期預取進行介紹。短期預取是在用戶發(fā)送數(shù)據(jù)請求之前對請求時間進行預測分析以及評估。且在預取過程中,將主要執(zhí)行2個并行進程:(1)對用戶查詢結果進行評估,并選擇與使用模式相匹配的結果進行預??;(2)預取代理根據(jù)使用模式識別模塊的新輸出來對存儲庫進行查詢。
為了讓預取代理可以快速選取研究節(jié)點,通過嵌入預取規(guī)則來為每個認證節(jié)點提供MLP多層神經網絡。該神經網絡每天使用檢索到的研究數(shù)據(jù)作為訓練數(shù)據(jù)。如果在搜索之后對某些實例發(fā)送了研究請求,那么這些實例將被標記為積極實例。
通過對上述體系模塊的分析介紹,可知該體系架構的一些模塊需要與第三方圖像認證設備進行通信。因此,系統(tǒng)將自動提供通信接口模塊。從而有效地將系統(tǒng)中其他模塊的請求轉換為接口請求并將它們發(fā)送到目標地址。
在第2章中,對網關所用體系結構的各項模塊進行介紹,并且明確其工作定義,但是對于此體系結構在避免通信延遲的效果尚需要驗證。因此在本節(jié)中,對體系結構進行測試評價,從而驗證該體系結構可以有效避免通信延遲。
在不同的環(huán)境條件(網絡、用戶時間表、工作站數(shù)量等)下,不同用戶體系結構可能會對常規(guī)體系結構預取過程造成影響,因為一些測試會使服務器和網絡達到超負荷的狀態(tài)。為了預知以及有效避免這種現(xiàn)象的發(fā)生,在不同的條件下,利用真實的數(shù)據(jù)集中進行模擬測試。整個模擬測試過程中,每個不同的場景將被模擬10次,隨后將系統(tǒng)某些參數(shù)(如MLPs)對隨機初始化的影響最小化,最后將使用兩個度量來對系統(tǒng)性能進行分析:(1)命中率:通過請求對象存儲在緩存中的次數(shù)除以對象請求的數(shù)量來計算;(2)每個圖像的檢索時間:計算方法是將檢索研究請求所需的總時間除以對象請求的數(shù)量。
在通過體系結構對用戶數(shù)據(jù)請求進行受理分析過程中,為使得其數(shù)據(jù)能夠在高效且無缺失的情況下傳達至各模塊,使用真實數(shù)據(jù)集來對數(shù)據(jù)進行管理分析。
真實數(shù)據(jù)集由兩個部分組成,一部分是XML文件,其中包括網絡交換過程所需信息;另一部分是一個數(shù)據(jù)索引,主要包含存儲在機構中用于研究的匿名認證信息,這些信息包括:(1)測試規(guī)模;(2)文件數(shù)量;(3)查詢檢索的結果;(4)圖像資料;(5)特征庫?;诖?,建立一個存儲數(shù)據(jù)庫的副本,在此副本的基礎上通過應用單向函數(shù)(例如哈希散列)來刪除敏感數(shù)據(jù),例如用戶姓名。該策略同樣允許對用戶查詢檢索到的結果進行重新生成,值得一提的是整個過程無需訪問實際的原始數(shù)據(jù)。最后,在系統(tǒng)中導入并應用網關中已經使用的靜態(tài)規(guī)則。
測試執(zhí)行時需要模擬包括緩存大小在內的不同情況。同時,考慮到數(shù)據(jù)集的大小,將分別使用2.5 GB、10 GB、50 GB和100 GB共計5種緩存類別。且對于每個緩存類別,將利用系統(tǒng)進行如下配置測試:(1)配置1:選擇LRU(Leastrecently used,最近最少使用)作為驅逐策略,并不使用預取策略;(2)配置2:選擇LRU作為驅逐策略,同時使用短期和長期的預取模式。
此外,所有配置都有被動緩存填充模式,這意味著所有通過網關的研究也都存儲在緩存中。
提出一個減少訪問遠程圖像認證存儲庫時所造成的通信延遲的智能云存儲網關。而且通過對該網關所用體系結構介紹可知,此體系結構使用一組預取策略,在適用范圍方面也能夠適應不同系統(tǒng)機構以及特定的工作流,同時在系統(tǒng)性能方面也具有顯著的改進。最后對該系統(tǒng)在真實數(shù)據(jù)集中方面提出測試方法,對于較大的圖像認證數(shù)據(jù)緩存,本文作者所提網關中的驅逐策略與預取策略的組合使用可以顯著降低通信延遲。