監(jiān)控分散式存儲(chǔ)與集中式存儲(chǔ)的探究

孔亞江

浙江中控太陽能技術(shù)有限公司 浙江杭州 310053

約束滿足問題（commercial service provider，CSP）是人工智能的中心問題之一。在計(jì)算機(jī)科學(xué)特別是人工智能領(lǐng)域中的很多問題都可表示為約束滿足問題，即對包含n個(gè)變量集合中的各變量在其相應(yīng)值域內(nèi)賦值，求出所有可能n元組，使得給定約束集合同時(shí)得到滿足的問題。求解這類問題一般采用回溯法。一般情況下求解比較困難，甚至是NP-hard問題。為減少回朔次數(shù)，提高搜索算法的執(zhí)行效率，多是采用相容技術(shù)進(jìn)行優(yōu)化。相容技術(shù)在解決約束滿足問題中起著重要作用。一方面，在搜索之前進(jìn)行相容的檢查，可以產(chǎn)生解的集合或極大地化簡問題的規(guī)模;另一方面，在搜索過程中保持相容，相比其他算法在付出一定的時(shí)空代價(jià)的情況下能夠得到合理的問題規(guī)模的壓縮，因此仍然被認(rèn)為是處理大規(guī)模難解問題的最有效的一般方法。相容算法可以看成是求解約束滿足問題回溯搜索的一種優(yōu)化和預(yù)處理過程。已有的并行相容算法的研究主要是針對弧相容的。并行弧相容算法存在兩個(gè)主要的問題：①如果出現(xiàn)不相容弧，影響并行效率，并行度下降（甚至變成了串行）；②不乏適用于全局約束相容性檢查。全局約束包含多個(gè)或者所有問題中的變量，可以使得它們相比于簡單的局部相容具有更好的剪枝。

1 分布式存儲(chǔ)的主要問題

軟件定義存儲(chǔ)（SDS-Software-definedstorage）是一種數(shù)據(jù)存儲(chǔ)方式，使用通用的x86設(shè)備組成分布式存儲(chǔ)替換傳統(tǒng)集中式存儲(chǔ)，是一種新的高性價(jià)比的存儲(chǔ)技術(shù)解決方案。某運(yùn)營商省分公司自2015年開始對國內(nèi)幾個(gè)大廠商的分布式存儲(chǔ)產(chǎn)品進(jìn)行功能及可靠性測試，2016年初開始在虛擬化資源池進(jìn)行小范圍部署，2017年擴(kuò)大部署規(guī)模并接入重要業(yè)務(wù)系統(tǒng)，根據(jù)2018年的年中統(tǒng)計(jì)，目前分布式存儲(chǔ)承載的核心系統(tǒng)包含中心化、CBOSS、CRM、統(tǒng)一開通等；非核心系統(tǒng)包含日志分析、數(shù)據(jù)稽核、統(tǒng)一認(rèn)證和渠道管理系統(tǒng)等[1]。

2 監(jiān)控分散式存儲(chǔ)與集中式存儲(chǔ)

2.1 二次升級后系統(tǒng)所需分析

在系統(tǒng)進(jìn)行二次升級之后，無論是需求還是陣痛都經(jīng)過了一定的瓶頸以及限制，人們必須重新規(guī)劃原有網(wǎng)絡(luò)。①針對項(xiàng)目進(jìn)行規(guī)劃，并對設(shè)備進(jìn)行選型。對于項(xiàng)目規(guī)劃好壞來說，這是整個(gè)項(xiàng)目經(jīng)歷長時(shí)間的運(yùn)行以及二次升級之后，項(xiàng)目一期則是針對某安防企業(yè)進(jìn)行的一種設(shè)計(jì)，建設(shè)三期工程的時(shí)候，有比較重要的瓶頸效應(yīng)產(chǎn)生。在網(wǎng)絡(luò)具體需求以及發(fā)展的過程中，該項(xiàng)目團(tuán)隊(duì)還邀安防廠商和傳輸設(shè)備的廠商以及系統(tǒng)集成廠商展開了全面深入地探討，并且確定了技術(shù)發(fā)展的趨勢以及業(yè)務(wù)所需。②針對安防前端進(jìn)行監(jiān)測，并且對存儲(chǔ)升級進(jìn)行分析。從服務(wù)器再到前端的攝像機(jī)展現(xiàn)了設(shè)備實(shí)時(shí)的管理以及具體的巡檢，進(jìn)而使得前端攝像機(jī)再到存儲(chǔ)設(shè)備數(shù)據(jù)進(jìn)行了存儲(chǔ)，能夠降低中間服務(wù)器所需以及故障節(jié)點(diǎn)出現(xiàn)問題，可以在第一是間對前端以及存儲(chǔ)服務(wù)器之間存在的差異進(jìn)行確定，已經(jīng)有越來越多地存儲(chǔ)缺陷開始出現(xiàn)，必須對CVR和云存儲(chǔ)等密度比較高的設(shè)備進(jìn)行引進(jìn)，通過集約化和扁平化存儲(chǔ)的架構(gòu)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)以及調(diào)用。撒嗎提高二次檢索所需以及重要數(shù)據(jù)的可靠性[2]。人像卡口和視頻濃縮以及事件回放等多種智能化工藝的產(chǎn)生，必須一傳統(tǒng)十倍的NVR突發(fā)流量在調(diào)取過程中的需求進(jìn)行，無論是一般的NVR，還是DVR以及RAID功能NVR，都很難得到最終的目的，必須在專業(yè)CVR和云存儲(chǔ)設(shè)備的作用下開展推流保障。對于人像的卡口和微卡口以及車輛出入等多種類型的高度離散以及安全性需求來說，需要選擇RAID5/6以及網(wǎng)絡(luò)化的RAID才可以對數(shù)據(jù)安全性進(jìn)行保障。此時(shí)，必須提高存儲(chǔ)以及傳輸網(wǎng)絡(luò)本身的可靠性。④設(shè)計(jì)傳輸?shù)木W(wǎng)絡(luò)。需要對一張萬兆的數(shù)據(jù)環(huán)網(wǎng)進(jìn)行建設(shè)，以此對數(shù)據(jù)可靠性以及高效性進(jìn)行保障，與此同時(shí)，因?yàn)閿?shù)據(jù)方面的影響，集中式的存儲(chǔ)所提出的傳輸網(wǎng)流量要求非常高，工作人員需要對以往的星型網(wǎng)絡(luò)的架構(gòu)實(shí)施萬兆升級以及多鏈路配置。

2.2 分散存儲(chǔ)與集中存儲(chǔ)的利弊

①分散存儲(chǔ)減少干線需求?？梢詼p少干線的網(wǎng)絡(luò)壓力和避免因上聯(lián)網(wǎng)絡(luò)的中斷所造成的錄像中斷。②分散存儲(chǔ)設(shè)備小、功耗小、易入門、易布置。分散存儲(chǔ)一般采用64路或128路的NVR，結(jié)構(gòu)簡單布置方便。但帶來的問題主要有維護(hù)距離遠(yuǎn)、無數(shù)據(jù)保護(hù)、運(yùn)維監(jiān)管難。NVR的系統(tǒng)是采用通道添加的方式，當(dāng)一個(gè)64路NVR設(shè)備出現(xiàn)第65路攝像頭的時(shí)候就必須重新添加存儲(chǔ)服務(wù)器，靈活性較差。③分散存儲(chǔ)日常維護(hù)和環(huán)境監(jiān)測麻煩。由于早期采用分布式存儲(chǔ)，每次維護(hù)周期需要走遍27個(gè)街道機(jī)房進(jìn)行例行檢查。當(dāng)發(fā)生硬盤故障、電源故障等問題時(shí)，路程時(shí)間就占了70%以上，單次故障的搶修成本超過500元（車輛+人工）。采用了分布式的存儲(chǔ)，每次需巡檢27個(gè)機(jī)房的電壓、溫度、濕度等信息，發(fā)現(xiàn)異常還需要和其他部門協(xié)調(diào)。④分散存儲(chǔ)設(shè)備擴(kuò)容麻煩，如果每期擴(kuò)容都要考慮26個(gè)機(jī)房UPS、機(jī)架空間、空調(diào)制冷、交換機(jī)端口等是否能夠滿足承載的問題，工作量較大。如采用集中存儲(chǔ)可以將設(shè)備集中在3-5個(gè)分中心機(jī)房，在機(jī)房擴(kuò)容的時(shí)候只需要考慮這幾個(gè)分中心機(jī)房的各項(xiàng)因素，遠(yuǎn)比考慮27個(gè)機(jī)房的擴(kuò)容省時(shí)、省力、省心[3]。

2.3 現(xiàn)階段集中式存儲(chǔ)與分布式存儲(chǔ)適用場景建議

由于現(xiàn)階段集中式存儲(chǔ)在時(shí)延、穩(wěn)定性和軟件成熟度方面有明顯優(yōu)勢，因此較適合應(yīng)用于有數(shù)據(jù)強(qiáng)一致性要求、高IOPS、低時(shí)延的OLTP類交易業(yè)務(wù)場景；而分布式存儲(chǔ)適用于海量數(shù)據(jù)、大數(shù)據(jù)塊、順序讀寫、時(shí)延不敏感的場景。

3 結(jié)語

綜上所述，在該項(xiàng)目當(dāng)中，經(jīng)過分散存儲(chǔ)向集中存儲(chǔ)的升級改造之后，從以往的存儲(chǔ)節(jié)點(diǎn)上進(jìn)行了降低，以往的千兆干線也向萬兆干線進(jìn)行了升級，使得千線萬兆得到了很好地傳輸，保存錄像云存儲(chǔ)，能夠幫助公安網(wǎng)絡(luò)濃縮視頻，并且融入智能化的數(shù)據(jù)保障。