汪庭霽
(國家無線電監(jiān)測中心,北京 100037)
大數(shù)據(jù)時代下的無線電監(jiān)測
汪庭霽
(國家無線電監(jiān)測中心,北京 100037)
隨著科學技術的不斷發(fā)展,人們逐漸走入了大數(shù)據(jù)時代。傳統(tǒng)的無線電監(jiān)測中遇到的困難,可以交由大數(shù)據(jù)理論來解決。本文首先介紹了大數(shù)據(jù)的基本概念,隨后探討了當前無線電監(jiān)測遇到的問題,以及如何運用大數(shù)據(jù)理論處理數(shù)據(jù),最后提出了對未來的展望。
大數(shù)據(jù);無線電監(jiān)測
大數(shù)據(jù)并非一個明確的概念。起初,人們只是在處理信息時,發(fā)現(xiàn)信息量越來越大,用常規(guī)的信息處理軟件已經(jīng)越來越難處理了。后來,隨著科學技術的發(fā)展,人們逐漸意識到我們已經(jīng)來到了一個信息爆炸的時代,其增長速度大大超過了預期,導致量變引起了質(zhì)變,創(chuàng)造出了“大數(shù)據(jù)”這個概念。
維基百科中對大數(shù)據(jù)定義如下:“大數(shù)據(jù)”是指一些使用目前現(xiàn)有數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應用很難處理的大型而復雜的數(shù)據(jù)集。Gartner公司提出了用“3V”模型來描述大數(shù)據(jù),即海量的數(shù)據(jù)規(guī)模(Volume),快速的數(shù)據(jù)流轉(zhuǎn)(Velocity)和多樣的數(shù)據(jù)類型(Variety)。2012年,國際數(shù)據(jù)中心(IDC)則定義了大數(shù)據(jù)的四大特征,在原有的“3V”模型上增加了第四個“V”,即巨大的數(shù)據(jù)價值(Value)。
無論如何定義,大數(shù)據(jù)以一種前所未有的方式,已經(jīng)逐漸走進了我們生活中的方方面面。大數(shù)據(jù)的核心是預測,但由于大數(shù)據(jù)是基于海量的信息量,所以在分析信息時,有了以下幾點重要的轉(zhuǎn)變:
第一,在大數(shù)據(jù)時代,我們不再依賴于抽樣定理進行采樣,而是分析所有數(shù)據(jù)。傳統(tǒng)的采樣分析信息,勢必會因采樣樣本數(shù)量有限,而忽略掉一些信息。但在大數(shù)據(jù)高速發(fā)展的今天,我們可以分析更多的數(shù)據(jù),從而看到了樣本無法揭示的細節(jié)。
第二,在大數(shù)據(jù)時代,需要處理的數(shù)據(jù)非常之多,導致我們不再追求精確性。針對小數(shù)據(jù),我們往往追求絕對的精確。比如一些人可以準確記住他銀行卡上的每一位數(shù)字。但對于大數(shù)據(jù),我們可以適當忽略一些精確性以在宏觀層面上更好的把控。當然,我們不是放棄精確性,而是不專注于此。
第三,在大數(shù)據(jù)時代,我們不追求尋找因果關系,而是尋找相關關系。以往,人們總是習慣性地想搞明白任何事情的緣由,而大數(shù)據(jù)卻可以直觀地呈現(xiàn)出事情的結(jié)果。在現(xiàn)在生活中,這已經(jīng)足夠了。比如導航軟件可以給你指出一條最快捷的路線,這條路線并不是傳統(tǒng)意義上距離最近的路線,而是綜合了多種實時路況的路線。但是對于司機而言,他往往卻并不會關注這條路線最快的原因。
目前,雖然我們已經(jīng)積累了大量的無線電監(jiān)測數(shù)據(jù),但是由于監(jiān)測軟件的智能化程度不高,數(shù)據(jù)采集后,還有大量的工作需要人工處理。這種工作強度很大,枯燥乏味,監(jiān)測人員長時間工作下來后,也很難保證分析處理后數(shù)據(jù)的準確性。且不同的監(jiān)測人員在處理數(shù)據(jù)過程中的做法也并不相同,在最后的數(shù)據(jù)匯總工作中,往往會出現(xiàn)數(shù)據(jù)格式、類型的不統(tǒng)一,給匯總工作帶來了較大的困難。
此外,雖然我們掌握了大量的無線電監(jiān)測數(shù)據(jù),但是這些數(shù)據(jù)并沒有得到很好的分析和挖掘。例如,我們監(jiān)測到的頻譜數(shù)據(jù)往往以原始的頻譜圖、瀑布圖等形式展現(xiàn)出來,但在實際處理數(shù)據(jù)過程中,可能更需要結(jié)合臺站數(shù)據(jù)庫及各種環(huán)境參數(shù)等進行分析,以至于這些數(shù)據(jù)并不能有效地為頻譜管理工作提供信息。這就需要運用大數(shù)據(jù)的理論來解決這些問題。
運用大數(shù)據(jù)理論處理數(shù)據(jù),一般分為以下五個步驟:數(shù)據(jù)采集,數(shù)據(jù)管理,數(shù)據(jù)計算,數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)。下面逐一具體分析。
(1)數(shù)據(jù)采集
這一步主要目的就是獲取原始數(shù)據(jù)。我們需要按照一定的需求,進行合理的設置,從而在獲取數(shù)據(jù)的同時就進行了初步的數(shù)據(jù)過濾,將一些無效信息進行了去除,方便以下幾步的數(shù)據(jù)處理。例如,我們需要對北京地區(qū)30MHz到800MHz的頻段范圍進行監(jiān)測,首先,需要將該頻段做一個簡單的分析,在該頻段內(nèi),有調(diào)頻廣播、電視、民航、集群通信、對講等多種業(yè)務,因此,進行監(jiān)測時不能統(tǒng)一進行設置,而要根據(jù)不同業(yè)務的頻段范圍,分段進行設置。根據(jù)業(yè)務的不同,我們可以進行如表1劃分。
如果直接按照表1頻段進行測試,需要將該頻段分成9段,這未免顯得有些過于繁瑣??梢赃M行一些簡單的處理,將信號特點相似的頻段合并。首先,電視信號的伴音信號與調(diào)頻廣播信號相似,帶寬均為50-150kHz,故而可以進行合并。其次,民航信號中的地空對話信號與對講信號比較相似,帶寬均為9-15kHz,可以進行合并。接下來的集群、對講、尋呼、數(shù)傳這幾種信號也較為相似,集群信號的帶寬一般為15-25kHz,對講、尋呼、數(shù)傳的信號帶寬一般為9-15kHz,相差不大,也可進行合并。最后,再將兩段電視頻段合并,整理之后的結(jié)果如表2所示。
表1 業(yè)務頻段劃分表
表2 數(shù)據(jù)融合后的業(yè)務頻段劃分表
經(jīng)過這樣簡單的數(shù)據(jù)融合之后,在并沒有損失數(shù)據(jù)的情況下,更多的是從宏觀角度掌握數(shù)據(jù),從而簡化了測試步驟,提高了測試效率。
(2)數(shù)據(jù)管理
根據(jù)第一步得到的各個遙控站的數(shù)據(jù),我們需要將它們進行統(tǒng)一的管理,這一步可以利用數(shù)據(jù)庫軟件作為工具。將得到的數(shù)據(jù),根據(jù)信號的電平、占用度、帶寬等傳統(tǒng)特征分門別類地整理好。同時,該數(shù)據(jù)庫還可以針對每次監(jiān)測特定的需求,增加數(shù)據(jù)整理的類別。假設我們關心的是某頻點上的信號在出現(xiàn)時間上的分布情況,那么就可以按照時間來整理;如果我們關心的是信號出現(xiàn)的地點,那么就可以根據(jù)不同遙控站接收到的信號電平進行整理。
(3)數(shù)據(jù)計算
傳統(tǒng)的計算方法一般是由遠程聯(lián)網(wǎng)的方式來進行的,即通過遠程連接遙控站,遙控站將數(shù)據(jù)傳回本地進行處理。這種處理方式在使用的監(jiān)測站數(shù)量較少,或者監(jiān)測時間叫短時運行尚可。但是,在如今的大數(shù)據(jù)時代,由于其計算量非常大,如果采用傳統(tǒng)的計算方法,必然會耗用大量的硬件資源,且隨著數(shù)據(jù)的不斷積累,可能會出現(xiàn)計算效率低、可靠性差等問題,傳統(tǒng)的計算方法顯得越來越難以勝任。因此,目前比較好的解決辦法是分布式計算,即云計算。大數(shù)據(jù)與云計算密不可分。目前應用最為廣泛的是GOOGLE公司發(fā)布的開源Hadoop平臺,已經(jīng)逐漸成為了大多數(shù)人認可的大數(shù)據(jù)計算框架。隨著計算機傳輸、存儲、處理數(shù)據(jù)性能的逐漸提升,再配合分布式計算的概念,就可以大大提高數(shù)據(jù)計算的能力,為進一步數(shù)據(jù)分析打好基礎。
(4)數(shù)據(jù)分析
傳統(tǒng)的數(shù)據(jù)分析,往往是基于已知的比較成熟的數(shù)學模型進行分析。然而,在大數(shù)據(jù)時代,由于數(shù)據(jù)量之大,數(shù)據(jù)結(jié)構(gòu)之復雜,很難利用傳統(tǒng)的模型進行分析,需要充分結(jié)合數(shù)據(jù)挖掘、數(shù)據(jù)融合的理論,針對不同情況做具體分析。目前,數(shù)據(jù)分析技術還處于初期階段,對于非結(jié)構(gòu)化的大數(shù)據(jù),數(shù)據(jù)分析是十分困難的。因此可以預見,未來的大數(shù)據(jù)分析的發(fā)展方向,即是努力尋找一種更為智能的數(shù)據(jù)挖掘模型。
(5)數(shù)據(jù)展現(xiàn)
數(shù)據(jù)展現(xiàn)為整個大數(shù)據(jù)處理數(shù)據(jù)過程的最后一步,我們需要盡可能直觀、生動地展現(xiàn)數(shù)據(jù)處理的最終結(jié)果。數(shù)據(jù)展現(xiàn)的越直觀、越生動,給予讀者的感受就會更強烈、印象就會更深刻。除了常規(guī)的文字、表格外,數(shù)學曲線、圖像、視頻、甚至是3D模擬視頻,都在我們可以考慮采用的范圍之內(nèi)。
在大數(shù)據(jù)時代,無線電監(jiān)測工作應當逐級實現(xiàn)網(wǎng)絡化、智能化、規(guī)范化。大量的重復枯燥工作可以交給計算機來進行,監(jiān)測人員只需按照每次監(jiān)測的具體要求,進行一些簡單的設定,即可得到經(jīng)過處理按規(guī)定格式存儲的數(shù)據(jù)。一次監(jiān)測任務可以很流暢的按照任務下達、開展監(jiān)測、數(shù)據(jù)采集、數(shù)據(jù)分析、結(jié)果呈現(xiàn)的流程來進行。
隨著大數(shù)據(jù)的概念越來越深入人心,大數(shù)據(jù)的應用越來越廣泛,我們應當將大數(shù)據(jù)與云計算、一體化平臺等其他飛速發(fā)展的技術結(jié)合起來,快速地跟上并融入這個高速發(fā)展的時代。只有利用這些最先進的理念,結(jié)合到我們自身的無線電監(jiān)測工作當中去,才能不斷提高工作水平和效率,才能跟上時代的步伐。
[1] 維克托?邁爾-舍恩伯格,肯尼斯?庫克耶 著.盛楊燕,周濤 譯.大數(shù)據(jù)時代[M].杭州:浙江人民出版社,2013
[2] 國志,李冰琪.大數(shù)據(jù)影響現(xiàn)代通信[J].數(shù)字通信世界,2014,10: 60-62
Radio Monitoring in the Age of Big Data
Wang Tingji
(The State Radio Monitoring Center, Beijing, 100037)
With the development of science technology, the age of big data has already come. The difficulty in traditional radio monitoring can be handled by the theory of big data. This article firstly introduces the basic concept of big data, then discusses the problem in radio monitoring and how to deal data with the theory of big data. Finally, we make a prospect in the future.
Big Data; Radio Monitoring
10.3969/J.ISSN.1672-7274.2015.05.010
TN91
B
1672-7274(2015)05-0035-03
汪庭霽,男,碩士研究生,現(xiàn)任職于國家無線電監(jiān)測中心北京監(jiān)測站,主要從事無線電監(jiān)測相關工作。