信令監(jiān)控系統(tǒng)中數(shù)據(jù)存儲(chǔ)檢索功能的設(shè)計(jì)

劉皎　曹榮榮　武立

摘 要：針對(duì)信令數(shù)據(jù)自身的特殊性，在考慮了計(jì)算機(jī)配置、網(wǎng)絡(luò)速度等硬件因素的情況下，通過(guò)建立多級(jí)索引結(jié)構(gòu)，并借鑒數(shù)據(jù)庫(kù)分區(qū)的概念，使用多線程查詢等方式，為信令數(shù)據(jù)存儲(chǔ)和檢索提供一種有效解決方案，可以對(duì)監(jiān)控系統(tǒng)的海量信令信息進(jìn)行組織、存儲(chǔ)，并實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速便捷檢索。此外，它還具有極高的耦合度，易于擴(kuò)展，能夠與其他系統(tǒng)快速兼容。

關(guān)鍵詞： 信令監(jiān)控; 封包數(shù)據(jù); 數(shù)據(jù)存儲(chǔ); 數(shù)據(jù)檢索

中圖分類號(hào)： TP302

文獻(xiàn)標(biāo)志碼： A

Abstract： For the particularity of the signaling data itself， in consideration of hardware factors such as computer configuration and network speed， by establishing a multi-level index structure， and drawing on the concept of database partitioning， using multi-thread query， an effective solution for signaling data storage and retrieval is presented. The scheme can organize and store the massive signaling information of the monitoring system， and realize fast and convenient retrieval of massive data. In addition， it has a very high degree of coupling， is easy to expand， and is quickly compatible with other systems.

Key words： signaling monitoring; packet data; data storage; data retrieval

0 引言

信令監(jiān)控是實(shí)時(shí)采集，數(shù)據(jù)在線處理，遠(yuǎn)程測(cè)試，實(shí)時(shí)監(jiān)控，數(shù)據(jù)分析以及通信網(wǎng)絡(luò)中信令流程的實(shí)時(shí)重組和分析的過(guò)程[1-2]。信令監(jiān)控系統(tǒng)所要采集和分析的數(shù)據(jù)包括：信令和媒體兩部分[3]。信令監(jiān)控系統(tǒng)可以評(píng)估和監(jiān)控信令網(wǎng)絡(luò)的運(yùn)行狀態(tài)，定位和分析故障，并監(jiān)控運(yùn)營(yíng)商的服務(wù)質(zhì)量[4-5]。由于網(wǎng)絡(luò)通信過(guò)程中將產(chǎn)生海量的信令封包數(shù)據(jù)，這些數(shù)據(jù)除了大容量、高速率、高實(shí)時(shí)性外，它還具有一些特殊性[6-7]。這些特殊性使得簡(jiǎn)單的數(shù)據(jù)庫(kù)存儲(chǔ)方式[8]不可行。因此，要檢索信令封包數(shù)據(jù)，往往需要關(guān)聯(lián)出一個(gè)完整的信令流程[9-10]，而如何在檢索時(shí)準(zhǔn)確并快速地關(guān)聯(lián)一次信令會(huì)話中的所有封包，是一個(gè)非常關(guān)鍵的問(wèn)題。本文主要針對(duì)網(wǎng)絡(luò)通信時(shí)產(chǎn)生的大量信令封包，結(jié)合數(shù)據(jù)的特點(diǎn)，為其存儲(chǔ)和檢索提供一種解決方案。

2 信令監(jiān)控系統(tǒng)

信令監(jiān)控系統(tǒng)主要用于IP承載協(xié)議的信令收集，協(xié)議分析，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)關(guān)聯(lián)分析。在不影響生產(chǎn)效率的情況下，通過(guò)將業(yè)務(wù)流程中產(chǎn)生的所有信令碼流采集，提取出各協(xié)議各呼叫相關(guān)信令、相應(yīng)存儲(chǔ)、并對(duì)同一呼叫中各協(xié)議的關(guān)聯(lián)進(jìn)行分析，以便更好的監(jiān)控相應(yīng)業(yè)務(wù)系統(tǒng)的運(yùn)行。采用松耦合的方式[11]對(duì)業(yè)務(wù)平臺(tái)進(jìn)行跟蹤和分析，更有利于以獨(dú)立的第三方的視點(diǎn)觀測(cè)。

信令監(jiān)控系統(tǒng)的部署與總體結(jié)構(gòu)圖，如圖1所示。

信令監(jiān)控系統(tǒng)部署在IP承載網(wǎng)邊界，跟蹤業(yè)務(wù)系統(tǒng)與IP承載網(wǎng)之間的數(shù)據(jù)包，可實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)與其他網(wǎng)元交互的數(shù)據(jù)跟蹤。該系統(tǒng)主要包括以下幾個(gè)模塊：核心控制模塊、協(xié)議解析模塊、實(shí)時(shí)監(jiān)控模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)檢索模塊。

信令監(jiān)控系統(tǒng)核心控制模塊收到采集點(diǎn)傳入的信令封包數(shù)據(jù)后，首先傳給協(xié)議解析模塊，對(duì)封包進(jìn)行多層次的協(xié)議解析，將協(xié)議類型以及其他信息返回給核心控制模塊;如果封包在系統(tǒng)監(jiān)控的協(xié)議范圍內(nèi)，則接收該封包。接收封包后，如果控制模塊開(kāi)啟了該協(xié)議的實(shí)時(shí)監(jiān)控功能，則將封包的關(guān)鍵信息以及原始封包傳入實(shí)時(shí)監(jiān)控模塊，由監(jiān)控模塊負(fù)責(zé)實(shí)時(shí)寫(xiě)入文件，用戶使用呈現(xiàn)工具打開(kāi)該文件即可看到封包信息;如果開(kāi)啟了該協(xié)議的非實(shí)時(shí)監(jiān)控功能，則將封包的關(guān)鍵信息以及原始封包傳入數(shù)據(jù)存儲(chǔ)模塊，由該模塊組織封包的存儲(chǔ)。用戶使用非實(shí)時(shí)查詢功能時(shí)，從前臺(tái)輸入要查詢的信息，數(shù)據(jù)檢索模塊檢索封包數(shù)據(jù)并返回查詢結(jié)果。

3 數(shù)據(jù)存儲(chǔ)功能

數(shù)據(jù)存儲(chǔ)模塊包括了信令數(shù)據(jù)存儲(chǔ)和異常信令數(shù)據(jù)處理?？紤]到索引是提高檢索效率的最基本和最有效的方法，通過(guò)建立和管理索引數(shù)據(jù)來(lái)加速檢索。為了提高索引生成的效率并避免重復(fù)遍歷原始數(shù)據(jù)文件，在數(shù)據(jù)存儲(chǔ)的同時(shí)，還生成并存儲(chǔ)了索引數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)功能模塊包含兩個(gè)功能，一是信令封包存儲(chǔ)功能：對(duì)信令封包進(jìn)行存儲(chǔ)，保存原始的封包數(shù)據(jù)，用于查詢結(jié)果的呈現(xiàn);二是索引數(shù)據(jù)存儲(chǔ)功能：負(fù)責(zé)存儲(chǔ)封包的索引數(shù)據(jù)，以便快速檢索原始數(shù)據(jù)。

3.1 信令封包存儲(chǔ)功能

由于現(xiàn)有網(wǎng)絡(luò)信令包的數(shù)據(jù)量非常大，為了加快文件查詢定位速度，需要對(duì)信令數(shù)據(jù)包進(jìn)行分類存儲(chǔ)，如圖2所示。

這樣做不僅使存儲(chǔ)結(jié)構(gòu)清晰，也有利于文件的清理操作，由于系統(tǒng)只存儲(chǔ)一定時(shí)間內(nèi)的文件，過(guò)期的文件夾下的數(shù)據(jù)被系統(tǒng)定時(shí)清理，以釋放存儲(chǔ)空間。

還可以根據(jù)不同的用戶需求以及容量等綜合條件對(duì)數(shù)據(jù)保留時(shí)間進(jìn)行配置，此外，系統(tǒng)的分區(qū)占用率也可以作為一個(gè)限制條件，當(dāng)分區(qū)占用率超過(guò)一個(gè)臨界值時(shí)，最舊的文件，不論其是否超過(guò)了規(guī)定的存儲(chǔ)時(shí)間，都會(huì)被清除。

3.2 索引數(shù)據(jù)存儲(chǔ)功能

考慮到現(xiàn)網(wǎng)信令數(shù)據(jù)的流量為每秒百兆的級(jí)別，程序借鑒非聚簇索引的方式組織存儲(chǔ)和索引結(jié)構(gòu)，即對(duì)原始數(shù)據(jù)的順序不進(jìn)行變動(dòng)，而是在索引中保存封包所在的位置信息和長(zhǎng)度，通過(guò)查詢較小的索引文件就可以方便的定位到原始數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)模塊的設(shè)計(jì)流程圖，如圖3所示。

描述了數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)索引存儲(chǔ)的過(guò)程，其中原始數(shù)據(jù)文件中實(shí)時(shí)記錄了系統(tǒng)收到的封包數(shù)據(jù)，索引文件記錄了一級(jí)索引，以便于后續(xù)二級(jí)索引的生成以及檢索時(shí)的定位，寫(xiě)入的周期為系統(tǒng)可配。

模塊收到一個(gè)核心模塊傳入的信令封包后，將未經(jīng)處理過(guò)的封包數(shù)據(jù)實(shí)時(shí)地寫(xiě)入相應(yīng)原始數(shù)據(jù)文件中，同時(shí)記錄下封包中的關(guān)鍵信息，保存在索引結(jié)點(diǎn)中，索引結(jié)點(diǎn)暫存在內(nèi)存cache中。以BICC封包為例的索引處理流程圖，如圖4所示。

當(dāng)達(dá)到系統(tǒng)設(shè)置的檢查周期，即索引文件的寫(xiě)入時(shí)間時(shí)，模塊檢查當(dāng)前內(nèi)存中的所有節(jié)點(diǎn)。對(duì)于所有臟數(shù)據(jù)，如果信令過(guò)程完成，即接收到結(jié)束封包RLC消息，則將節(jié)點(diǎn)信息存儲(chǔ)在主索引文件中，并刪除內(nèi)存中的節(jié)點(diǎn);如果信令過(guò)程沒(méi)有完成，則將節(jié)點(diǎn)的現(xiàn)有信息存儲(chǔ)在索引文件中，刪除位置信息，并更新節(jié)點(diǎn)狀態(tài)為干凈數(shù)據(jù)。

對(duì)于異常的封包數(shù)據(jù)，如接收信令結(jié)束消息RLC超時(shí)的呼叫流程節(jié)點(diǎn)，如果超出容納的錯(cuò)誤節(jié)點(diǎn)個(gè)數(shù)范圍，則寫(xiě)入臨時(shí)文件，后續(xù)檢索時(shí)如果查不到信息則可以從臨時(shí)文件中查找。

4 數(shù)據(jù)檢索功能及實(shí)現(xiàn)

數(shù)據(jù)檢索主要是指根據(jù)索引信息進(jìn)行封包數(shù)據(jù)檢索，即用戶通過(guò)輸入可能的過(guò)濾條件，如號(hào)碼、時(shí)間、信令協(xié)議等信息，查詢已經(jīng)捕獲到的信令封包數(shù)據(jù)。模塊通過(guò)索引檢索到相關(guān)封包后，將其重新組織成網(wǎng)絡(luò)包分析工具wireshark[12-13]可識(shí)別的文件形式，以便于用戶直觀的了解封包信息，確定信令通訊過(guò)程是否存在問(wèn)題，如圖5所示。

用戶可以查看封包數(shù)據(jù)的時(shí)間、主被叫以及碼流等詳細(xì)信息。為了加快響應(yīng)速度，模塊采用多線程的方式，可同時(shí)接收多個(gè)用戶的查詢請(qǐng)求，通過(guò)啟動(dòng)不同的線程為用戶提供統(tǒng)一的檢索服務(wù)。

為了測(cè)試本方案的檢測(cè)效率，實(shí)驗(yàn)?zāi)M了一個(gè)信令監(jiān)測(cè)數(shù)據(jù)檢索系統(tǒng)，對(duì)其檢測(cè)性能進(jìn)行了測(cè)試比較，如圖6所示。

橫軸為用戶輸入的查詢時(shí)間跨度，縱軸為單次檢索所需時(shí)間，P為分文件粒度。從圖中可以看出，分文件粒度越大，單次檢索時(shí)間就越短、效率就越高。

5 總結(jié)

本文給出了一種對(duì)信令監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ)及快速檢索的方案。該方案在數(shù)據(jù)存儲(chǔ)的同時(shí)，生成并存儲(chǔ)了索引數(shù)據(jù)，通過(guò)建立和管理索引數(shù)據(jù)來(lái)加快檢索進(jìn)度，解決了如何對(duì)信令監(jiān)控過(guò)程中產(chǎn)生的海量數(shù)據(jù)進(jìn)行高效存儲(chǔ)與快速查詢的問(wèn)題。

參考文獻(xiàn)

[1] 汪保友，姚健，張正卿.基于FKS的信令采集與監(jiān)控技術(shù)[J].電信科學(xué)，2018，34（3）：145-155.

[2] 基于軟交換網(wǎng)絡(luò)的移動(dòng)信令監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)， 2014：10-23.

[3] 蔡家鵬， 計(jì)寧， 王遜. VoLTE信令和媒體流路徑優(yōu)化方法研究[J]. 電信工程技術(shù)與標(biāo)準(zhǔn)化， 2015， 28（7）：58-61.

[4] 鄧飛. LTE網(wǎng)絡(luò)信令采集數(shù)據(jù)的分析及探討[J]. 互聯(lián)網(wǎng)天地， 2016（2）：4-10.

[5] 胡忠順，王進(jìn)，朱亮.基于手機(jī)信令數(shù)據(jù)的大客流監(jiān)控應(yīng)用研究[J].電信技術(shù)，2017（4）：21-25.

[6] 葛強(qiáng).基于LTE信令軟采的高鐵性能監(jiān)控及質(zhì)量評(píng)估[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2016，29（10）：13-17.

[7] 胡為艷， 艾民， 周光彬，等. 基于大數(shù)據(jù)的信令監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 電視技術(shù)， 2016， 40（1）：95-101.

[8] 韓翔宇. 數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程的探討及應(yīng)用[J]. 信息系統(tǒng)工程， 2015（12）：48.

[9] 何麗華. LTE信令監(jiān)測(cè)系統(tǒng)建設(shè)分析[J]. 互聯(lián)網(wǎng)天地， 2015（2）：46-49.

[10] 孫萬(wàn)飛， 馬秀榮， 單云龍，等. TD-LTE系統(tǒng)信令流程仿真平臺(tái)設(shè)計(jì)[J]. 電子測(cè)量技術(shù)， 2018，41（9）：109-115.

[11] 盧罡，徐勤良，許南山，等.復(fù)雜網(wǎng)絡(luò)松耦合分布式計(jì)算框架的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程，2015，41（11）：73-76.

[12] 朱逸坤，朱威，李永芳.基于抓包軟件的MPLS故障分析研究[J].信息通信，2018（9）：85-86.

[13] 趙怡.利用Wireshark實(shí)現(xiàn)數(shù)據(jù)包分析的應(yīng)用案例[J].電腦編程技巧與維護(hù)，2018（5）：106-108.

（收稿日期： 2019.08.18）