大數(shù)據(jù)背景下電商數(shù)據(jù)采集的方案研究

劉曉飛

【摘要】? ? 隨著科技的快速發(fā)展，信息激增，人類開始進(jìn)入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)技術(shù)開始廣泛應(yīng)用于電信，金融，零售，物流等行業(yè)，為了精準(zhǔn)的發(fā)掘數(shù)據(jù)潛在的巨大價(jià)值，就需要保證數(shù)據(jù)采集環(huán)節(jié)的準(zhǔn)確和穩(wěn)定。闡述了大數(shù)據(jù)時(shí)代下數(shù)據(jù)的復(fù)雜性和多變性，并結(jié)合電商大數(shù)據(jù)平臺(tái)建設(shè)與應(yīng)用中數(shù)據(jù)采集所面臨的巨大挑戰(zhàn)，分別針對(duì)不同的場(chǎng)景以及數(shù)據(jù)類型提出對(duì)應(yīng)的數(shù)據(jù)采集方案。

【關(guān)鍵詞】? ? 大數(shù)據(jù)時(shí)代? ? 電商大數(shù)據(jù)? ? 數(shù)據(jù)采集

引言：

大數(shù)據(jù)時(shí)代背景下，信息種類越來(lái)越豐富，數(shù)據(jù)產(chǎn)生的速度更是超乎想象。傳統(tǒng)的數(shù)據(jù)分析已經(jīng)無(wú)法處理如此多的數(shù)據(jù)，眾多企業(yè)開始建立自己的數(shù)據(jù)倉(cāng)庫(kù)。對(duì)數(shù)據(jù)進(jìn)行多角度的分析，以期實(shí)現(xiàn)數(shù)據(jù)的最大價(jià)值。但是數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建以及上層業(yè)務(wù)的精準(zhǔn)分析都需要依賴真實(shí)可靠的數(shù)據(jù)，本文的目的就是以電商大數(shù)據(jù)平臺(tái)為例讓人們了解大數(shù)據(jù)采集的關(guān)鍵技術(shù)以及不同場(chǎng)景下的數(shù)據(jù)采集方式。

一、大數(shù)據(jù)時(shí)代

隨著科技的發(fā)展，信息交互越來(lái)越頻繁，數(shù)據(jù)開始呈現(xiàn)“爆炸式”增長(zhǎng)，人類逐漸從IT時(shí)代走向DT時(shí)代。如果說(shuō)在IT時(shí)代是以自我控制、自我管理為主，那么到了DT（Data Technology）時(shí)代，則是以服務(wù)大眾，激發(fā)生產(chǎn)力為主。以互聯(lián)網(wǎng)（或者物聯(lián)網(wǎng)）、大數(shù)據(jù)和人工智能為代表的新的技術(shù)革命正在滲透至各行各業(yè)。

在DT時(shí)代，數(shù)據(jù)作為一種新的能源，正在發(fā)生著聚變，變革著我們的生產(chǎn)和生活，催生了當(dāng)下大數(shù)據(jù)行業(yè)發(fā)展熱火朝天的盛景。這里所說(shuō)的大數(shù)據(jù)主要包含兩層含義。一是表意上的數(shù)據(jù)量大，種類多，數(shù)據(jù)增長(zhǎng)速度快。二是從技術(shù)層面理解，通過(guò)使用大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)進(jìn)行采集，存儲(chǔ)，分析和處理，獲取數(shù)據(jù)中潛藏的價(jià)值。

二、源數(shù)據(jù)

電商平臺(tái)在日常運(yùn)營(yíng)過(guò)程中，會(huì)面臨眾多用戶的搜索，瀏覽，點(diǎn)擊，收藏，評(píng)論，下單，支付等行為，這些行為都可以通過(guò)電商平臺(tái)的后臺(tái)操作進(jìn)行記錄，并生成海量的數(shù)據(jù)，這些數(shù)據(jù)大致可以分為日志數(shù)據(jù)和數(shù)據(jù)庫(kù)數(shù)據(jù)，針對(duì)不同的數(shù)據(jù)類型，需要制定不同的采集方案進(jìn)行數(shù)據(jù)采集。

2.1日志數(shù)據(jù)

2.1.1瀏覽器頁(yè)面日志數(shù)據(jù)

1.頁(yè)面瀏覽日志數(shù)據(jù)。當(dāng)一個(gè)頁(yè)面被瀏覽器加載呈現(xiàn)時(shí)采集的日志。網(wǎng)站頁(yè)面是互聯(lián)網(wǎng)服務(wù)的基本載體，對(duì)于以網(wǎng)頁(yè)為基本展現(xiàn)形式的互聯(lián)網(wǎng)產(chǎn)品和服務(wù)，衡量其業(yè)務(wù)水平的基本指標(biāo)是網(wǎng)頁(yè)瀏覽量（Page View，PV）和訪客數(shù)（（Unique Visitors，UV）。為此，我們需要采集頁(yè)面被瀏覽器加載展現(xiàn)的記錄，這是最原始的互聯(lián)網(wǎng)日志采集需求，也是一切互聯(lián)網(wǎng)數(shù)據(jù)分析得以展開的基礎(chǔ)和前提。頁(yè)面瀏覽日志數(shù)據(jù)采集是目前成熟度和完備度最高，同時(shí)也是最具挑戰(zhàn)性的日志采集任務(wù)。

2.頁(yè)面交互日志數(shù)據(jù)。隨著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，僅了解到用戶訪問(wèn)的頁(yè)面和訪問(wèn)路徑，已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足用戶細(xì)分研究的需求。在很多場(chǎng)合下，需要了解用戶在訪問(wèn)某個(gè)頁(yè)面時(shí)具體的互動(dòng)行為特征，比如鼠標(biāo)或輸入焦點(diǎn)的移動(dòng)變化（代表用戶關(guān)注內(nèi)容的變化）、對(duì)某些頁(yè)面交互的反應(yīng)（可借此判斷用戶是否對(duì)某些頁(yè)面元素發(fā)生認(rèn)知困難）等。由于頁(yè)面內(nèi)容、交互方式和用戶實(shí)際行為的不可預(yù)估，交互日志的采集無(wú)法規(guī)定統(tǒng)一的采集內(nèi)容（例如促銷活動(dòng)頁(yè)面的互動(dòng)和用戶喜好實(shí)時(shí)推薦兩者相比，所需記錄的行為類型、行為數(shù)據(jù)以及時(shí)效要求都截然不同），呈現(xiàn)出高度自定義的業(yè)務(wù)特征。

3.其他日志數(shù)據(jù)。除此之外，還有一些專門針對(duì)特定統(tǒng)計(jì)場(chǎng)合的日志采集需求，如專門采集特定媒體在頁(yè)面被曝光狀態(tài)的曝光日志，用戶在線狀態(tài)的實(shí)時(shí)檢測(cè)等，但在基本原理上都脫胎于上述兩大類。

2.1.2 APP端日志數(shù)據(jù)

移動(dòng)端的日志根據(jù)不同的用戶行為分成不同的事件，事件是無(wú)線客戶端日志行為的最小單位。基于常規(guī)的分析，可把事件分為頁(yè)面事件、控件點(diǎn)擊事件以及其他事件。

1.頁(yè)面事件。將常用的行為類別單獨(dú)列出來(lái)，稱作單獨(dú)的事件。頁(yè)面事件日志記錄三類信息：1）設(shè)備及用戶的基本信息;2）被訪問(wèn)頁(yè)面的信息，主要是一些業(yè)務(wù)參數(shù)（如詳情頁(yè)面的商品ID、所屬店鋪等）;3）訪問(wèn)基本路徑（如頁(yè)面來(lái)源），還原用戶完整的訪問(wèn)路徑。

2.控件點(diǎn)擊事件?？丶c(diǎn)擊事件比頁(yè)面事件要簡(jiǎn)單得多，首先，它和頁(yè)面事件一樣，記錄了基本的設(shè)備信息、用戶信息;其次，它記錄了控件所在的頁(yè)面名稱、控件名稱、控件的業(yè)務(wù)參數(shù)等。

3.其他事件。用戶可以根據(jù)業(yè)務(wù)場(chǎng)景需求，使用自定義事件來(lái)采集相關(guān)信息。從某種程度上說(shuō)，它幾乎能滿足用戶的所有需求，包括事件名稱，事件時(shí)長(zhǎng)，事件所攜帶的屬性，事件對(duì)應(yīng)的頁(yè)面等。

2.2數(shù)據(jù)庫(kù)數(shù)據(jù)

業(yè)務(wù)數(shù)據(jù)類型中有一類高度結(jié)構(gòu)化，易于被計(jì)算機(jī)系統(tǒng)處理的數(shù)據(jù)。主要包含用戶，訂單，商品，庫(kù)存等信息，這類數(shù)據(jù)存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)中，如MySql、Oracle、SQL Server等。

關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)采集一般稱為數(shù)據(jù)同步技術(shù)，數(shù)據(jù)同步技術(shù)更通用的含義是不同系統(tǒng)間的數(shù)據(jù)流轉(zhuǎn)，有多種不同的應(yīng)用場(chǎng)景。主數(shù)據(jù)庫(kù)與備數(shù)據(jù)庫(kù)之間的數(shù)據(jù)備份，以及主系統(tǒng)與子系統(tǒng)之間的數(shù)據(jù)更新，屬于同類型不同集群數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步。另外，還有不同地域，不同數(shù)據(jù)庫(kù)類型之間的數(shù)據(jù)傳輸交換，比如業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間的數(shù)據(jù)同步，對(duì)于大數(shù)據(jù)系統(tǒng)來(lái)說(shuō)，包含數(shù)據(jù)從業(yè)務(wù)系統(tǒng)同步進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)同步進(jìn)入數(shù)據(jù)服務(wù)或數(shù)據(jù)應(yīng)用兩個(gè)方面。

三、日志數(shù)據(jù)采集策略

3.1采集要求

在瀏覽器頁(yè)面日志數(shù)據(jù)和APP端日志數(shù)據(jù)到達(dá)日志服務(wù)器后，并不能直接采集到分布式存儲(chǔ)系統(tǒng)中，需要根據(jù)業(yè)務(wù)規(guī)范在采集的過(guò)程中進(jìn)行一些處理。

1.識(shí)別流量攻擊、網(wǎng)絡(luò)爬蟲和流量作弊（虛假流量）。頁(yè)面日志是互聯(lián)網(wǎng)分析和大數(shù)據(jù)應(yīng)用的基礎(chǔ)源數(shù)據(jù)，在實(shí)際應(yīng)用中，往往存在部分虛假或者惡意流量日志，導(dǎo)致日志相關(guān)指標(biāo)的統(tǒng)計(jì)發(fā)生偏差。因此需要對(duì)所采集的日志進(jìn)行合法性校驗(yàn)，依托算法識(shí)別非正常的流量并歸納出對(duì)應(yīng)的過(guò)濾規(guī)則加以濾除。

2.數(shù)據(jù)缺項(xiàng)補(bǔ)正。為了便利后續(xù)的日志應(yīng)用和保證基本的數(shù)據(jù)統(tǒng)計(jì)口徑一致，在大多數(shù)情況下，需要對(duì)日志中的一些公用且重要的數(shù)據(jù)項(xiàng)做取值歸一、標(biāo)準(zhǔn)化處理或反向補(bǔ)正。反向補(bǔ)正，即根據(jù)新日志對(duì)稍早收集的日志中的個(gè)別數(shù)據(jù)做回補(bǔ)或修訂（例如，在用戶登錄后，對(duì)登錄前頁(yè)面日志做身份信息的回補(bǔ)）

3.無(wú)效數(shù)據(jù)剔除，在某些情況下，因業(yè)務(wù)變更或配置不當(dāng)，導(dǎo)致采集到的日志中存在一些無(wú)意義、已經(jīng)失效或者冗余的數(shù)據(jù)項(xiàng)，這些數(shù)據(jù)項(xiàng)不僅消耗存儲(chǔ)空間和運(yùn)算能力，還會(huì)干擾正常計(jì)算的進(jìn)行。為了避免此類異常的發(fā)生，需要定時(shí)檢查配置并依照配置將此類數(shù)據(jù)項(xiàng)剔除。

3.2基于flume組件的日志采集

1.簡(jiǎn)介。Flume最早是Cloudera提供的日志收集系統(tǒng)，目前是Apache下的一個(gè)項(xiàng)目。Flume提供了一個(gè)基于流式架構(gòu)，高可用，高可靠，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。它支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。

2.架構(gòu)。agent是Flume數(shù)據(jù)傳輸?shù)幕締卧?它以事件的形式將數(shù)據(jù)從源頭送至目標(biāo)系統(tǒng)。Agent主要由三個(gè)部分組成：Source、Channel、Sink。Source是負(fù)責(zé)接收數(shù)據(jù)到Flume Agent的組件。Source組件可以處理各種類型、各種格式的日志數(shù)據(jù)，包括avro、thrift、exec等。Channel是位于Source和Sink之間的緩沖區(qū)。因此，Channel允許Source和Sink運(yùn)作在不同的速率上，F(xiàn)lume自帶兩種類型的Channel：Memory Channel和File Channel。Memory Channel是內(nèi)存中的隊(duì)列，程序死亡、機(jī)器宕機(jī)都會(huì)導(dǎo)致數(shù)據(jù)丟失。 File Channel將所有事件寫到磁盤。因此在程序關(guān)閉或機(jī)器宕機(jī)的情況下不會(huì)丟失數(shù)據(jù)。Sink不斷地輪詢Channel中的事件且批量地移除它們，并將這些事件批量寫入到存儲(chǔ)系統(tǒng)、或者發(fā)送到另一個(gè)Flume Agent。

3.3日志采集方案設(shè)計(jì)

1.數(shù)據(jù)采集的精準(zhǔn)性。在source監(jiān)控文件內(nèi)容更新的過(guò)程中，flume出現(xiàn)宕機(jī)的問(wèn)題，監(jiān)測(cè)的文件還在不斷地更新，此時(shí)如果Flume重啟就會(huì)出現(xiàn)數(shù)據(jù)丟失的情況，針對(duì)這種情況，Source配置成Taildir類型，當(dāng)Flume開始監(jiān)聽某個(gè)文件時(shí)，會(huì)將已經(jīng)采集完成的位置偏移量保存到positionFile文件中，flume重啟時(shí)，可以讀取上次斷點(diǎn)位置繼續(xù)采集數(shù)據(jù)，在實(shí)際生產(chǎn)中發(fā)現(xiàn)這個(gè)配置只能解決斷點(diǎn)續(xù)傳的問(wèn)題，flume的channel 采用memory依然會(huì)丟失一部分?jǐn)?shù)據(jù)，因此，還需要將channel的類型配置成file，即存放在磁盤，保證channel中數(shù)據(jù)不會(huì)丟失。

2.數(shù)據(jù)采集的靈活性。靈活性主要體現(xiàn)在兩方面，一是通過(guò)攔截器對(duì)數(shù)據(jù)進(jìn)行初步的清洗（例如事件過(guò)濾，數(shù)據(jù)修改等），另外一方面就是配置多管道的架構(gòu)，保證數(shù)據(jù)分發(fā)到不同的目的地。

3.數(shù)據(jù)采集的高效性。數(shù)據(jù)處理主要分為離線數(shù)據(jù)處理和實(shí)時(shí)計(jì)算處理，為了避免數(shù)據(jù)的重復(fù)采集，可以設(shè)計(jì)一種方案，通過(guò)flume將數(shù)據(jù)采集到kafka（分布式消息系統(tǒng)）中，數(shù)據(jù)在kafka中以不同主題的形式存儲(chǔ)，此時(shí)既可以使用flume組件再次讀取kafka中的數(shù)據(jù)，存入到分布式存儲(chǔ)系統(tǒng)中進(jìn)行離線批量處理，也可以使用實(shí)時(shí)計(jì)算框架（spark streaming或者flink）讀取kafka中的數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算。另外，引入kafka組件可以在促銷活動(dòng)引起的數(shù)據(jù)激增的情況下，實(shí)現(xiàn)數(shù)據(jù)削峰的功能，保證采集系統(tǒng)的穩(wěn)定性。

四、數(shù)據(jù)庫(kù)數(shù)據(jù)同步策略

4.1簡(jiǎn)介

Sqoop是一款開源的工具，主要用于在分布式存儲(chǔ)系統(tǒng)（HDFS）與傳統(tǒng)的數(shù)據(jù)庫(kù)（mysql、oracle等）間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫(kù)中。

4.2架構(gòu)

Sqoop 架構(gòu)主要由三個(gè)部分組成：Sqoop client、HDFS、Database。用戶向 Sqoop 發(fā)起一個(gè)命令之后，這個(gè)命令會(huì)轉(zhuǎn)換為一個(gè)基于hadoop的Map Task的MapReduce作業(yè)。Map Task 會(huì)訪問(wèn)數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息，通過(guò)并行的 Map Task 將數(shù)據(jù)庫(kù)的數(shù)據(jù)讀取出來(lái)，然后導(dǎo)入HDFS中。核心思想就是通過(guò)基于 Map Task的MapReduce作業(yè)，實(shí)現(xiàn)數(shù)據(jù)的并發(fā)拷貝和傳輸，這樣可以大大提高效率。

4.3數(shù)據(jù)同步方案設(shè)計(jì)

1.數(shù)據(jù)同步的靈活性。Sqoop可以將數(shù)據(jù)進(jìn)行全量同步和增量同步，全量同步比較簡(jiǎn)單，直接將源表所有數(shù)據(jù)查詢出來(lái)進(jìn)行同步即可。由于數(shù)據(jù)量大，我們不可能每次都將所有數(shù)據(jù)全量導(dǎo)入，例如訂單表數(shù)據(jù)量巨大，且是不斷累加的，因此需要進(jìn)行增量同步，增量同步分兩種，一是基于遞增列的增量數(shù)據(jù)導(dǎo)入（Append方式），即在增量導(dǎo)入時(shí)指定上次導(dǎo)入數(shù)據(jù)最后的位置。二是基于時(shí)間列的增量數(shù)據(jù)導(dǎo)入（LastModified方式），這種方式要求表中有時(shí)間字段，記錄上次導(dǎo)入的時(shí)間。

2.數(shù)據(jù)同步的安全性。無(wú)論是電商行業(yè)還是其他互聯(lián)網(wǎng)企業(yè)，將結(jié)構(gòu)化數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫(kù)同步到數(shù)據(jù)倉(cāng)庫(kù)的首要條件是確保采集過(guò)程中，不會(huì)對(duì)正常運(yùn)行的業(yè)務(wù)系統(tǒng)造成任何影響，因此可以采取從備庫(kù)中進(jìn)行數(shù)據(jù)抽取，一般備庫(kù)是防止主業(yè)務(wù)數(shù)據(jù)庫(kù)宕機(jī)，無(wú)法對(duì)外提供服務(wù)而設(shè)計(jì)的，擁有和主業(yè)務(wù)數(shù)據(jù)庫(kù)同樣的數(shù)據(jù)，利用備庫(kù)進(jìn)行數(shù)據(jù)同步，不會(huì)對(duì)主業(yè)務(wù)數(shù)據(jù)庫(kù)造成任何影響。

3.數(shù)據(jù)同步的準(zhǔn)確性。由于數(shù)據(jù)業(yè)務(wù)表種類繁多，對(duì)應(yīng)的需要啟動(dòng)多個(gè)任務(wù)進(jìn)行數(shù)據(jù)同步，任務(wù)執(zhí)行過(guò)程中可能會(huì)出現(xiàn)部分任務(wù)失敗的情況，導(dǎo)致部分?jǐn)?shù)據(jù)缺失，可以建立多個(gè)臨時(shí)表與目標(biāo)表一一對(duì)應(yīng)，數(shù)據(jù)先同步到臨時(shí)表，任務(wù)成功的才可以由臨時(shí)表導(dǎo)入到目標(biāo)表，任務(wù)失敗的可以清除臨時(shí)表中的數(shù)據(jù)，排查問(wèn)題后，重新執(zhí)行同步任務(wù)。

五、結(jié)束語(yǔ)

一般大型互聯(lián)網(wǎng)企業(yè)的日均數(shù)據(jù)收集量均以億為單位計(jì)量。作為大數(shù)據(jù)平臺(tái)架構(gòu)的基石，數(shù)據(jù)采集尤為重要，本文基于各類場(chǎng)景的數(shù)據(jù)提供了更為安全可靠的采集方案。為了提供符合業(yè)務(wù)特性的數(shù)據(jù)展現(xiàn)，實(shí)現(xiàn)更為高效的下游統(tǒng)計(jì)計(jì)算，以及為算法提供更便捷、靈活的支持，數(shù)據(jù)采集環(huán)節(jié)還需要針對(duì)可能出現(xiàn)的新的數(shù)據(jù)類型進(jìn)行更加完善的規(guī)范化組織。

引言：

我國(guó)領(lǐng)海面積廣闊，擁有豐富的海洋石油資源。隨著中國(guó)海洋石油工業(yè)的快速發(fā)展，海洋石油平臺(tái)的信息化建設(shè)也在不斷加速。然而受海上環(huán)境復(fù)雜多變、施工困難等客觀因素影響，海上數(shù)據(jù)通信技術(shù)的發(fā)展比較平緩，這也制約了中海油信息化系統(tǒng)建設(shè)的步伐。近年來(lái)，中海油信息科技有限公司深圳分公司積極開拓創(chuàng)新，引進(jìn)全球先進(jìn)技術(shù)，不斷升級(jí)改進(jìn)海洋石油平臺(tái)的海陸通信系統(tǒng)，其中尤其以海陸微波通信系統(tǒng)的成功應(yīng)用最具革命性突破，標(biāo)志著海洋石油平臺(tái)進(jìn)入全面網(wǎng)絡(luò)信息化時(shí)代。隨著海陸微波通信系統(tǒng)的應(yīng)用發(fā)展，海陸微波天線復(fù)用系統(tǒng)的開發(fā)應(yīng)用進(jìn)一步提高了海陸微波傳輸帶寬和傳輸可靠性，再次推動(dòng)了海洋石油平臺(tái)信息化系統(tǒng)建設(shè)的高速發(fā)展。本文第二節(jié)簡(jiǎn)單回顧了海洋石油平臺(tái)海陸通信系統(tǒng)的發(fā)展歷程，第三節(jié)通過(guò)海陸微波通信傳輸模型分析，介紹了海陸微波天線復(fù)用系統(tǒng)的應(yīng)用起源，第四節(jié)闡述了海陸微波天線復(fù)用系統(tǒng)的系統(tǒng)組成和技術(shù)特點(diǎn)，最后在第五節(jié)進(jìn)行全文小結(jié)，總結(jié)了海陸微波天線復(fù)用系統(tǒng)的技術(shù)特點(diǎn)。

一、海陸微波應(yīng)用發(fā)展簡(jiǎn)史

在過(guò)去，海洋石油平臺(tái)主要采用衛(wèi)星+海纜的較為單一的數(shù)據(jù)網(wǎng)絡(luò)通信方式，其中海洋石油平臺(tái)與陸地辦公網(wǎng)絡(luò)之間主要依賴衛(wèi)星通信，海纜主要用于海洋石油平臺(tái)群的中心平臺(tái)與周邊平臺(tái)之間的數(shù)據(jù)傳輸通信。海陸間衛(wèi)星通信如下圖1所示?？墒?，衛(wèi)星通信費(fèi)用昂貴，通常海上石油平臺(tái)只能開通較低衛(wèi)星帶寬（通常為512kbps～2Mbps）用于海陸通信，導(dǎo)致衛(wèi)星通信帶寬成為海上與陸地之間通信的稀缺資源，僅能用于海陸通信保障及最基本的必要辦公需求。而且由于衛(wèi)星通信數(shù)據(jù)傳輸時(shí)延較大，大量的其它通信需求無(wú)法得到滿足，使海洋石油平臺(tái)信息相對(duì)封閉，平臺(tái)與平臺(tái)之間、平臺(tái)與陸地之間的信息傳遞比較閉塞緩慢。

中海油信息科技有限公司深圳分公司于2008-2009年間，開創(chuàng)性的使用了海陸微波系統(tǒng)。經(jīng)過(guò)長(zhǎng)達(dá)兩年嚴(yán)謹(jǐn)?shù)耐ㄐ拍Ｐ头治?、試?yàn)系統(tǒng)運(yùn)行、穩(wěn)定性評(píng)估以及系統(tǒng)優(yōu)化試運(yùn)行后，海陸微波系統(tǒng)成功開通并維護(hù)使用至今。如下圖2所示，該系統(tǒng)可以無(wú)線連接離岸100-200公里范圍內(nèi)的海洋石油平臺(tái)，并提供高達(dá)50～80Mbps的帶寬傳輸，從而使海上石油平臺(tái)從“海上信息孤島”轉(zhuǎn)變?yōu)榭蓾M足海上石油平臺(tái)辦公、生產(chǎn)、管理和基本日常生活通信等需求的生產(chǎn)生活平臺(tái)，實(shí)現(xiàn)了海上石油平臺(tái)海陸通信的里程碑式的飛躍。

二、海陸微波天線復(fù)用系統(tǒng)應(yīng)用起源

隨著海油信息化系統(tǒng)建設(shè)的進(jìn)一步推進(jìn)，日益增長(zhǎng)的辦公、生產(chǎn)、安全管理和日常生活通信帶寬需求，對(duì)海陸微波的傳輸帶寬提出了更高的要求。如何有效提高海陸微波傳輸帶寬和可靠性，成為一個(gè)迫切需要解決的課題。本小節(jié)通過(guò)對(duì)海陸微波傳輸模型的簡(jiǎn)單模擬分析，探討了使用海陸微波天線復(fù)用系統(tǒng)的客觀因素和起源。

2.1 海陸微波傳輸模型

海陸微波工作在5GHz頻段，相比傳統(tǒng)License頻段（11-38GHz），5GHz頻段的自由空間傳輸損耗更小，更加適合用于海洋傳輸。建立海陸微波傳輸模型有助于理解和分析如何提高海陸微波的傳輸帶寬。圖3是一個(gè)理想的海陸微波傳輸模型，該模型不考慮海上濕度、氣壓、風(fēng)速、波浪、海上多普勒效應(yīng)等不可預(yù)測(cè)的因素。

從該模型可以看出，在理想的理論傳輸模型中，海陸微波在跨越長(zhǎng)距離海面進(jìn)行傳輸時(shí)，受地球曲率、大氣折射率、海面反射等因素影響，對(duì)兩端微波天線架設(shè)的海拔高度有較高要求。為了降低海陸微波信號(hào)傳輸損耗，應(yīng)盡量提高兩端微波天線安裝的海拔高度。而海洋石油平臺(tái)的天線安裝高度受平臺(tái)限制，為了保證海陸微波的傳輸性能，就需要在陸地端尋找合適的高點(diǎn)進(jìn)行安裝。以下圖4、5模擬了提升陸地端高度后，海陸微波跨海傳輸?shù)睦碚撃Ｐ妥兓?/p>

從上述海陸微波傳輸模型模擬結(jié)果可以看出，海陸微波雖然最大可以傳輸200公里，但受到地形（海平面）和客觀傳輸環(huán)境條件限制，并非所有的陸地高點(diǎn)和海上平臺(tái)，都能搭建海陸微波傳輸系統(tǒng)，實(shí)現(xiàn)海上平臺(tái)與陸地直接通信。平臺(tái)與陸地之間距離越遠(yuǎn)，則要求陸地端微波安裝海拔高度越高。

2.2 海陸微波天線復(fù)用系統(tǒng)起源

海陸微波系統(tǒng)的建立，需要在充分模擬評(píng)估鏈路傳輸性能的前提下，選取理想的海上平臺(tái)和與之對(duì)應(yīng)的陸地沿岸/海上島嶼制高點(diǎn)，且陸地安裝點(diǎn)需具備通信機(jī)房/簡(jiǎn)易機(jī)房、通信鐵塔、穩(wěn)定供電等基礎(chǔ)設(shè)施條件。理論上，可以在合適的陸地站點(diǎn)與對(duì)應(yīng)海上平臺(tái)之間通過(guò)安裝多套海陸微波以獲得更多的傳輸帶寬，但在實(shí)際環(huán)境中卻比較難實(shí)現(xiàn)，原因如下：

1.適合架設(shè)海陸微波的海上平臺(tái)和與之對(duì)應(yīng)的陸地站點(diǎn)數(shù)量較少，可用站點(diǎn)資源稀缺;

2.海陸微波因距離遠(yuǎn)，需求帶寬大，為了保證傳輸帶寬，需要使用2.4米或3米的大口徑傳輸天線。同時(shí)，為了提高海陸微波傳輸可靠性，會(huì)在陸地安裝點(diǎn)采用雙天線垂直分集結(jié)構(gòu)實(shí)現(xiàn)信號(hào)空間分集發(fā)送/接收，即一對(duì)海陸微波鏈路僅在陸地安裝點(diǎn)就需要安裝2副大口徑天線。當(dāng)需要在同一站點(diǎn)新建多套海陸微波鏈路時(shí)，需要安裝多套新的天線和天饋系統(tǒng)，除了增加高昂的天線成本（包括天線硬件成本、天線運(yùn)輸成本和天線安裝成本）之外，還面臨天線安裝調(diào)試維護(hù)困難的問(wèn)題，并且對(duì)陸地站點(diǎn)的鐵塔安裝空間以及鐵塔強(qiáng)度都提出額外的要求，陸地站點(diǎn)現(xiàn)有鐵塔空間和強(qiáng)度難以滿足新裝多條海陸微波鏈路天線的需求;

3.海上平臺(tái)空間有限，大型通信系統(tǒng)的安裝位置與抱桿都受到較大限制，只能局限在指定區(qū)域的指定抱桿上，而無(wú)法隨意改變安裝位置或者新增安裝抱桿。如需新建多套海陸微波鏈路，平臺(tái)難以提供足夠的安裝空間和安裝抱桿。

上述客觀因素導(dǎo)致在現(xiàn)實(shí)中難以在原有海陸微波的站點(diǎn)上，通過(guò)新增多套海陸微波的方式獲得更大的海陸間通信帶寬。因此，可直接使用原有海陸微波天線、供電和鐵塔，無(wú)需新增天線，并通過(guò)對(duì)原有海陸微波鏈路升級(jí)替換從而實(shí)現(xiàn)提升海陸通信帶寬的海陸微波天線復(fù)用系統(tǒng)應(yīng)運(yùn)而生。

三、海陸微波天線復(fù)用系統(tǒng)組成和技術(shù)特點(diǎn)

海陸微波天線復(fù)用系統(tǒng)通過(guò)對(duì)海陸微波的射頻信號(hào)和基帶信號(hào)進(jìn)行復(fù)用處理，實(shí)現(xiàn)海陸微波系統(tǒng)傳輸帶寬提升。本節(jié)介紹了海陸微波天線復(fù)用系統(tǒng)組成和技術(shù)特點(diǎn)，探討了使用海陸微波天線復(fù)用系統(tǒng)實(shí)現(xiàn)提高海陸微波傳輸帶寬的優(yōu)勢(shì)和特點(diǎn)。

3.1 海陸微波天線復(fù)用系統(tǒng)組成

海陸微波天線復(fù)用系統(tǒng)主要包含兩個(gè)子系統(tǒng)：1. 海陸微波射頻信號(hào)復(fù)用子系統(tǒng);2.海陸微波基帶信號(hào)處理子系統(tǒng)。如下圖6所示。

3.2 海陸微波射頻信號(hào)復(fù)用子系統(tǒng)

根據(jù)無(wú)線通信原理，無(wú)線傳輸系統(tǒng)使用的信道頻寬越大，在相同傳輸條件下信息傳輸速率越高。同時(shí)，在相同調(diào)制模式下，調(diào)制信號(hào)的接收電平RSSI和SNR門限值與調(diào)制信號(hào)的信道頻寬相關(guān)。調(diào)制信號(hào)使用的信道頻寬越大，則對(duì)接收電平RSSI和SNR門限值要求越高。

以中海油南海油田當(dāng)前正在運(yùn)行的一條海陸微波鏈路為例，該鏈路傳輸距離為98公里，使用30MHz的信道頻寬，可以穩(wěn)定提供50-80Mbps的通信傳輸速率。在試驗(yàn)階段，為了提高通信傳輸速率，把信道頻寬從30MHz提高到45MHz，鏈路傳輸速率最大可提升接近50%，峰值速率可達(dá)到70-110Mbps，但是由于45MHz信道頻寬在相同調(diào)制模式下對(duì)RSSI和SNR要求更高，因此比較容易出現(xiàn)調(diào)制模式變化，從而造成傳輸速率波動(dòng)。在超過(guò)一個(gè)月的對(duì)比觀察中，使用更高信道頻寬45MHz雖然能夠獲得更大的短期峰值速率，但平均傳輸速率相比使用30MHz信道頻寬時(shí)提升并不明顯，反而由于使用了更高信道頻寬，影響了無(wú)線傳輸可靠性。

海陸微波射頻信號(hào)復(fù)用子系統(tǒng)并非通過(guò)增加信道頻寬或者信道捆綁方式提升系統(tǒng)傳輸速率，而是采用了獨(dú)立雙射頻復(fù)用處理技術(shù)，實(shí)現(xiàn)了原有天線/天饋利舊和系統(tǒng)平滑升級(jí)，可以有效提高海陸微波傳輸系統(tǒng)的通信傳輸速率，同時(shí)由于該技術(shù)信號(hào)處理?yè)p耗小，基本不影響原系統(tǒng)的無(wú)線傳輸穩(wěn)定性，從而同時(shí)滿足了提升傳輸帶寬、保持無(wú)線傳輸穩(wěn)定性的需求。

另外，海陸微波射頻信號(hào)復(fù)用子系統(tǒng)還能避免雙射頻信號(hào)之間的串?dāng)_和諧波問(wèn)題。相比簡(jiǎn)單進(jìn)行兩個(gè)射頻信號(hào)的物理疊加會(huì)造成射頻信號(hào)全頻段干擾的結(jié)果，該技術(shù)很好地保護(hù)了雙射頻的獨(dú)立性，使之互不干擾。以下兩圖中，圖7展示了雙射頻信號(hào)簡(jiǎn)單物理疊加時(shí)嚴(yán)重干擾的頻譜圖，圖8則是海陸微波天線復(fù)用系統(tǒng)下雙射頻信號(hào)穩(wěn)定獨(dú)立工作的頻譜圖。

3.3 海陸微波基帶信號(hào)處理子系統(tǒng)

海陸微波基帶信號(hào)處理子系統(tǒng)將雙基帶信號(hào)進(jìn)行復(fù)合處理，并且可以根據(jù)實(shí)際網(wǎng)絡(luò)應(yīng)用需要自由調(diào)整工作模式，從而實(shí)現(xiàn)靈活的網(wǎng)絡(luò)部署方式。 處理模式主要有兩種：雙基帶信號(hào)堆疊復(fù)合，以及雙基帶信號(hào)隔離分拆。在堆疊復(fù)合模式下，雙基帶信號(hào)被合并，從而提供更高的通信傳輸速率，并且在堆疊復(fù)合模式下，任一基帶信號(hào)丟失將不會(huì)影響整個(gè)基帶信號(hào)處理子系統(tǒng)的通信傳輸，實(shí)現(xiàn)了雙基帶信號(hào)互為冗余備份的功能。在信號(hào)隔離拆分模式下，雙基帶信號(hào)被獨(dú)立拆分并相互隔離傳輸，互不影響。

顯然，堆疊復(fù)合模式適合當(dāng)單一傳輸通道需要更大的傳輸帶寬時(shí)使用，而信號(hào)隔離拆分模式則適用于專用網(wǎng)絡(luò)劃分時(shí)使用。例如當(dāng)網(wǎng)絡(luò)管理員需要將傳輸帶寬分別獨(dú)立分配給專用辦公網(wǎng)絡(luò)和平臺(tái)工作/生活網(wǎng)絡(luò)時(shí)，則更加適用信號(hào)隔離拆分模式。

此外，海陸微波基帶信號(hào)處理子系統(tǒng)還具備另一特點(diǎn)：子系統(tǒng)網(wǎng)元可網(wǎng)管特性及狀態(tài)可視化管理，既能無(wú)縫對(duì)接原有辦公網(wǎng)絡(luò)的網(wǎng)管系統(tǒng)，還可給現(xiàn)場(chǎng)通信工程師提供直觀、便捷的狀態(tài)信息。

四、結(jié)束語(yǔ)

海陸微波天線復(fù)用系統(tǒng)具備以下特點(diǎn)：

1.可在原有海陸微波系統(tǒng)上平滑升級(jí)，實(shí)現(xiàn)提升海陸間通信帶寬的效果，無(wú)兼容性問(wèn)題;

2.可對(duì)原有海陸微波系統(tǒng)基礎(chǔ)設(shè)施進(jìn)行利舊，包括鐵塔、天線、抱桿、供電等，無(wú)需擔(dān)心基礎(chǔ)設(shè)施配套不足或原有設(shè)施資源浪費(fèi)的問(wèn)題;

3.很好的延續(xù)了海陸微波傳輸系統(tǒng)的無(wú)線傳輸可靠性和穩(wěn)定性，且因堆疊模式下可以提供雙傳輸通道互為備份的功能，使海陸微波傳輸系統(tǒng)更加穩(wěn)定可靠;

4.可自由配置堆疊模式或隔離拆分模式，網(wǎng)絡(luò)部署方式更加靈活方便;

5.兼容原有海陸微波網(wǎng)管系統(tǒng)，保持原有使用習(xí)慣，便于網(wǎng)絡(luò)維護(hù)。

海陸微波天線復(fù)用系統(tǒng)突破了傳統(tǒng)海陸微波的限制，提供高可靠（雙冗余備份）、更靈活（堆疊模式或信號(hào)隔離拆分模式自由配置）、更高速的海陸間無(wú)線通信帶寬，為海洋石油平臺(tái)信息化系統(tǒng)建設(shè)帶來(lái)了新的發(fā)展機(jī)遇。

參? 考? 文? 獻(xiàn)

[1] Theodore S. Rappaport， Wireless Communications Principles and Practice， Second Edition， Publishing House of Electronics Industry PHEI， 2012-08， 01-01 [ （美）西奧多 S. 拉帕波特，無(wú)線通信原理與應(yīng)用（第2版），電子工業(yè)出版社，2012-08，01-01]

[2]? Zhou C D， Wang Y K， Yang E H. Antenna and Electric Wave. Xian： Xian Electronic Technology University Press，1994. 290–302 [周朝棟， 王元坤， 楊恩輝. 天線與電波. 西安： 西安電子科技大學(xué)出版社， 1994. 290–302]

[3]? Meng Y S， Dong F， Lee Y H. Near sea-surface mobile radiowave propagation at 5 GHz： measurements and modeling. Radio Eng， 2014， 23： 824–830

[4]? Duan Z M， Yin X P， Signals and Systems， Fourth Edition， Publishing House of Electronics Industry PHEI， 2020-07 [段哲民，尹熙鵬，信號(hào)與系統(tǒng)（第4版），電子工業(yè)出版社，2020-07]

[5]? Mo H， Chen B， Shen C. Radio propagation prediction model for maritime mobile communication. In： Proceedings of IET International Conference on Wireless Communications and Applications （ICWCA2012）， Kuala Lumpur， 2012.1–5