基于彩色二維條碼流的Display-to-Camera通信系統(tǒng)

姜 珊，胡貴軍，王海燕，李 莉

（吉林大學通信工程學院，吉林長春130012）

基于彩色二維條碼流的Display-to-Camera通信系統(tǒng)

姜 珊，胡貴軍，王海燕，李 莉

（吉林大學通信工程學院，吉林長春130012）

為了滿足人們的多元化通信需求，構(gòu)建可靠的低成本通信鏈路，本文利用日常生活中的屏幕顯示設(shè)備和照相攝像設(shè)備，構(gòu)建了新型Display-to-Camera通信系統(tǒng).描述了系統(tǒng)基本鏈路并建立系統(tǒng)模型，闡述了收發(fā)機實現(xiàn)框架和關(guān)鍵技術(shù)；搭建實驗系統(tǒng)，設(shè)計了符合顯示屏顯示特性的新型彩色條碼流，用以承載信息；接收端利用計算機圖像處理技術(shù)，匹配、跟蹤識別信號區(qū)域，過濾系統(tǒng)背景噪聲；利用幀分類和顏色增強技術(shù)抑制了系統(tǒng)符號間干擾，保證了彩色條碼的正確識別.實驗系統(tǒng)實現(xiàn)了速率287kbit/s的數(shù)據(jù)傳輸，解碼正確率99.8%.

可見光通信；Display-to-Camera通信；系統(tǒng)設(shè)計；圖像處理

1 引言

近幾年來，隨著人們對獲取信息的即時性和多元化需求日益增加，移動網(wǎng)絡(luò)應(yīng)用的廣度和深度正以人們預想不到的速度迅猛發(fā)展.人們對移動通信的方便性和靈活性不斷提出更高要求.特別在固定設(shè)備與移動通信網(wǎng)絡(luò)相連接、近距離移動設(shè)備的低功耗通信等方面，現(xiàn)有的技術(shù)很難真正滿足人們的需求.如何有效地擴充現(xiàn)有移動通信范疇，也成為一項新穎的課題，吸引了國內(nèi)外學者的目光［1～5］.

與此同時，隨著經(jīng)濟和科技的發(fā)展，屏幕顯示設(shè)備和照相攝像設(shè)備成為我們生活中觸手可及的日常用品.電子廣告牌、電腦顯示器、信息亭、移動顯示屏等發(fā)光設(shè)備隨處可見［6］.手機、筆記本電腦、電子書、音樂播放器和手持游戲機等產(chǎn)品也普遍集成了攝像功能.這些顯示設(shè)備和攝像機，可以提供安全、直觀、易于實現(xiàn)的通信接口［7］，構(gòu)成一種新型的低成本可見光通信鏈路.由于可見光具有短波頻譜的高度定向特性，所以該通信鏈路具有很強的抗干擾能力，在密集的高爭用場景下可以建立多條并行鏈路，顯著提高通信能力［8］.另一方面，采用照相攝像機作為接收設(shè)備，接收信號的有效面積以數(shù)量級的形式提高［9］，大大降低了原有可見光通信的設(shè)備對準難度，使可見光通信具備了更加廣闊的移動應(yīng)用前景.同時，相比于傳統(tǒng)的射頻及可見光通信器件，顯示屏對攝像機的通信鏈路小巧且易于控制，可以在一定程度上滿足安全通信的需求［10］.

本文提出了一種基于彩色二維條碼流的Displayto-Camera通信系統(tǒng)，用顯示屏部分區(qū)域的陣列發(fā)光像素點作為光發(fā)射機，攝像機的圖像傳感器的多個像素點作為光接收機，構(gòu)建一個陣列式的可見光通信系統(tǒng).本文論述了系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)及解決方案，成功地利用該通信系統(tǒng)實現(xiàn)了 66.1KB Word文件的有效傳輸，系統(tǒng)傳輸速率為287kbit/s，解碼正確率99.8%.

2 Display-to-Camera通信系統(tǒng)概述

Display-to-Camera通信系統(tǒng)的基本鏈路如圖1所示.系統(tǒng)使用顯示屏作為發(fā)送設(shè)備：首先將所傳輸?shù)男盘栒{(diào)制、編碼，轉(zhuǎn)化為Display-to-Camera通信鏈路可以承載的多像素二維彩色圖像格式；然后將信息圖像分組打包，組成視頻流；最后由顯示屏中的發(fā)光陣列像素點發(fā)送可見光信號.在接收端，系統(tǒng)采用攝像機作為接收設(shè)備：由攝像頭拍攝包含信息區(qū)域的圖像，其廣角視野突破了過去可見光移動通信系統(tǒng)的技術(shù)瓶頸，也大大擴展了系統(tǒng)有效通道數(shù)目；隨后使用圖像處理算法實現(xiàn)接收端的信號檢測與估計，這種傳輸模式，是計算機圖像處理技術(shù)與可見光通信領(lǐng)域交叉研究的一次成功的嘗試.

要完成信息傳輸，涉及發(fā)送端信號條碼流生成，接收端信號區(qū)域的匹配識別和跟蹤提取，以及接收信號模糊估計和顏色增強等技術(shù).基于彩色二維條碼流的Display-to-Camera通信系統(tǒng)的具體結(jié)構(gòu)如圖2所示.其中，發(fā)送端的信息發(fā)送過程分為條碼生成和條碼流生成模塊.系統(tǒng)接收端也可分為圖像預處理模塊和條碼識別模塊.

在發(fā)送端，由條碼生成模塊對源信號進行冗余校驗編碼；再根據(jù)顯示設(shè)備的顏色顯示特性，對信號進行顏色編碼，將通信控制字段和信息數(shù)據(jù)填充至相應(yīng)陣列位置空間中，形成彩色二維可見條碼.隨后在條碼流生成模塊中，插入含有必要系統(tǒng)及信道信息的訓練序列幀，與多個彩色條碼數(shù)據(jù)幀共同組成條碼視頻流，由顯示屏設(shè)備發(fā)送.

在接收端，攝像機拍攝的視頻拆分為圖像幀后，使用計算機圖像處理中的特征匹配［11］算法，計算圖像特征向量，匹配識別訓練序列幀圖像，定位信號區(qū)域；并在隨后各幀中采用光流法［12］估計信號區(qū)域運動趨勢，實現(xiàn)信號區(qū)域的快速分割提取，達到抑制帶外噪聲的目的；通過圖像的匹配和跟蹤識別參數(shù)，計算通信系統(tǒng)的仿射變換參數(shù)［13］，恢復圖像在接收端成像時的投影失真；同時，對于圖像模糊引起的信號碼間干擾和符號間干擾，使用一種簡單易行的模糊評估函數(shù)進行幀分類［14］，計算判決閾值，增強接收端彩色圖像對比度.然后，再利用條碼識別技術(shù)，對信號區(qū)域進行線性掃描和角點檢測［15］，從信號區(qū)域的圖像中，檢測、提取信號并解調(diào)解碼，恢復為原始信號.

3 Display-to-Camera通信系統(tǒng)的關(guān)鍵技術(shù)

3.1信號編碼與條碼流形成技術(shù)

相比于傳統(tǒng)可見光發(fā)送設(shè)備，顯示屏易于獲取，驅(qū)動簡單，可以利用顯卡以圖像的形式快速顯示數(shù)據(jù)碼字陣列.事實上，由顯示屏顯示二維碼傳遞URL鏈接或少量文字信息的技術(shù)已經(jīng)廣泛應(yīng)用到我們的生活中.但是二維碼傳遞信息的容量一般在幾百bit，要想真正實現(xiàn)通信，發(fā)送端還需探索新的技術(shù).

對于顯示屏設(shè)備的發(fā)送容量限制問題，有兩個擴展方案：一是使用顏色編碼擴展系統(tǒng)容量，利用可見光的多個顏色頻譜傳遞更多的信息；二是使用視頻形式傳遞的多幀條碼流代替原有的固定條碼，在時域擴展系統(tǒng)容量，只要有足夠的幀數(shù)，條碼流可以傳遞無限制容量的信息.在這兩個方案的基礎(chǔ)上，形成了本系統(tǒng)傳遞信息所使用的彩色條碼流.

該條碼流由串行輸出的彩色條碼組成，單幀彩色條碼生成時存儲的數(shù)據(jù)格式則是經(jīng)過顏色編碼的二進制數(shù).擴展的顏色編碼技術(shù)考慮到一般發(fā)送設(shè)備顯示屏是RGB三色光源發(fā)光、點陣顯示的設(shè)備，將碼字按表1映射為不同顏色的顯示信號單元.不同顏色的信號單元密集排列，將形成彩色棋盤格狀的圖像.

彩色條碼的封裝參考QR碼國際標準，在指定數(shù)據(jù)位插入圖像控制字段后，形成方形的彩色條碼，其結(jié)構(gòu)如圖3所示.其中圖像控制字段在形成條碼時聚合而成的特定圖形統(tǒng)稱為功能圖形，利用這些功能圖形，可以快速建立二維碼的識別網(wǎng)格，精確定位每一個小的信號單元.

表1　數(shù)據(jù)碼字的顏色映射表

將源信號封裝為多個彩色條碼圖像后，利用編程語言中的創(chuàng)建視頻句柄，將多幀彩色條碼編輯為一個可播放的彩色條碼流視頻.每一幀數(shù)據(jù)即為條碼流中的一個時間片，每一個條碼流可以視為一個多幀串行的數(shù)據(jù)包.包頭幀的數(shù)據(jù)部分主要為接收端已知的訓練序列，以保證接收端可以識別包頭的基本圖像特征，同時可添加少量握手信息、數(shù)據(jù)編號及確認等信息.

3.2信號區(qū)域的匹配識別技術(shù)

攝像機作為系統(tǒng)接收設(shè)備，內(nèi)部感光元件陣列分布，其總的接收范圍遠大于原有的光電轉(zhuǎn)換設(shè)備，使得可見光通信的移動化成為了可能.但是，系統(tǒng)的移動使得信號在接收端成像時信號區(qū)域產(chǎn)生尺度大小改變、旋轉(zhuǎn)、仿射形變、背景噪聲等問題，增大了信號識別的難度.同時，攝像機視野內(nèi)情況較為復雜，拍攝到的圖像除傳輸信號外還有大量無關(guān)對象的影像，如何去除與信號無關(guān)的背景噪聲，對投影圖像中的信號區(qū)域進行正確的識別分割，是Display-to-Camera通信系統(tǒng)的關(guān)鍵技術(shù)之一.

本論文中，條碼流的包頭即第1幀為接收端已知的訓練序列幀，將其與攝像機捕捉到的圖像進行匹配識別，可以確定接收信號條碼流的第1幀，初步判定并校正信號區(qū)域.具體識別采用尺度不變特征變換匹配（Scale Invariant Feature Transform，SIFT）算法，其基本思想是尋找圖像中對亮度變化、尺度縮放、旋轉(zhuǎn)保持不變的特征點；為每個特征點構(gòu)建唯一的描述參數(shù).再將訓練序列圖像和第1幀接收信號圖像中參數(shù)一致的特征點一一對應(yīng)，即可確定信號區(qū)域，完成信號區(qū)域的匹配識別.

特征點對亮度變化保持不變，即對圖像平均閾值具有最大對比度，因此可選取圖像中的局部最大值作為候選特征點.同時，由于信號的歸一化高斯微分具有尺度不變性，如特征點在源信號圖像尺度空間中為局部最大值，在接收信號圖像尺度空間中也為最大值.所以SIFT算法采用高斯核函數(shù)建立如式（1）的尺度空間L，篩選出高斯差分圖像中的極值點作為對亮度變化和尺度變化不敏感的特征點，并確定了特征點的位置和所處尺度空間.

其中x，y為像素位置參數(shù)，I（x，y）為待處理圖像像素強度矩陣，σ為尺度參數(shù).

計算尺度空間中每一個特征點的梯度模值和梯度方向向量：

以模值最大的梯度方向作為SIFT特征點的主方向，可以保證信號區(qū)域匹配的旋轉(zhuǎn)不變性.至此，每個SIFT特征點可以由位置、所處尺度空間和方向三個參數(shù)唯一確認.利用這些特征點進行信號區(qū)域匹配識別的結(jié)果和分割出的信號區(qū)域如圖4所示.

對于信號區(qū)域的形變問題，從圖像匹配原理及圖4的結(jié)果可以看出，已知訓練序列條碼圖像的特征點和接收圖像的特征點是一一對應(yīng)的，它們之間的匹配關(guān)系可以由式（4）表示：

其中（x，y）為發(fā)送端訓練序列條碼圖像中某點坐標，（x′，y′）為該點在接收端圖像中相對應(yīng)的SIFT特征點.為線性變換參數(shù)，為平移參數(shù)，為透視變換參數(shù)，w為縮放參數(shù).

3.3信號區(qū)域的跟蹤提取技術(shù)

在移動系統(tǒng)的通信過程中，圖像投影區(qū)域是不斷變化的，在接收端體現(xiàn)為連貫運動的圖像流，而受到算法運行時間和訓練序列代價等條件的制約，SIFT算法只能匹配識別出第1幀接收圖像的信號區(qū)域，如圖5 （a）中，白色邊框為由SIFT算法確定信號區(qū)域邊緣，該邊緣與第20幀接收圖像的實際信號區(qū)域并不吻合（如圖5（b））.只使用SIFT算法匹配的信號區(qū)域邊緣信息進行圖像分割，將導致如圖5（c）所示的信號損傷.因此，為了保證信號區(qū)域的正確提取，在信號傳輸過程中，對信號區(qū)域的變化情況進行實時跟蹤提取也是系統(tǒng)的一項關(guān)鍵技術(shù).

變化的信號投影區(qū)域在接收端連貫運動的速度場稱為光流場，光流場計算的約束條件為：對于t時刻位于（x，y）處的運動的點，其灰度值在很短時間間隔內(nèi)不變，即：

u和v為t時刻點（x，y）沿x和y方向的速度分量，即光流.式（5）泰勒級數(shù)展開可得光流約束方程：

式（6）為二元方程，無法同時求解u和v兩個分量，本文采用Lucas-Kanade提出的（LK）光流算法對信號區(qū)域進行運動估計，在空間最小鄰域內(nèi)，采用加權(quán)最小二乘法進行估計.

LK稀疏光流法只需選取圖像中的有限幾個像素點，得出其運動的光流場估計，就可以反應(yīng)圖像內(nèi)特定對象的運動情況，大大提高了算法運算速度.在本系統(tǒng)中，每隔五幀利用LK光流法對信號區(qū)域進行一次跟蹤運算，可以進一步減少系統(tǒng)運算量.

計算第15幀到第20幀圖像內(nèi)信號投影區(qū)域變化得出的光流場，即在這五幀圖像傳輸時間內(nèi)信號區(qū)域四個角點運動的平均速度大小如圖6（a）所示.由此，確定了實際信號區(qū)域邊緣如圖6（b）.從圖6（c）可以看出，原本錯誤分割的第20幀信號（如圖5（c））得到校正，整體數(shù)據(jù)條碼流的信號區(qū)域均能正確提取.

3.4幀分類技術(shù)

根據(jù)奈奎斯特定理，為了確保屏幕上所顯示的彩色條碼能被采樣信號唯一表示，從樣值序列中無失真的恢復出原始信號，攝像機的捕捉幀頻率至少應(yīng)該為屏幕刷新頻率的二倍.即發(fā)送端發(fā)送編號為N的圖像時，接收端同時接收到兩幀編號為2N-1和2N的圖像.因此，在理想狀況下，編號1，3，…，2N-1和2，4，…，2N的兩組接收圖像都可以分別恢復出完整的源信號，我們分別稱之為奇數(shù)組和偶數(shù)組.

但是在實際系統(tǒng)中，發(fā)送端與接收端存在時延，如圖7所示.對于上述的兩組圖像幀，其中一組將恰好是發(fā)送端屏幕刷新時刻的圖像，該組中每一幀圖像都是刷新前后兩幀源信號圖像的疊加，存在符號間干擾.換言之，對于所有接收到的圖像幀，雖然奇數(shù)組和偶數(shù)組對應(yīng)同一信息，但圖像的模糊度不同.如圖8（a）所示，一幀彩色條碼，接收設(shè)備將得到圖8（b）（c）兩幀圖像，其中一幀由于符號間干擾導致了比較明顯的模糊.

模糊度較高的圖像增加了系統(tǒng)圖像處理技術(shù)的開銷、復雜度和系統(tǒng)誤碼率.因此，在預處理中，如何對接收信號進行分類，無損的恢復出源信號，也是一個關(guān)鍵問題.

本系統(tǒng)利用信號的分布狀態(tài)對接收幀進行分類.由于本文所使用的信號傳輸格式為RGB彩色條碼，在理想狀態(tài)下，不考慮顯示屏顯色誤差，圖像RGB是取值為（0，255）的二值變量.而圖像模糊部分RGB值是兩幀源信號圖像的平均，取值為0～255范圍內(nèi)的某一中間值，因此，我們可以利用圖像像素的RGB顏色偏移度作為該像素點的模糊度評估函數(shù)：

在整張圖像中，可以以一定的抽樣比抽取像素點，計算模糊度評估函數(shù)，求平均值得到該圖像的模糊度.

傳輸一個Word文件作為測試文件，對奇數(shù)組和偶數(shù)組圖像以1/8的抽樣比抽取像素點求模糊度，作出如圖9所示的模糊度分布函數(shù)，判斷兩個分布函數(shù)中心，將分布中心較小的組保留，另一組記做丟棄組.

對兩組圖像分別解碼后的數(shù)據(jù)顯示，由保留組所攜帶的信息仍可正確顯示，而丟棄組所攜帶的信息顯示為亂碼，如圖10所示.

3.5顏色增強技術(shù)

在實際系統(tǒng)中，由于顯示屏和攝像頭之間存在的色差缺憾，背景光的干擾，以及圖像投影過程中的對比度變化，幀分類中保留組圖像的RGB顏色取值也存在衰減和偏移情況（如圖11），按照表1的映射關(guān)系解碼會出現(xiàn)顏色的錯誤映射.因此，需要對接收端圖像進行RGB預判決，增強圖像顏色亮度和對比度，保證彩色條碼的正確解碼.

由于RGB三個顏色分量的衰減和偏移情況不同，可以根據(jù)上文的模糊度評估函數(shù)的平均值分別選取RGB判決閾值TB：

其中模糊度評估函數(shù)B的下標為像素標記，在式（7）中，min（|255-i（x，y）|，i（x，y））取值為i（x，y）的像素標記為｛0｝，剩余像素標記為｛255｝.

這種求判決閾值的優(yōu)點是在幀分類算法的基礎(chǔ)上，無需多余的計算，即可獲得比較有針對性的全局閾值，但是也有可能導致部分對象像素或者背景像素丟失.因此，在傳輸過程中，每間隔一段時間可以提取一幀圖像，做如圖11所示的顏色直方圖，取直方圖兩個最高峰中間的峰谷最低處對應(yīng)值作為判決閾值TH，再利用近似一維平均法求出全圖判決閾值T：

對RGB色彩分量進行預判決前后信號區(qū)域如圖12所示，可以明顯看出圖像顏色亮度的和對比度的增強.

在顏色增強前后，對保留組和丟棄組所攜帶的信息分別進行解碼，可以得出解碼準確率數(shù)字如下表2.

表2　不同條件下系統(tǒng)解碼準確率

4 實驗結(jié)果與性能分析

采用方正液晶顯示屏作為發(fā)送設(shè)備，三星galaxy S4手機攝像頭為接收裝置建立實驗系統(tǒng).顯示屏刷新頻率60Hz，點距0.311mm，分辨率1440×900，發(fā)送端每幀條碼圖像所使用的顯示屏液晶單元數(shù)目為291×291像素.每幀圖像的信息容量是19.1kbit，發(fā)送頻率15fps，系統(tǒng)傳輸速率287kbit/s.攝像頭拍攝視頻格式為MP4格式，攝像捕捉頻率30fps.分辨率1280×720.

發(fā)送端條碼生成模塊對待傳輸?shù)?6.1KB的Word測試文件進行編碼和顏色映射，繪制彩色條碼圖像.再加入訓練序列圖像，生成條碼流，結(jié)果如圖13所示.

接收端圖像預處理模塊首先對接收設(shè)備拍攝的視頻進行幀拆分，獲取各幀圖像；對拆分后的第一幀訓練序列圖像做SIFT算法匹配，過濾圖像中的背景噪聲，確定信號區(qū)域位置；在后續(xù)各幀中，利用LK稀疏光流法對信號區(qū)域進行跟蹤，分割提取后續(xù)各幀的信號區(qū)域，去除各幀中的背景噪聲干擾；提取出信號區(qū)域后，根據(jù)圖像模糊度評估函數(shù)的分布，進行幀分類，選取出模糊度較低的圖像；并對信號RGB彩色分量分別做顏色增強，保證彩色編碼的正確解映射.

完成信號圖像的所有預處理工作后得到的彩色條碼如圖14所示.

據(jù)表一對這些彩色條碼流做顏色解映射，再依據(jù)條碼設(shè)計規(guī)范，進行條碼識別，將二維條碼恢復為原始信號.由條碼中所攜帶的文件說明信息，重組原始信號，恢復為測試文件.

如圖15所示對比可知，文件內(nèi)容基本一致，本文所建立的Display-to-Camera通信系統(tǒng)可靠而有效.

5 結(jié)束語

本文建立了一個新型Display-to-Camera通信系統(tǒng)，設(shè)計了符合顯示屏顯示特性的新型彩色條碼流承載信息，以視頻的方式發(fā)送信號.利用計算機圖像處理技術(shù)進行接收端數(shù)字信號處理：包括采用SIFT算法匹配識別信號區(qū)域、LK稀疏光流法實時跟蹤信號區(qū)域；同時基于圖像模糊度對接收到的信號進行分組過濾和顏色增強；最后對彩色條碼解映射解碼恢復原始信號.本文使用66.1KB的Word測試文件進行數(shù)據(jù)傳輸實驗，實驗結(jié)果表明，該通信系統(tǒng)實現(xiàn)了速率287kbit/s，解碼正確率99.8%的數(shù)據(jù)傳輸，可以建立起一個可靠而有效的Display-to-Camera通信鏈路.

［1］Perli S D，Ahmed N，Katabi D.Pixnet：Interference-free wireless links using lcd-camera pairs［A］.Proceedings of the Sixteenth Annual International Conference on Mobile Computing and Networking［C］.USA：ACM，2010.137 -148.

［2］Ashok A，Gruteser M，Mandayam N，et al.Characterizing multiplexing and diversity in visual MIMO［A］.Proceedings of the 45th Annual Conference on Information Sciences and Systems（CISS）［C］.USA：IEEE，2011.1-6.

［3］Yuan W，Dana K，Varga M，et al.Computer vision methods for visual MIMO optical system［A］.Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）［C］.USA：IEEE，2011.37-43.

［4］Ashok A，Gruteser M，Mandayam N，et al.Rate adaptation in visual MIMO［A］.Proceedings of the 8th Annual IEEE Communications Society Conference on Sensor，Mesh and Ad Hoc Communications and Networks（SECON）［C］. USA：IEEE，2011.583-591.

［5］楊明.基于二維條碼和圖像處理的單向信息傳輸系統(tǒng)［D］.上海：上海交通大學，2013. YANG Ming.Unidirectional Information Transmission System Based on Two-Dimensional Bar Code and Image Processing［D］.Shanghai：Shanghai Jiaotong University，2013. （in Chinese）

［6］Yuan W，Howard R E，Dana K J，et al.Phase messaging method for time-of-flight cameras［A］.Proceedings of IEEE International Conference on Computational Photography（ICCP）［C］.USA：IEEE，2014.1-8.

［7］Yuan W，Dana K，Ashok A，et al.Dynamic and invisible messaging for visual MIMO［A］.Proceedings of IEEE Workshop on Applications of Computer Vision（WACV）［C］.USA：IEEE，2012.345-352.

［8］李亮亮.可見光并行通信系統(tǒng)方案及關(guān)鍵技術(shù)研究［D］.南京：南京郵電大學，2011. LI Liangliang.Research on Visible Light Parallel Communication System’s Scheme and Key Technology［D］.Nanjing：Nanjing University of Posts and Telecommunications，2011.（in Chinese）

［9］Ashok A，Gruteser M，Mandayam N，et al.Challenge：Mobile optical networks through visual MIMO［A］.Proceedings of the Sixteenth Annual International Conference on Mobile Computing and Networking［C］.USA：ACM，2010.105-112.

［10］Zhang B，Ren K，Xing G，et al.SBVLC：Secure barcodebased visible light communication for smartphones［A］. Proceedings of IEEE INFOCOM［C］.USA：IEEE，2014. 2661-2669.

［11］Lowe D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［12］Lucas B D，Kanade T.An iterative image registration technique with an application to stereo vision［A］.Proceedings of the 7th International Joint Conference on Artificial Intelligence［C］.San Francisco，CA，USA：Morgan Kaufmann Publishers Inc，1981.674-679.

［13］蔡紅蘋，雷琳，陳濤，等.一種通用的仿射不變特征區(qū)域提取方法［J］.電子學報，2008，36（4）：672-678. CAI Hongping，LEI Lin，CHEN Tao，et al.A general approach for extracting affine invariant regions［J］.Acta Electronica Sinica，2008，36（4）：672-678.（in Chinese）

［14］HAO T，ZHOU R，XING G.COBRA：Color barcode streaming for smartphone systems［A］.Proceedings of the 10th International Conference on Mobile Systems，Applications，And Services［C］.USA：ACM，2012.85 -98.

［15］劉寧鐘，蘇軍，孫涵.工業(yè)控制環(huán)境中QR Code的檢測和識別算法［J］.電子學報，2011，39（10）：2459-2463. LIU Ningzhong，SU Jun，SUN Han.QR code detection and recognition algorithm for industrial control［J］.Acta Electronica Sinica，2011，39（10）：2459-2463.（in Chinese）

［16］楊建偉，藍如師.仿射不變的中心投影［J］.電子學報，2012，40（11）：2315-2319. YANG Jianwei，LAN Rushi.Affine invariance of central projection transformation［J］.Acta Electronica Sinica，2012，40（11）：2315-2319.（in Chinese）

姜 珊 女，1989年11月出生，黑龍江七臺河人.吉林大學通信工程學院在讀碩士生，主要從事可見光通信方面的相關(guān)研究.

E-mail：coral-cat@sina.cn

胡貴軍（通信作者） 男，1970年3月出生，遼寧綏中人.博士，吉林大學教授、博士生導師，主要從事光通信技術(shù)與器件方面的研究工作.

E-mail：hugj@jlu.edu.cn

Colorful 2D Code Streaming for Display-to-Camera Communication System

JIANG Shan，HU Gui-jun，WANG Hai-yan，LI Li

（College of Communication Engineering，Jilin University，Changchun，Jilin 130012，China）

In order to meet diversified communication needs of the people and build a reliable low-cost communication link，we establish a novel display-to-camera communication system using display screen and photographic equipments in daily life.We build the system model and expound the transceiver’s implementation framework，then design a colorful 2D code streaming consistent with the display screen properties for carrying information.Employ computer image processing technology to match，recognize and track the signal area，filter the background noise.Utilize frame classification and color enhancement technology to suppress the inter symbol interference.The system’s data transfer rate is 287kbit/s and the decoding accuracy rate is 99.8%.

visible light communication；display-to-camera communication；system design；image processing

TN929.1

A

0372-2112（2016）04-0767-08

電子學報URL：http：//www.ejournal.org.cn 10.3969/j.issn.0372-2112.2016.04.003

2014-11-20；

2015-03-16；責任編輯：孫瑤

國家自然科學基金（No.61177066）；教育部留學回國科研啟動基金；吉林省科技發(fā)展計劃（No.20140203009GX）