街景地圖中基于文字識別的自動標(biāo)注研究

摘要：文章所述項目將文字識別技術(shù)應(yīng)用到空間信息領(lǐng)域，充分利用車載移動測量系統(tǒng)采集到的高清街景影像，用算法實現(xiàn)文字區(qū)域定位和識別，并通過檢索匹配數(shù)據(jù)庫中的地理信息將文字標(biāo)注到街景地圖上，實現(xiàn)街景影像自動標(biāo)注，同時實現(xiàn)數(shù)據(jù)庫的更新，為用戶提供了更豐富及時的信息和舒適的體驗，促進了街景地圖的發(fā)展。

關(guān)鍵詞：街景地圖；文字定位；文字識別；地理信息數(shù)據(jù)庫；地圖自動標(biāo)注 文獻標(biāo)識碼：A

中圖分類號：P237 文章編號：1009-2374（2015）13-0018-02 DOI：10.13535/j.cnki.11-4406/n.2015.13.009

1 概論

隨著計算機技術(shù)的飛速發(fā)展，信息化程度越來越高。目前，計算機文字識別技術(shù)已經(jīng)非常成熟，極大地提高了我們的工作效率。而街景地圖作為移動道路測量系統(tǒng)采集的基礎(chǔ)數(shù)據(jù)之一，除了為用戶提供城市、街道或其他環(huán)境的360°全景圖像，使用戶獲得如臨其境的地圖瀏覽體驗，還可以進一步從這些海量數(shù)據(jù)中提取更多有用信息。街景圖像文字識別是當(dāng)今的一門十分熱門的研究課題，但是由于街景圖中文字信息背景復(fù)雜、位置不確定、字體不統(tǒng)一等緣故，目前還沒有一種方法能夠?qū)⒔志皥D片上的文字較好地識別出來。在街景圖像文字識別方面，比較常用的方法是先根據(jù)文字的外輪廓面積及形狀特點將街景圖像上的文字區(qū)域找到，然后進行字符串分割，最后對定位好的文字進行識別，這是一種先定位后識別的方法。

2 街景影像采集及預(yù)處理

2.1 采集街景影像

采集街景影像來自于車載移動測量系統(tǒng)。系統(tǒng)通過GPS使激光掃描儀、IMU、相機和里程計統(tǒng)一為GPS時間系統(tǒng)，使得系統(tǒng)每時刻的數(shù)據(jù)協(xié)同一致。里程計、GPS和IMU采集的數(shù)據(jù)用來進行組合導(dǎo)航，獲取系統(tǒng)每時刻的姿態(tài)和位置數(shù)據(jù)。激光掃描儀和相機用來獲取目標(biāo)地物的坐標(biāo)和影像數(shù)據(jù)，結(jié)合姿態(tài)數(shù)據(jù)融合生成帶有絕對坐標(biāo)的彩色點云數(shù)據(jù)。

2.2 三維透視變形矯正

通過車載移動測量系統(tǒng)得到的每一張原始街景影像存在著三維透視變形，如圖1，圖片中的文字產(chǎn)生透視形變。

由于我們所用到的街景圖片來自于車載移動測量系統(tǒng)，對于同一輛車采集的不同圖片來說，其相同部分發(fā)生的變形應(yīng)該是一樣的，因此通過相同的旋轉(zhuǎn)、局部伸縮等變換，再把每張影像的三維透視變形矯正后，根據(jù)拍照時間間隔自動將每張影像進行裁剪拼接，重疊部分進行擬合，最后得到正投影的一排道路的街景地圖，如圖2所示：

圖1 存在透視變形的街景影像

圖2 矯正變形后進行拼接得到的街景影像

通過對原始街景影像的矯正和拼接，為下一過程提供了高清、未變形的街景影像，且拼接后的影像也極大地提高了文字識別的效率，美中不足的是，這種將影像拼接的方法只適用于沒有分叉路口的筆直街道，而在十字路口處仍存在變形的文字。

3 文字區(qū)域定位

3.1 顏色聚類法進行文字區(qū)域初步提取

顏色聚類法是指彩色圖像上的各像素根據(jù)其顏色相似程度，劃分成不同的類別，得到幾張不同的顏色相對單一的圖片。由于自然場景中的文本通常具有相同的顏色或灰度，同時與背景具有較高的對比度，所以我們采用顏色聚類的方式進行文本定位。利用同區(qū)域文字顏色近似，通過色彩空間的分割將圖像分成若干個圖層，提取連通區(qū)域并分析區(qū)域內(nèi)的顏色分布以及區(qū)域外接框的幾何特征來定位文字。將色彩空間分割到幾類顏色，并計算每一類包含的連通分量，也就是實現(xiàn)顏色聚類的過程。如圖3所示：

圖3 顏色聚類法得到較好的文字區(qū)域的圖層

3.2 文字分布法進行文字區(qū)域定位

對顏色聚類法得到的各張圖片進行初步的篩選去除因像素過少而不可能包含文字的圖片，這樣做的目的是縮小搜索范圍，提高識別效率。對于每個圖層，需要進行圖像預(yù)處理，預(yù)處理的內(nèi)容包括彩色圖像灰度化、圖像去噪和二值化。

預(yù)處理完成后，再在圖層上搜索連通域，將連通域的外接矩形找出來，對每個外接矩形進行長寬比、面積大小的判斷，從中篩選出明顯不合要求的矩形（長寬比過大或者過小，面積過大或者過小的矩形）剔除掉，接下來需要根據(jù)文字的空間分布的相關(guān)性來進行進一步的篩選。考慮到文字在街景圖片上一般都是成行或者成列的，而且同一行或一列文字的大小、間距一般是相等的，可以根據(jù)這些特點找到成行或者成列的文字候選區(qū)。如圖4所示：

圖4 文字分布法得到文字區(qū)域

4 文字識別與自動標(biāo)注

4.1 結(jié)合詞庫進行文字識別

文字識別技術(shù)發(fā)展已經(jīng)較為成熟，可使用現(xiàn)有的文字識別軟件進行識別。為了提高識別的效率和準(zhǔn)確率，在街景地圖中應(yīng)首先從候選區(qū)的第一個矩形開始，依次往后，遍歷所有的矩形，在遍歷的過程中如果在某個矩形中正確識別出來了文字，那么就需要對這個矩形進行標(biāo)記，同時在一張圖片的其他圖層上也做上標(biāo)記，表示這個區(qū)域已經(jīng)識別出來了，不需要再進行第二次識別。識別下一個文字時可以結(jié)合詞庫里的詞語優(yōu)先考慮能和前面的字組成詞的文字，如當(dāng)識別出“餐”字之后，下一個字在識別時可以優(yōu)先考慮“廳”、“館”等字，這樣可以提高識別的效率和準(zhǔn)確率。

4.2 判斷識別效果并進行人工協(xié)助軟件識別

由于街景圖片的復(fù)雜性，識別的結(jié)果不可能達到百分之百的正確，因此，要想讓這門技術(shù)能夠真正用于實踐，必須要能對識別效果進行判斷，并進行人工糾錯工作?？紤]到街景影像數(shù)量龐大，對識別效果進行判斷的工作如果靠人手工來做將會是一項繁重的任務(wù)，因此可以考慮采用人工協(xié)助軟件即人機交互的方法進行識別，即在街景圖片上用鼠標(biāo)拉出一個矩形框，將文字部分框選出來，然后利用軟件中現(xiàn)成的算法，在矩形框內(nèi)進行文字的定位和識別，這樣實際上也就縮小了識別的范圍，使識別成功的概率增大。

4.3 文字的自動標(biāo)注在街景地圖上endprint

電子地圖中的POI（point of interest，興趣點）數(shù)據(jù)庫包含了電子地圖上重點標(biāo)出的地名及其他地理信息。我們可以采用一定的語句，根據(jù)街景圖像自帶的GPS信息查詢在一定范圍以內(nèi)，與識別出的文字最相近的地物，在地圖的適當(dāng)位置自動生成為POI標(biāo)注。

5 結(jié)語

本文將文字識別技術(shù)應(yīng)用到空間信息領(lǐng)域，充分利用采集到的高清街景圖像，利用算法自動實現(xiàn)文字區(qū)域定位和識別，并通過檢索將數(shù)據(jù)庫中的相應(yīng)信息標(biāo)注到街景地圖上，實現(xiàn)街景影像自動標(biāo)注，節(jié)省人力，提高效率，為用戶提供了更豐富的信息和精彩舒適的體驗，促進了街景地圖的發(fā)展。

本人在廣泛查閱國內(nèi)外相關(guān)文獻后，制定了合理的實施方案，同時分析評估、選擇綜合了已有的文字識別方面的成果，提出了“文字分布法”及“結(jié)合詞庫進行識別”，形成了自己的文字識別方案。實驗結(jié)果表明，本文所提出的方案都可以較準(zhǔn)確地將文字定位并識別出來。本人將不斷設(shè)計新的解決方案與新的算法，以期在此方面獲得更大突破。

參考文獻

[1] A.Mishra and K.Alahari.Top-Down and Bottom-Up Cues for Scene Text Recognition[J].In Proc.CVPR，2012.

[2] L.Neumann and J.Matas.Real-Time Scene Location and Recognition[J].In Proc.CVPR，2012.

[3] K.Wang，B.Babenko，and S.Belongie.End-to-end scene text recognition[J].In Proc.ICCV，2011.

[4] 柏宏飛.場景圖像文字提取方法研究與應(yīng)用[D].復(fù)旦大學(xué)，2009.

[5] 程敬敬.基于車載相機采集圖像的大規(guī)模城市街景重建[M].哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

[6] 秦旭光，徐愛功.圖像幾何校正在OCR文字識別中的應(yīng)用[J].遼寧工程技術(shù)大學(xué)學(xué)報，2006，（12）.

[7] 馮玉才，宋恩民，孫小薇，劉宏.地圖自動識別系統(tǒng)中按顏色分層的算法及實現(xiàn)[J].軟件學(xué)報，1995，（7）.

基金項目：本論文屬于大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目，項目編號：1210486001，指導(dǎo)老師：姚劍。

作者簡介：楊學(xué)博（1995-），女，山西呂梁人，武漢大學(xué)遙感信息工程學(xué)院2012級本科生，研究方向：地理信息

系統(tǒng)。

（責(zé)任編輯：周 瓊）endprint