基于視頻文字識別的跑步成績自動測量系統(tǒng)研究＊

朱桂斌，鐘劉翔

?

基于視頻文字識別的跑步成績自動測量系統(tǒng)研究＊

朱桂斌，鐘劉翔

（陸軍工程大學(xué)通信士官學(xué)校，重慶 400035）

目前，對于體育考核中跑步成績的測量仍采用人工計時的方法，其結(jié)果不夠客觀、準確。針對這些問題，以機器視覺分析技術(shù)為核心，通過采集現(xiàn)場的視頻，實時識別參考人員的號牌，自動記錄參考人員的圈數(shù)、用時和最終成績，以提高考核手段的科學(xué)性和客觀性。

自然場景；文字檢測；文字識別；背景檢測

隨著配備數(shù)碼相機的移動電話終端的廣泛使用，視頻和圖像的采集更加方便。目前，網(wǎng)絡(luò)上有大量的視頻素材都是用消費級終端在沒有嚴格光照、拍攝角度等條件拍攝的。這些視頻中的文字為后續(xù)的視頻分析和數(shù)據(jù)挖掘提供了可靠的信息來源。從自然場景中提取并識別文字在行人再識別、盲人輔助系統(tǒng)以及視頻字幕提取等領(lǐng)域應(yīng)用廣泛，成為計算機視覺領(lǐng)域的一個研究熱點[1-8]。

在體育比賽或體能考核中經(jīng)常需要對人員進行自動識別，這是一個典型的行人再識別問題[1]。對運動員進行識別有2種方法，即人臉識別或號碼識別。在拍攝場地，通常人員較多，采用人臉識別需要檢測和跟蹤識別的對象較多，對運算能力的要求較高。號碼識別相對人臉識別運算復(fù)雜度較低，便于在低成本的終端上實現(xiàn)。以此為基礎(chǔ)實現(xiàn)的運動成績自動測量系統(tǒng)相對于人臉識別來說精度更高。

基于傳統(tǒng)OCR技術(shù)的文字檢測與識別效果已基本滿足要求，但是自然場景文字檢測與識別仍然有許多問題，特別是對運動目標(biāo)的文字識別尤其突出。主要原因有：①自然場景中通常含有許多干擾圖案，比如樹干、柵欄和標(biāo)志等；②自然場景圖像中文字的大小、方向、顏色各不相同；③拍攝的圖像會因運動員的快速運動或聚焦位置固定而變模糊，尤其是在拍攝分辨率較低時更加嚴重；④人員跑動時身體姿勢和方向的變化甚至手臂的遮擋，將導(dǎo)致號碼區(qū)域的正確檢測和識別困難[1]。

自然場景文字識別包含2個過程，即文字檢測和文字識別。文字檢測的作用是從圖像中檢測文字的存在與否，并確定文字區(qū)域的邊框。文字識別可完成圖像信息到文字信息的映射。文本檢測和文本定位從本質(zhì)上來說都屬于有監(jiān)督的分類問題，區(qū)別在于類別的數(shù)量不同。分類問題通常由2個步驟組成，即特征提取和識別。常用特征包括邊緣特征、筆畫特征、結(jié)構(gòu)特征等，特征通常由人工設(shè)計。常用的分類器包括隨機森林、SVM和ANN等。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，有許多基于深度網(wǎng)絡(luò)的研究工作獲得了較大的進步[6，8]?；谏疃染W(wǎng)絡(luò)的文本定位和識別技術(shù)通過對樣本的學(xué)習(xí)，自動完成特征的提取和識別工作，性能較好。尤其是近年來由統(tǒng)一的深度網(wǎng)絡(luò)框架完成定位和識別2個任務(wù)，性能得到進一步提高。

傳統(tǒng)的人工特征提取方法計算量一般較小，但性能有待提高；基于深度網(wǎng)絡(luò)的文本識別技術(shù)性能較好，但計算量較大，一般不容易在便攜式終端上實現(xiàn)。本文研究的內(nèi)容結(jié)合了兩者的優(yōu)點，傳統(tǒng)的方法完成文本的粗定位，保證系統(tǒng)有高的召回率（Recall）；用CNN實現(xiàn)定位后文本的識別，確保系統(tǒng)有較高的準確率（Precision）。

1 系統(tǒng)方案

本文研究內(nèi)容總體方案包含文本區(qū)域檢測和號碼識別兩大部分，各部分又各自包括3個模塊。

1.1 文本區(qū)域檢測

文本檢測方案包括的文本區(qū)域定位、SVM訓(xùn)練和文本區(qū)域定位判斷3個部分，具體內(nèi)容如圖1所示。

文字區(qū)域定位的主要作用是盡可能可靠地檢測出文字所在的區(qū)域。該系統(tǒng)設(shè)計有2個功能：①在構(gòu)造訓(xùn)練數(shù)據(jù)集時，可以輔助人工實現(xiàn)文字區(qū)域的預(yù)選；②在實際檢測時可以為后續(xù)的識別模塊提供處理對象。

通過文字區(qū)域定位可以獲得大量圖像塊，對這些圖像塊進行人工判別與標(biāo)注，可以作為訓(xùn)練集的一部分。用這些訓(xùn)練集中的數(shù)據(jù)對SVM模型進行訓(xùn)練，可以得到SVM模型。本文研究內(nèi)容經(jīng)過實際調(diào)試后，選用高斯核函數(shù)的SVM。對于實際的文本檢測任務(wù)，用變尺度的滑動窗口遍歷所有可能的位置，并對窗口內(nèi)圖像經(jīng)特征提取后送入訓(xùn)練好的SVM模型判斷，得到大部分可能是文字區(qū)域的圖像塊。為了確保系統(tǒng)有較高的召回率，檢測的圖像塊中可能包含非文字區(qū)域，該部分區(qū)域通過后續(xù)的文字識別模塊識別并剔除。

1.2 文字識別

文字識別部分包括字符分割、ANN訓(xùn)練和字符識別3個部分，具體如圖2所示。

圖2 號碼識別方案

在文字識別過程中，首先對文字區(qū)域檢測獲得的圖像塊進行二值化，分割出文字前景和背景部分，然后經(jīng)過方向投影極值檢測的方法獲得只包含1個字符的圖像塊，對這些圖像塊進行人工判別與標(biāo)注，可作為訓(xùn)練集的一部分。用這些訓(xùn)練數(shù)據(jù)對深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，可以得到用于文字識別的DNN模型。在最終的文字識別中，可以將得到的字符圖像塊輸入訓(xùn)練好的DNN，就可以得到每個圖像中的具體字符，如圖2中輸出了的“33”。以上是本文研究的整體方案，在實現(xiàn)過程中還有許多具體方法，以下介紹其中的關(guān)鍵技術(shù)。

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 視頻超分辨技術(shù)

實際拍攝的圖像有時會因運動員的快速運動或聚焦位置固定而變模糊，尤其是在拍攝分辨率較低時情況更嚴重。另外，運動員跑動時身體姿勢和方向的變化甚至手臂的遮擋都會對拍攝圖像質(zhì)量造成很大的影響。為提高后續(xù)文本區(qū)域檢測和識別的準確率，必須對視頻圖像進行預(yù)處理，提高視頻圖像的質(zhì)量。本文采用文獻[10]的方法改善拍攝視頻質(zhì)量。

2.2 背景檢測和文字分割

由于現(xiàn)場有許多干擾圖像，比如標(biāo)語、彩旗等常含有文字，為了提高運動員號碼牌識別的準確性，必須將這些包含干擾文字的區(qū)域濾除。本文采用結(jié)合運動估計的模糊最大類間方差的圖像分割算法[11]分割前景和背景，過濾干擾區(qū)域。同時，采用此方法對文字的前景和背景進行分割，以供后續(xù)的識別任務(wù)。

2.3 系統(tǒng)實時性

系統(tǒng)實時性問題的解決可從3個方面實現(xiàn)：①用文獻[12]的方法對視頻中已經(jīng)識別的號碼進行跟蹤，對新出現(xiàn)的號碼進行識別，降低了系統(tǒng)的計算復(fù)雜度；②對SVM和ANN的網(wǎng)絡(luò)結(jié)構(gòu)進行優(yōu)化，減少其中冗余的層次和節(jié)點；③具體實現(xiàn)上，盡可能利用多核CPU的并行能力，利用多線程技術(shù)，實現(xiàn)流水線操作。

2.4 模型訓(xùn)練

復(fù)雜背景下的文s本檢測和文字識別技術(shù)是本文研究的主要內(nèi)容，其核心內(nèi)容是SVM模型和ANN模型的結(jié)構(gòu)以及訓(xùn)練。目前，深度神經(jīng)網(wǎng)絡(luò)進展迅速，其典型的網(wǎng)絡(luò)結(jié)構(gòu)和預(yù)先訓(xùn)練模型均已開源。本文模型訓(xùn)練時在此基礎(chǔ)上，利用遷移學(xué)習(xí)方法進一步對網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進行調(diào)優(yōu)。

網(wǎng)絡(luò)訓(xùn)練的另一大問題就是數(shù)據(jù)集。本文的訓(xùn)練數(shù)據(jù)集一部分來自于本校體能訓(xùn)練和考核的現(xiàn)場錄像；另一部分來自于各類運動競賽視頻，可以滿足模型的訓(xùn)練要求。測試數(shù)據(jù)集全部來自于本校體能考核視頻。

3 結(jié)束語

本文提出了利用機器視覺和深度學(xué)習(xí)的技術(shù)實現(xiàn)跑步成績自動測量系統(tǒng)。系統(tǒng)利用運動信息進行圖像融合，實現(xiàn)號碼圖像的增強與重構(gòu)，提高了圖像的分辨率、號碼分割效果、識別率。通過SVM實現(xiàn)復(fù)雜背景下文本區(qū)域檢測，利用深度網(wǎng)絡(luò)實現(xiàn)變形字符識別，并實現(xiàn)了在低運算能力終端上的實時識別。

本項目的硬件成本較低，目前，全國中小學(xué)的體能考核甚至運動會還沒有采用這一方案實現(xiàn)成績的自動測量。全國中學(xué)有60 000多所，普通高校有2 000多所，而體能考核的自動化是一個大的趨勢，本項目有廣闊的市場和較高的推廣價值。

［1］趙麗科，鄭順義，馬浩，等.田徑運動員號碼牌圖像的號碼識別［J］.華東師范大學(xué)學(xué)報（自然科學(xué)版），2017（03）：64-77，86.

［2］哈恩楠，吉立新，高超.基于對象建議算法的自然場景文本檢測［J］.計算機應(yīng)用研究，2018（02）：624-627，636.

［3］唐有寶，卜巍，鄔向前.多層次MSER自然場景文本檢測［J］.浙江大學(xué)學(xué)報（工學(xué)版），2016（06）：1134-1140.

［4］易堯華，申春輝，劉菊華，等.結(jié)合MSCRs與MSERs的自然場景文本檢測［J］.中國圖象圖形學(xué)報，2017（02）：154-160.

［5］王夢迪，張友梅，常發(fā)亮.基于邊緣檢測和特征融合的自然場景文本定位［J］.計算機科學(xué)，2017（09）：300-303，314.

［6］Xinyu. Zhou，Cong Yao，He Wen，et al.“EAST：An Efficient and Accurate Scene Text Detector”［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），Honolulu，Hawaii，USA，2017：2642-2651.

［7］S. Lee，C. Koch，J. Lee，et al. Yuille，“AdaBoost for Text Detection in Natural Scene”［C］//2011 International Conference on Document Analysis and Recognition（ICDAR），Beijing，China，2011：429-434.

［8］王林，張曉鋒.卷積深度置信網(wǎng)絡(luò)的場景文本檢測［J］.計算機系統(tǒng)應(yīng)用，2018（06）：231-235.

［9］張日升，朱桂斌，張燕琴.基于卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星遙感圖像區(qū)域識別［J］.信息技術(shù)，2017（11）：83-86.

［10］戚曹，朱桂斌，陽溢，等.基于局部自相似性的視頻圖像超分辨率算法［J］.重慶郵電大學(xué)學(xué)報（自然科學(xué)版），2015，（05）：692-699.

［11］曾偉，袁寶峰，朱桂斌.基于模糊最大類間方差的圖像分割算法［J］.實驗科學(xué)與技術(shù)，2008（06）：22-24，31.

［12］曾偉，朱桂斌，李瑤.基于Kalman點匹配估計的運動目標(biāo)跟蹤［J］.計算機應(yīng)用，2009（06）：1677-1682.

TH744.5

A

10.15913/j.cnki.kjycx.2018.22.045

2095－6835（2018）22－0045－03

本文獲陸軍工程大學(xué)通信士官學(xué)?？蒲许椖浚ň幪枺篢Z-CQTY-Y-C-2017-035），重慶市社會事業(yè)與民生保障科技創(chuàng)新專項（cstc2017shmsA00003）資助

朱桂斌（1972—），男，河北涿鹿人，教授，2004年畢業(yè)于重慶大學(xué)（博士），主要從事圖像分析和識別方面的研究。

〔編輯：張思楠〕