基于視頻的天氣類(lèi)別識(shí)別系統(tǒng)

彭旭東，夏士明，孫吉明（.解放軍理工大學(xué)氣象海洋學(xué)院，南京，0；.空軍航空大學(xué)航理系，長(zhǎng)春，300）

基于視頻的天氣類(lèi)別識(shí)別系統(tǒng)

彭旭東1，夏士明1，孫吉明2
（1.解放軍理工大學(xué)氣象海洋學(xué)院，南京，211101；2.空軍航空大學(xué)航理系，長(zhǎng)春，130022）

針對(duì)目前尚未有基于視頻的天氣類(lèi)別自動(dòng)識(shí)別系統(tǒng)，本文設(shè)計(jì)并實(shí)現(xiàn)了基于視頻的天氣類(lèi)別自動(dòng)識(shí)別系統(tǒng)框架。對(duì)于給定的一個(gè)測(cè)試視頻，該系統(tǒng)根據(jù)其場(chǎng)景是否與現(xiàn)有的場(chǎng)景相同，選擇相應(yīng)的分類(lèi)器進(jìn)行識(shí)別，最終輸出對(duì)應(yīng)的天氣類(lèi)別識(shí)別結(jié)果。

天氣類(lèi)別；自動(dòng)識(shí)別；視頻

1 系統(tǒng)功能

基于視頻的天氣類(lèi)別識(shí)別系統(tǒng)包含數(shù)據(jù)庫(kù)管理、特征庫(kù)管理和訓(xùn)練識(shí)別三部分，如圖1所示。數(shù)據(jù)庫(kù)管理包括天氣類(lèi)別視頻數(shù)據(jù)的采集、天氣類(lèi)別數(shù)據(jù)庫(kù)的構(gòu)建和對(duì)數(shù)據(jù)庫(kù)的操作（增加新的數(shù)據(jù)、刪除數(shù)據(jù)、查詢(xún)數(shù)據(jù)）；特征庫(kù)管理包括對(duì)靜態(tài)特征的提取、動(dòng)態(tài)特征的提取和特征庫(kù)的操作；訓(xùn)練識(shí)別模塊主要對(duì)分類(lèi)器進(jìn)行訓(xùn)練并對(duì)測(cè)試數(shù)據(jù)進(jìn)行識(shí)別訓(xùn)練。

2 天氣類(lèi)別數(shù)據(jù)庫(kù)

本文采用海康威視主動(dòng)攝像機(jī)（高清型號(hào)DS-2DF7286-A/D/ AF網(wǎng)絡(luò)紅外智能球）進(jìn)行天氣類(lèi)別視頻數(shù)據(jù)采集。相機(jī)在每天6時(shí)、7時(shí)、8時(shí)、10時(shí)、12時(shí)、14時(shí)、16時(shí)和18時(shí)這8個(gè)時(shí)刻開(kāi)始拍攝半個(gè)小時(shí)的視頻數(shù)據(jù)。

本文采用C++.Net和OpenCV.2.4.4編寫(xiě)程序?qū)⒁曨l轉(zhuǎn)化為圖像序列。為了較少數(shù)據(jù)量，同時(shí)不丟失視頻的動(dòng)態(tài)信息，本文每隔一分鐘采樣連續(xù)的100幀圖像作為一組圖像序列。每組圖像序列包含100幀連續(xù)的圖像、一個(gè)txt格式的信息文件。信息文件為該組圖像序列的說(shuō)明文件，包含時(shí)間、天氣現(xiàn)象、場(chǎng)景信息以及氣象六要素信息。

目前網(wǎng)上可用于天氣類(lèi)別識(shí)別的數(shù)據(jù)庫(kù)較少，典型的是wild和panorama天氣類(lèi)別數(shù)據(jù)庫(kù)。這兩個(gè)數(shù)據(jù)庫(kù)都是采用固定相機(jī)對(duì)單一場(chǎng)景進(jìn)行拍攝，每隔一定時(shí)間采樣一幀圖像作為研究對(duì)象。

表1所示為不同數(shù)據(jù)庫(kù)的比較，主要比較天氣類(lèi)別數(shù)目、場(chǎng)景數(shù)目以及處理的數(shù)據(jù)類(lèi)型。本文數(shù)據(jù)庫(kù)可研究的天氣類(lèi)別數(shù)明顯多于wild、panorama數(shù)據(jù)庫(kù)，本文數(shù)據(jù)庫(kù)包含多個(gè)場(chǎng)景，可以研究不同場(chǎng)景下的天氣類(lèi)別識(shí)別問(wèn)題，另外本文采用視頻作為研究對(duì)象，相比圖像數(shù)據(jù)庫(kù)，包含更多的信息，尤其適合動(dòng)態(tài)天氣的識(shí)別。

表1 不同數(shù)據(jù)庫(kù)的比較

3 天氣類(lèi)別特征庫(kù)

為了區(qū)分不同天氣類(lèi)別，需要提取反映天氣類(lèi)別的有效視覺(jué)特征，確保來(lái)自同一天氣類(lèi)別樣本的特征非常接近，來(lái)自不同天氣類(lèi)別樣本的特征差異較大。

現(xiàn)有的天氣類(lèi)別的特征提取大多基于圖像，單幀圖像特征對(duì)于動(dòng)態(tài)天氣（雨雪等）的識(shí)別效果不佳，而視頻包含著豐富的運(yùn)動(dòng)信息，因此本文基于視頻進(jìn)行了天氣類(lèi)別的自動(dòng)識(shí)別觀(guān)測(cè)，提取了靜態(tài)特征和動(dòng)態(tài)特征，流程如圖2所示。本文所提的靜態(tài)特征包括功率譜能量、NTSC空間的色度紋理和HSV空間的飽和度紋理特征；動(dòng)態(tài)特征包括短時(shí)自相關(guān)、運(yùn)動(dòng)檢測(cè)后的紋理和運(yùn)動(dòng)檢測(cè)后的顏色特征。將本文的天氣類(lèi)別識(shí)別特征與現(xiàn)有的天氣類(lèi)別識(shí)別特征進(jìn)行比較，實(shí)驗(yàn)發(fā)現(xiàn)本文的特征更有優(yōu)勢(shì)，能夠更有效地區(qū)分不同天氣類(lèi)別。

4 分類(lèi)識(shí)別

特征提取是為了得到模式，而分類(lèi)器是用來(lái)識(shí)別模式的數(shù)學(xué)模型，識(shí)別模式的直接表現(xiàn)就是對(duì)輸入的模式給出其所屬的類(lèi)別標(biāo)簽。

目前基于視覺(jué)的天氣類(lèi)別分類(lèi)以SVM分類(lèi)器為主，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)SVM多分類(lèi)（導(dǎo)向無(wú)環(huán)圖）能夠?qū)ο嗤瑘?chǎng)景的天氣類(lèi)別進(jìn)行有效識(shí)別，但對(duì)于不同場(chǎng)景的天氣類(lèi)別識(shí)別能力較弱，而以隨機(jī)森林為弱分類(lèi)器構(gòu)成的AdaBoost強(qiáng)分類(lèi)器能提高對(duì)不同場(chǎng)景的識(shí)別能力。因此針對(duì)相同場(chǎng)景的天氣類(lèi)別，采用SVM多分類(lèi)（導(dǎo)向無(wú)環(huán)圖）進(jìn)行識(shí)別，針對(duì)不同場(chǎng)景的天氣類(lèi)別識(shí)別問(wèn)題，本文采用AdaBoost分類(lèi)器（隨機(jī)森林為弱分類(lèi)器）。

5 小結(jié)

針對(duì)目前只有基于圖像的天氣類(lèi)別數(shù)據(jù)庫(kù)，并且場(chǎng)景單一，天氣類(lèi)別偏少，本文構(gòu)建了基于視頻的天氣類(lèi)別的數(shù)據(jù)庫(kù)。在此基礎(chǔ)上實(shí)現(xiàn)了視頻庫(kù)管理、特征庫(kù)管理、分類(lèi)器訓(xùn)練等功能。對(duì)于給定的測(cè)試視頻，根據(jù)其場(chǎng)景是否與現(xiàn)有的場(chǎng)景相同，選擇相應(yīng)的分類(lèi)器進(jìn)行識(shí)別，便可輸出對(duì)應(yīng)的天氣類(lèi)別識(shí)別結(jié)果。

［1］ Narasimhan S G，Wang C，Nayar S K.All the images of an outdoor scene［M］//Computer Vision—ECCV 2002.Springer Berlin Heidelberg， 2002： 148-162.

［2］ Chen Z，Yang F，Lindner A，et al.Howis the weather：Automatic inference from images［C］//Image Processing（ICIP），2012 19th IEEE International Conference on.IEEE， 2012：1853-1856.

Video-based Weather Category Recognition System

Peng Xudong1，Xia Shiming1，Sun Jiming2
（1.Institute of Meteorology and Oceanography，PLA University of Science and Technology，Nanjing，211101；2.Department of Aviation Theory，Aviation University Air Force，Changchun，130022）

There is not a video-based weather category automatic recognition system to date.For this purpose，this study designed and implemented a framework for video-based weather category automatic recognition system.Given a test video， the system can select an appropriate classifier to make recognizing and output corresponding weather type recognition result，depending on whether their scene are coincided with the existing scene.

Weather category；Automatic recognition；Video-based

圖4-1 基于視頻的天氣類(lèi)別識(shí)別系統(tǒng)

圖2 特征提取流程