光流的鏡頭邊界檢測(cè)

汪榮貴，胡健根，楊 娟，薛麗霞

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，合肥230009)

光流的鏡頭邊界檢測(cè)

汪榮貴，胡健根，楊 娟，薛麗霞

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，合肥230009)

針對(duì)現(xiàn)有鏡頭檢測(cè)算法在處理運(yùn)動(dòng)信息時(shí)無(wú)法隨著幀間差異不同而變化的問(wèn)題，提出一種基于光流的鏡頭邊界檢測(cè)方法。依據(jù)光流算法對(duì)圖像間熵計(jì)算進(jìn)行校正，并提出一種光流量化方法。使用量化值與校正熵值判斷圖像連續(xù)性，保留存在鏡頭切換的候選邊界；根據(jù)鏡頭構(gòu)造的差異提取圖像的光度信息與圖像間互信息，并提出一種模型匹配的方式進(jìn)行鏡頭類(lèi)型識(shí)別。在互信息提取前對(duì)圖像進(jìn)行顯著區(qū)域提取，來(lái)增加圖像間的差異而保證模型匹配的準(zhǔn)確性。實(shí)驗(yàn)表明，該檢測(cè)算法能準(zhǔn)確檢測(cè)鏡頭邊界且有效排除運(yùn)動(dòng)干擾。

鏡頭邊界檢測(cè)；光流；互信息；顯著區(qū)域

0 引言

當(dāng)今視頻數(shù)據(jù)是人們獲取信息的重要渠道，視頻的結(jié)構(gòu)化研究中鏡頭邊界檢測(cè)是主要內(nèi)容，其為大型視頻數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)、檢索和瀏覽提供保障。鏡頭是像機(jī)在單一時(shí)間和空間內(nèi)捕獲的幀序列[1]，其切換類(lèi)型包括突變和漸變類(lèi)，漸變類(lèi)細(xì)分為溶解、淡入、淡出類(lèi)。鏡頭的檢測(cè)多基于幀的不連續(xù)性，提取圖像的基礎(chǔ)視覺(jué)特征。例如，Lin[2]使用傳統(tǒng)顏色和梯度直方圖分別獲取顏色和紋理特征，提出自適應(yīng)閾值距離測(cè)量方法作為鏡頭變化識(shí)別的基礎(chǔ)。

漸變鏡頭檢測(cè)中因相機(jī)或物體運(yùn)動(dòng)的影響增加檢測(cè)難度。Butz[3]提出基于互信息鏡頭邊界檢測(cè)方法。用互信息測(cè)算各幀間的統(tǒng)計(jì)差異，在局部最大互信息處應(yīng)用仿射圖像配準(zhǔn)。依據(jù)鏡頭邊界相鄰幀存在較小互信息準(zhǔn)則進(jìn)行鏡頭邊界的檢測(cè)，而該方法僅限于檢測(cè)突變鏡頭，?erneková[4]對(duì)此提出改進(jìn)方法。通過(guò)分析互信息變化檢測(cè)鏡頭突變，聯(lián)合熵的變化檢測(cè)漸變鏡頭。該方法沒(méi)有將幀間信息結(jié)合至鏡頭的檢測(cè)中，本文通過(guò)關(guān)注鏡頭本身的結(jié)構(gòu)特征對(duì)其改進(jìn)，進(jìn)行初始邊界的選取。

在鏡頭邊界檢測(cè)中相機(jī)平移和物體運(yùn)動(dòng)的干擾不容忽視。Treetasanatavorn[5]提出基于時(shí)空的分割方法，依據(jù)全局運(yùn)動(dòng)分析鏡頭時(shí)間子結(jié)構(gòu)。離散曲線(xiàn)演化構(gòu)造全局運(yùn)動(dòng)曲線(xiàn)，確保全局性檢測(cè)。對(duì)時(shí)間曲線(xiàn)分割實(shí)現(xiàn)視頻分段操作，該方法具有一定的效果，但局限于非壓縮視頻。張寅[6]針對(duì)溶解型鏡頭幀檢測(cè)方面，提出依據(jù)圖像不連續(xù)性的算法，基于圖像不連續(xù)性特征衡量圖像相鄰塊間相似度，再使用支持向量機(jī)進(jìn)行預(yù)分類(lèi)，并通過(guò)糾正錯(cuò)誤分類(lèi)幀和延伸溶解型鏡頭幀長(zhǎng)度修正分類(lèi)結(jié)果，完成溶解鏡頭的檢測(cè)。該方法局限于分類(lèi)結(jié)果的準(zhǔn)確性且繁瑣，本文注重圖像特征間的關(guān)系簡(jiǎn)化識(shí)別過(guò)程，進(jìn)行鏡頭類(lèi)別的判斷。

綜上，本文提出一種鏡頭邊界檢測(cè)方法，將光流檢測(cè)結(jié)合至鏡頭結(jié)構(gòu)分析。在相鄰圖像間進(jìn)行光流矢量檢測(cè)并校正，排除相機(jī)的運(yùn)動(dòng)、目標(biāo)移動(dòng)等干擾；矢量量化值和圖像熵用于圖像連續(xù)性的判斷，以獲取所有候選鏡頭邊界。利用鏡頭的結(jié)構(gòu)特征，綜合圖像光度和互信息提出模板匹配的方法；結(jié)合多信息融合對(duì)亮度敏感類(lèi)鏡頭進(jìn)行識(shí)別，并依據(jù)模型匹配對(duì)非敏感鏡頭進(jìn)行識(shí)別。同時(shí)與TRECVID中數(shù)據(jù)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明本文方法更能有效地檢測(cè)鏡頭邊界。

1 基于光流校正的候選邊界檢測(cè)

視頻由各鏡頭內(nèi)的圖像組成，而鏡頭邊界是出現(xiàn)頻率較低的部分，可先獲取候選邊界再識(shí)別。候選邊界檢測(cè)利用圖像連續(xù)性，即圖像熵值差來(lái)獲取候選邊界。然而視頻內(nèi)目標(biāo)移動(dòng)、相機(jī)運(yùn)動(dòng)等干擾，將影響圖像熵值差(Entropy Difference，ED)計(jì)算。本文先通過(guò)圖像間光流矢量并進(jìn)行量化，對(duì)圖像進(jìn)行校正再計(jì)算相應(yīng)ED值，依據(jù)校正值進(jìn)行候選邊界檢測(cè)。

1.1 光流校正與量化

光流[7]是利用相鄰圖像間相關(guān)性計(jì)算其運(yùn)動(dòng)信息的方法。如圖1假設(shè)Hk中像素點(diǎn)(x,y)在Hk+1中移至，據(jù)偏移量(u,v)對(duì)圖像進(jìn)行校正。對(duì)于前景與后景運(yùn)動(dòng)模式不一致和畫(huà)面縮放等問(wèn)題，采用圖像分塊減小干擾。

圖1 圖像的光流矢量及分塊Fig.1Optical flow of image and block processing

圖像進(jìn)行分塊后，塊內(nèi)像素點(diǎn)的運(yùn)動(dòng)表征目標(biāo)的運(yùn)動(dòng)。若各邊界具有擴(kuò)展趨勢(shì)外擴(kuò)，表明鏡頭處于放大狀態(tài)。若多個(gè)小塊具有相同運(yùn)動(dòng)方向，表明目標(biāo)運(yùn)動(dòng)趨勢(shì)。在圖像的邊界處，可先擴(kuò)寬邊界再進(jìn)行校正計(jì)算，提取的光流矢量，進(jìn)一步使用直方圖對(duì)其量化，圖2(a)為圖像Hk和Hk+1的光流矢量示意圖。在360°分為8柱，每柱45°如圖2(b)。每柱高度為該柱內(nèi)所有光流矢量長(zhǎng)度和。直方圖峰值方向代表光流的主方向，該方向表征光流矢量的主運(yùn)動(dòng)趨勢(shì)。獲得的直方圖來(lái)構(gòu)造8維特征向量，如圖2(c)所示。即使用8個(gè)區(qū)域的統(tǒng)計(jì)量表征光流矢量。

圖2 光流的量化示意Fig.2Quantization of optical flow

由圖2可知每柱有兩個(gè)相鄰區(qū)域，如g1柱兩個(gè)相鄰區(qū)域是g2和g8。八個(gè)區(qū)域首尾相鄰包含360°。表明每柱與相鄰兩柱間存在聯(lián)系，滿(mǎn)足光流矢量在邊界處可能更變區(qū)域的情況。相鄰兩幀圖像Hk和Hk+1特征向量定義：

1.2 候選邊界檢測(cè)

圖像熵為特征的一種統(tǒng)計(jì)形式，它反映圖像中平均信息量的大小。圖像熵表示圖像灰度分布聚集特征所包含的信息量[8]。對(duì)于離散形式二維圖像，其信息熵計(jì)算公式如下

在RGB色彩模型中對(duì)任意相鄰兩幀圖像Hk、Hk+1，定義R通道的熵值差RD，通過(guò)光流分析圖像分塊處理后，圖像DR值為所有小塊的dR值之和。

同理G、B通道計(jì)算如R通道，所有通道的和為相鄰圖像D值。

采用滑動(dòng)窗口模式檢測(cè)整個(gè)視頻段，其大小設(shè)為W，而保留有鏡頭切換的候選邊界。單鏡頭內(nèi)圖像間具有較高相似性，不存在較大D值；相反的，在鏡頭切換處圖像間差異明顯，存在異常D值。圖像連續(xù)性檢測(cè)中需用閾值T進(jìn)行判斷。假定窗口當(dāng)前幀的位置為C，滿(mǎn)足。當(dāng)窗口中D值滿(mǎn)足：

保留該段并認(rèn)定候選鏡頭邊界。當(dāng)不滿(mǎn)足時(shí)認(rèn)為該段是鏡頭內(nèi)平滑過(guò)渡不存在鏡頭的切換，丟棄并判斷下一段。直至整個(gè)視頻處理完畢，獲取所有候選鏡頭邊界。這里a為常數(shù)，TC依據(jù)C自適應(yīng)獲取，取窗口首幀到當(dāng)前幀的均值，即：

2 候選邊界識(shí)別

通過(guò)候選邊界的處理判斷鏡頭切換及方式。根據(jù)各類(lèi)鏡頭構(gòu)造差異進(jìn)行檢測(cè)，淡入淡出鏡頭對(duì)亮度敏感，切換中存在亮度降低的過(guò)程；突變鏡頭連接過(guò)程未使用過(guò)渡效果，表現(xiàn)為圖像亮度驟變。依據(jù)亮度特征識(shí)別淡入淡出和突變鏡頭。此外，圖像往往只有顯著區(qū)域引起人眼的重視，提取圖像顯著區(qū)域再依據(jù)其特征進(jìn)行相似性判別，對(duì)此提出一種模板匹配方法識(shí)別溶解鏡頭。

2.1 特征提取

Retinex理論是一個(gè)簡(jiǎn)單有效的人類(lèi)視覺(jué)模型[9]。一幅圖像H(x,y)可以分解為反射圖像R(x,y)和亮度圖像L(x,y)：

從原始圖像中計(jì)算出有效亮度圖像是一個(gè)奇異問(wèn)題。McCann算法[10]用于進(jìn)行圖像亮度的提取，且對(duì)陰影遮擋和光照不均均有較好適應(yīng)性，故采用該方法在原始輸入圖像中按照一定的規(guī)律選取一部分像素點(diǎn)，其方法是類(lèi)似于在圖像中畫(huà)一條螺旋結(jié)構(gòu)的路徑。從信息論可知信息分為冗余和變化部分，人們的視覺(jué)對(duì)變化部分更敏感。Goferman等人[11]提出的基于上下文顯著檢測(cè)的方法綜合考慮局部和全局特征有較好效果。對(duì)于圖像塊pi和pj，若顏色距離越大位置距離越小，則它們的差異值越大。顏色距離和空間距離是

兩圖像塊在Lab空間的歐幾里得距離。若任意pj得到的差異值都很大，則認(rèn)為該塊pi是顯著的：

互信息是衡量圖像間包含信息大小，漸變的切換正如鏡頭相互融合的過(guò)程，故用互信息度量圖像間相似性。圖像聯(lián)合灰度概率分布，互信息的定義如下

2.2 模板構(gòu)造

圖3 (b)突變類(lèi)鏡頭互信息Fig.3(b)Abrupt type shots mutual information

根據(jù)漸變和突變鏡頭內(nèi)在差異來(lái)構(gòu)造鏡頭匹配的模板。溶解類(lèi)前后鏡頭相互融合，將候選邊界的第一幀和最后一幀圖像設(shè)為對(duì)比幀，提取對(duì)比幀顯著區(qū)域分別構(gòu)造首幀、尾幀的互信息曲線(xiàn)，該雙曲線(xiàn)為模板基礎(chǔ)。多組漸變和突變鏡頭的互信息曲線(xiàn)如圖3所示。

如圖4所示，分別為第一組突變鏡頭與第一組漸變鏡頭內(nèi)五點(diǎn)局部圖像。圖4(a)所示，突變類(lèi)互信息曲線(xiàn)切換前緩慢變化，切換后趨于平穩(wěn)，曲線(xiàn)交點(diǎn)處水平方向夾角較大；圖4(b)中漸變鏡頭互信息曲線(xiàn)的變化緩慢，兩條曲線(xiàn)水平方向夾角較小符合鏡頭的緩慢融合。設(shè)首幀和尾幀曲線(xiàn)交點(diǎn)為O點(diǎn)，臨近交點(diǎn)處的首幀曲線(xiàn)兩點(diǎn)為A、C，尾幀曲線(xiàn)兩點(diǎn)為B、D，其中AOB是水平向左的夾角，COD是水平向右的夾角。

五點(diǎn)A、B、C、D和O構(gòu)成鏡頭檢測(cè)模板的要素，通過(guò)計(jì)算模板中AOB與COD的度數(shù)來(lái)進(jìn)行鏡頭識(shí)別。如果滿(mǎn)足：

圖4 交點(diǎn)處局部示意圖Fig.4The local intersection of point

認(rèn)為該模板匹配突變鏡頭，即檢測(cè)段候選鏡頭邊界存在突變類(lèi)鏡頭切換。當(dāng)不滿(mǎn)足時(shí)認(rèn)為該模板匹配漸變鏡頭，該候選鏡頭邊界存在溶解類(lèi)鏡頭切換。

3 實(shí)驗(yàn)結(jié)果分析

為了評(píng)估提出的鏡頭邊界檢測(cè)方法，本文使用開(kāi)放數(shù)據(jù)集網(wǎng)站“www.open-video.org”中兩個(gè)視頻系列Anniversary和Winning，均為T(mén)RECVID采用的測(cè)試視頻[12]。視頻具有不同內(nèi)容、幀率，時(shí)長(zhǎng)1 min～20 min不等，具體描述如表1所示。本節(jié)包括候選邊界實(shí)驗(yàn)和邊界識(shí)別實(shí)驗(yàn)兩個(gè)部分。

實(shí)驗(yàn)中設(shè)N代表正確檢測(cè)鏡頭個(gè)數(shù)，M代表漏檢鏡頭個(gè)數(shù)，F(xiàn)代表誤檢鏡頭個(gè)數(shù)。用正確檢測(cè)數(shù)和總鏡頭數(shù)可獲取查準(zhǔn)率P和查全率R。查全率和查準(zhǔn)率是相互關(guān)聯(lián)的，可以改變參數(shù)獲得更高查全率，但往往降低查準(zhǔn)率。而調(diào)整參數(shù)獲取更高查準(zhǔn)率也會(huì)減小查全率。通過(guò)查全率與查準(zhǔn)率調(diào)和平均值，采用相同權(quán)重來(lái)獲取高性能檢測(cè)值F1。

上述三個(gè)參數(shù)取值范圍為[0,1]，其數(shù)值被轉(zhuǎn)換至百分比(%)，值越大表明系統(tǒng)性能越好。

3.1 候選邊界實(shí)驗(yàn)

候選邊界檢測(cè)先提取圖像間光流矢量并量化，由式(3)進(jìn)行相識(shí)度的計(jì)算。若視頻中相似度存在異常值，表明該段存在光流矢量劇烈變化即存在鏡頭的切換。通過(guò)相鄰幀熵值差異值，用于判別鏡頭連續(xù)性。使用提取的矢量對(duì)相鄰圖像校正，以減小目標(biāo)移動(dòng)、相機(jī)運(yùn)動(dòng)等影響。采集多組原幀間差和校正幀間差對(duì)應(yīng)數(shù)值如表2所示，實(shí)驗(yàn)中圖像采用9′9分塊進(jìn)行校正。定義校正率為原熵值與校正熵值的差和校正熵值的比值，該值驗(yàn)證光流校正效果。表2中平均校正率為7.7%，表明光流校正的有效性。通過(guò)校正可降低圖像熵值，利于圖像連續(xù)性的檢測(cè)。

表2 光流校正數(shù)據(jù)結(jié)果Table 2Optical flow correction data results

在候選邊界檢測(cè)過(guò)程中，滑動(dòng)窗口大小W和式(6)中閾值影響邊界數(shù)選取。通過(guò)實(shí)驗(yàn)測(cè)試W與候選邊界塊數(shù)關(guān)系，而獲取最佳窗口大小。圖5所示為實(shí)驗(yàn)關(guān)系圖，圖5(a)中窗口大小在20至50時(shí)檢測(cè)塊數(shù)對(duì)應(yīng)增加，在50和60時(shí)塊數(shù)達(dá)峰值，隨后下降并趨于穩(wěn)定。故實(shí)驗(yàn)采用窗口大小為60達(dá)到較好效果，同時(shí)保證處理速度。圖5(b)所示為閾值與塊數(shù)的關(guān)系圖，閾值為1.0時(shí)選邊界數(shù)達(dá)到最佳18，故選取閾值0.9至1.1以提高適應(yīng)性。由式(7)知TC的定義，結(jié)合其取值知常數(shù)a范圍為0.06至0.12。

圖5 候選塊數(shù)與影響因子Fig.5The candidate number with impact factor

圖6 鏡頭亮度示例圖Fig.6Shots brightness diagram

3.2 邊界識(shí)別實(shí)驗(yàn)

對(duì)于獲取的候選鏡頭邊界，依據(jù)圖像亮度信息和互信息進(jìn)行識(shí)別。亮度信息使用2.1小節(jié)中螺旋結(jié)構(gòu)進(jìn)行提取。每幅圖像使用該結(jié)構(gòu)不重疊提取亮度信息。一幅圖像中像素點(diǎn)的亮度均值作為亮度信息。由實(shí)驗(yàn)及先驗(yàn)理論知，淡入淡出鏡頭對(duì)亮度值較為敏感。從數(shù)據(jù)發(fā)現(xiàn)亮度值0.05是合適的閾值，如圖6(a)所示。多數(shù)突變鏡頭在切換處圖像亮度值存在明顯變化，如圖6(b)所示，突變類(lèi)使用相鄰圖像絕對(duì)差值進(jìn)行判別，使用絕對(duì)差值中的最小值與各絕對(duì)差值的比值(商值)作為判斷條件。圖6(b)的商值結(jié)果對(duì)應(yīng)圖6(c)，最大商值作為判斷條件，實(shí)驗(yàn)用商值1 000作為閾值，圖6(c)中最大是2 294。

通過(guò)亮度檢測(cè)后未識(shí)別的候選邊界，使用2.2小節(jié)中模板匹配進(jìn)行識(shí)別。通過(guò)首幀(尾幀)與邊界內(nèi)圖像的互信息量計(jì)算，構(gòu)造首尾幀曲線(xiàn)并提取模板的五點(diǎn)。將式(11)中條件簡(jiǎn)化滿(mǎn)足時(shí)該段認(rèn)為存在突變鏡頭；否則存在溶解類(lèi)鏡頭。如圖7所示為兩組鏡頭曲線(xiàn)圖。

圖7 模板匹配示意Fig.7Template matching example

其中圖7(a)為溶解鏡頭互信息曲線(xiàn)，實(shí)驗(yàn)知其AOB夾角為7.97°，角度較小。圖7(b)是突變鏡頭互信息曲線(xiàn)，實(shí)驗(yàn)知AOB夾角為78.72°。實(shí)驗(yàn)中多組AOB夾角度數(shù)如表3所示，通過(guò)大量實(shí)驗(yàn)可將閾值度數(shù)q設(shè)為18。

表3 AOB夾角度數(shù)Table 3 AOB angle degree

表4 本文方法實(shí)驗(yàn)結(jié)果Table 4The result of our method

表5 本文方法與TRECVID 2007中方法對(duì)比Table 5Our results compare with TRECVID 2007

表4所示檢測(cè)結(jié)果表明提出的方法具有較好的效果。候選邊界實(shí)驗(yàn)中采用最大邊界數(shù)策略，有效避免漏檢鏡頭發(fā)生，保障較高的查全率，使用光流量化與圖像熵差進(jìn)行連續(xù)性判斷，保證準(zhǔn)確而高效的獲取邊界。若兩幅圖像內(nèi)容不同但熵差值較小影響連續(xù)性檢測(cè)，結(jié)合相似度可有效判斷不連續(xù)性。利用多特征從候選邊界中識(shí)別鏡頭類(lèi)別，避免誤檢鏡頭的發(fā)生。同時(shí)排除無(wú)鏡頭切換候選鏡頭邊界，保障查準(zhǔn)率。

表5為本文方法與TRECVID中鏡頭邊界檢測(cè)結(jié)果。TRECVID中查準(zhǔn)率P均值為91.13%，本文均值達(dá)到96.76%；TRECVID中查全率R均值為84.55%，本文均值為91.17%；TRECVID中F1均值為87.54%，本文均值為93.76%。實(shí)驗(yàn)數(shù)據(jù)顯示本文方法檢測(cè)率顯著提高，表明提出的檢測(cè)方法的高效性。本文具有較好效果源于檢測(cè)過(guò)程的分段分析和處理，即首先使用光流等特征選取候選鏡頭邊界，其次再對(duì)其進(jìn)行鏡頭類(lèi)別識(shí)別。

4 結(jié)論

本文提出的基于光流的鏡頭邊界檢測(cè)方法，不僅消除多運(yùn)動(dòng)造成的干擾同時(shí)敏銳的捕捉視頻序列中鏡頭的變化。首先通過(guò)視頻內(nèi)圖像連續(xù)性判斷，獲取存在鏡頭切換的候選鏡頭邊界。其次提出模板匹配方法，從候選鏡頭邊界中識(shí)別出鏡頭類(lèi)別。實(shí)驗(yàn)知本文方法具有較高查準(zhǔn)率與查全率。然而在圖像光流矢量檢測(cè)過(guò)程較為耗時(shí)，同時(shí)光流對(duì)圖像校正的流程時(shí)間也較長(zhǎng)，造成提出的算法未能達(dá)到實(shí)時(shí)性。這是本文主要存在的問(wèn)題也是接下來(lái)的工作重心。

[1]Smeaton A F，Over P，Doherty A R.Video shot boundary detection：Seven years of TRECVid activity[J].Computer Vision and Image Understanding(S1077-3142)，2010，114(4)：411–418.

[2]Lin Chuenhorng，Hsiao M D，F(xiàn)U Lijung.Analysis of Shot Boundary Based on Color and Texture Features of Frame[C]//IOP Conference Series：Materials Science and Engineering，Kuala Lumpur，Malaysia，July 2–4，2013，53(1)：012004.

[3]Butz T，Thiran J P.Shot boundary detection with mutual information[C]//Proceedings of the 2001 International Conference on Image Processing，Thessaloniki，Greece，October 7-10，2001：422–425.

[4]?erneková Z，Pitas I，Nikou C.Information theory-based shot cut/fade detection and video summarization[J].IEEE Transactions on Circuits and Systems for Video Technology(S1051-8215)，2006，16(1)：82–91.

[5]Treetasanatavorn S，Heuer J，Rauschenbach U，et al.Temporal video segmentation using global motion estimation and discrete curve evolution[C]//Proceedings of the 2004 International Conference on Image Processing，Singapore，June 21-24，2004：385–388.

[6]張寅，宋永紅，楊蕾.利用圖像不連續(xù)特性的溶解型鏡頭檢測(cè)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23(5)：878–883. ZHANG Yin，SONG Yonghong，YANG Lei.Discontinuity-Driven Shot Detection Algorithm for Dissolving Shots[J].Journal of Computer-Aided Design&Computer Graphics，2011，23(5)：878–883.

[7]SUN Deqing，Roth S，Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them[J].International Journal of Computer Vision(S0920-5691)，2014，106(2)：115–137.

[8]CHEN Hong，JIANG Tie，ZHU Guibin.Image Mosaic based on Image Entropy and the Number of Feature Points Control[J]. Information Technology Journal(S1812-5638)，2014，13(7)：1381.

[9]JIANG Bo，Woodell G A，Jobson D J.Novel multi-scale retinex with color restoration on graphics processing unit[J].Journal of Real-Time Image Processing(S1861-8200)，2015，10(2)：239–253.

[10]楊中東，王鵬，李曉慧，等.基于LCoS像素級(jí)圖像亮度調(diào)整方法研究[J].儀器儀表學(xué)報(bào)，2013，34(1)：147–152. YANG Zhongdong，WANG Peng，LI Xiaohui，et al.Study on pixel-level image brightness adjustment method based on LCoS [J].Chinese Journal of Scientific Instrument(S0254-3087)，2013，34(1)：147–152.

[11]Goferman S，Zelnik-Manor L，Tal A.Context-aware saliency detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2012，34(10)：1915–1926.

[12]Amiri A，F(xiàn)athy M.Video shot boundary detection using generalized eigenvalue decomposition and Gaussian transition detection [J].Computing and Informatics(S1335-9150)，2011，30(3)：595–619.

Shot Boundary Detection Based on Optical Flow

WANG Ronggui，HU Jiangen，YANG Juan，XUE Lixia
(School of Computer and Information,Hefei University of Technology,Hefei230009,China)

To solve the problem that motion information in the video is combined to the detection process of the shot boundary,which is to prevent the impact of target movement,camera movement for detection,a shot boundary detection method based on optical flow is proposed.Firstly,motion information in video using optical flow method was detected, which is used to calculate the entropy of adjacent image correction,and a method of optical flow quantization is proposed. The quantization value and corrected entropy is used to determine the continuity of the image,and candidate boundaries are reserved for the presence of a lens switch.Secondly,the image of the photometric information and mutual information between the images are extracted using the difference between the lens structure,and a model matching method is proposed to identify the type of shot.Significant areas of the image are extracted for computing mutual information, which increases the difference between the images and ensures the accuracy of the model matching.The results show that the algorithm can accurately detect the shot boundary,and effectively eliminate the interference of motion.

shot boundary detection;optical flow;mutual information;salient region

TP391

A

10.3969/j.issn.1003-501X.2016.11.007

1003-501X(2016)11-0038-08

2016-05-05；

2016-07-20

中國(guó)博士后基金項(xiàng)目(2014M561817)；安徽省自然科學(xué)基金項(xiàng)目(J2014AKZR0055)

汪榮貴(1966-)，男(漢族)，安徽池州人。教授，主要研究視頻處理與分析等。E-mail:wangrgui@126.com。