基于霍夫變換的書(shū)脊識(shí)別研究

王鈺深 黃悅恒 黃謙 劉沖

摘? 要：針對(duì)機(jī)器人自動(dòng)整理圖書(shū)研究中的關(guān)鍵問(wèn)題——利用機(jī)器視覺(jué)識(shí)別書(shū)脊問(wèn)題展開(kāi)研究。文章提出一種基于輪廓的書(shū)脊識(shí)別方法。利用Canny算子檢測(cè)書(shū)脊邊緣，根據(jù)書(shū)脊兩側(cè)輪廓為平行的線段特點(diǎn)，利用概率霍夫變換提取書(shū)脊兩側(cè)的輪廓，通過(guò)線段位置關(guān)系得到書(shū)脊ROI區(qū)域;根據(jù)書(shū)脊上文字與書(shū)脊顏色，亮度相差較大的特點(diǎn)，利用K-means對(duì)色調(diào)和亮度進(jìn)行聚類，并通過(guò)判斷形態(tài)特征得到文字區(qū)域，通過(guò)文字排列方式判斷是否為書(shū)脊。將文章方法應(yīng)用于實(shí)際檢測(cè)中，并與利用LSD識(shí)別書(shū)脊的方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明文章方法識(shí)別正確率更高。

關(guān)鍵詞：機(jī)器視覺(jué);書(shū)脊識(shí)別;概率霍夫變換;Canny算子

中圖分類號(hào)：TP242.6 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）36-0007-05

Abstract： Research on the key problem in the study of automatic book sorting by robots-the use of machine vision to identify the spine of the book. This paper proposes a method of spine recognition based on outlineand uses Canny operator to detect the edge of the spine. According to the characteristics of parallel line segments on both sides of the spine， the Probabilistic Hough Transform is used to extract the contours on both sides of the spine. The ROI area of the spine is obtained through the position relationship of the line segments; according to the text on the spine and the color of the spine， the brightness is different. The larger feature uses K-means to cluster the hue and brightness， and obtains the text area by judging the morphological characteristics， thus judging whether it is the spine by the text arrangement. The method in this paper is applied to actual detection and compared with the method of using LSD to identify the spine. The experimental results show that the method in this paper has a higher recognition accuracy.

Keywords： machine vision; spine recognition; Probabilistic Hough Transform; Canny operator

1 概述

隨著社會(huì)的發(fā)展，圖書(shū)館的使用頻率越來(lái)越高，造成了大量書(shū)籍的借閱與歸還。由于歸還量較大，工作人員無(wú)法在短時(shí)間內(nèi)將圖書(shū)整理完，這給其他讀者在查詢、借閱時(shí)帶來(lái)了巨大的不便。隨著人工智能、機(jī)器人等技術(shù)的發(fā)展，越來(lái)越多的學(xué)者提出了利用機(jī)器人自動(dòng)整理圖書(shū)的想法。成功識(shí)別圖書(shū)書(shū)脊是利用機(jī)器人自動(dòng)整理圖書(shū)的基礎(chǔ)。目前書(shū)脊識(shí)別主要分為兩種思路，一種思路是利用深度學(xué)習(xí)識(shí)別書(shū)脊上文字或索書(shū)號(hào)，以此完成對(duì)書(shū)脊的識(shí)別[1，2]，另一種思路是通過(guò)書(shū)脊輪廓和顏色等特征完成對(duì)書(shū)脊的分割與識(shí)別。后一種思路的難點(diǎn)在于：書(shū)脊圖像比較復(fù)雜，難以區(qū)分單本圖書(shū)與相鄰圖書(shū)的輪廓;書(shū)脊顏色多樣，難以用固定的閾值進(jìn)行篩選。方建軍[3]等人提出一種基于小波分析和概率Hough變換的書(shū)脊識(shí)別系統(tǒng)，該算法可以很好解決因運(yùn)動(dòng)造成的圖像模糊導(dǎo)致識(shí)別率下降的問(wèn)題，但是需要根據(jù)書(shū)脊的厚度設(shè)置不同的Hough參數(shù);孫繼周等人[4]提出利用顏色結(jié)合LSD檢測(cè)分割圖書(shū)，通過(guò)索書(shū)標(biāo)簽進(jìn)行圖書(shū)識(shí)別的算法，但該方法對(duì)閾值設(shè)置依賴較高;殷策[5]提出了基于LSD的書(shū)籍輪廓提取算法，該方法對(duì)擺放混亂的書(shū)脊識(shí)別效果較好，但是該方法耗時(shí)較長(zhǎng)，無(wú)法滿足實(shí)時(shí)監(jiān)測(cè)的需求。N.Tabassum等人[6]提出一種針對(duì)多行圖書(shū)書(shū)脊的分割方法，但是該種方法目前只能檢測(cè)較厚的排列好的書(shū)籍，無(wú)法應(yīng)用于薄書(shū)籍和擺放較為混亂的書(shū)籍。曹海清等人[7]提出一種利用投影算子分割書(shū)脊，獲得索書(shū)號(hào)，利用模板匹配識(shí)別文字與數(shù)字，該方法書(shū)脊分割效果較好，識(shí)別準(zhǔn)確率較高，但對(duì)光線條件要求較為嚴(yán)格。本文與實(shí)際項(xiàng)目結(jié)合，利用概率霍夫變換與K-means聚類方法，實(shí)現(xiàn)了一種基于輪廓的書(shū)脊識(shí)別的算法。該方法對(duì)光線條件要求較低，對(duì)閾值依賴程度較低，在與基于LSD的書(shū)籍識(shí)別方法對(duì)比中，本文方法取得了更優(yōu)異的識(shí)別效果。

2 算法流程

本文算法主要分為以下幾個(gè)步驟：

S1.圖像預(yù)處理：轉(zhuǎn)為灰度圖，利用濾波去除噪聲;

S2.利用Canny算子檢測(cè)書(shū)脊邊緣直線;

S3.利用概率霍夫變換（PPHT）提取書(shū)脊輪廓線段;

S4.對(duì)S3得到的符合條件的線段融合;

S5.進(jìn)行平行線檢測(cè)，將不符合條件的線段去除，符合條件的線段進(jìn)行配對(duì)，得到書(shū)脊ROI區(qū)域;

S6.將圖像轉(zhuǎn)換到HSV色彩空間，利用K-means對(duì)色彩和亮度聚類，結(jié)合形態(tài)學(xué)的篩選獲得文字輪廓，并計(jì)算文字的相對(duì)位置關(guān)系。將通過(guò)篩選的文字的所在書(shū)脊輸出，未通過(guò)的刪除。

3 邊緣檢測(cè)

本部分希望提取的輪廓符合以下要求：（1）輪廓完整;（2）不同書(shū)脊輪廓可以區(qū)分。根據(jù)經(jīng)驗(yàn)與各個(gè)算子的綜合表現(xiàn)，本算法選取Canny算子作為輪廓提取算子。

Canny算子由John F.Canny于1986年提出[8]，其主要流程如下[9，10]：

（1）對(duì)圖像進(jìn)行高斯濾波去除噪聲;

（2）計(jì)算梯度幅值M和梯度方向θ：

利用Sobel算子計(jì)算水平方向梯度Gx與豎直方向梯度Gy，梯度大小為M=，梯度方向?yàn)棣?arctan（）;

（3）非極大值抑制：

為精確確定邊緣，需將圖像細(xì)化到1個(gè)像素寬度。將梯度方向歸化到圖2所示的4個(gè)方向之一，將此方向作為梯度方向。使用3*3的模板作用于幅值圖像，用模板中心像素與梯度方向上的兩個(gè)像素比較，若模板中心點(diǎn)處的幅值M（i，j）比梯度方向上的兩個(gè)相鄰點(diǎn)幅值小，則M（i，j）賦值為零;

（4）閾值化和邊緣連接：

對(duì)經(jīng)過(guò)非極大值抑制的圖像Q（i，j）采用雙閾值處理，低閾值處理結(jié)果為A1，高閾值處理結(jié)果為A2。以A2為基礎(chǔ)，用A1補(bǔ)充連接邊緣。

4 輪廓提取

經(jīng)典霍夫變換思想是利用點(diǎn)和線的對(duì)偶性，將圖像中的曲線轉(zhuǎn)換為極坐標(biāo)系的一點(diǎn)。在笛卡爾坐標(biāo)系中直線方程為：

霍夫變換利用在極坐標(biāo)系中的曲線交點(diǎn)檢測(cè)直線。在極坐標(biāo)系中越多的曲線交于一點(diǎn)，代表著這個(gè)交點(diǎn)表示的直線由越多的點(diǎn)組成。當(dāng)交于一個(gè)點(diǎn)的曲線數(shù)量大于設(shè)定的閾值，即可認(rèn)為這個(gè)交點(diǎn)代表的參數(shù)在笛卡爾坐標(biāo)系中為一條直線。但是經(jīng)典霍夫變換計(jì)算量較大，不能夠保證實(shí)時(shí)性，本文采用概率霍夫變換（PPHT），對(duì)書(shū)脊輪廓的直線進(jìn)行檢測(cè)和提取。概率霍夫變換無(wú)需對(duì)邊緣所有像素點(diǎn)進(jìn)行檢測(cè)，僅是從邊緣點(diǎn)集中隨機(jī)選取點(diǎn)進(jìn)行計(jì)算。具體過(guò)程如下[11，12]：

（1）隨機(jī)選取前景點(diǎn)，并在極坐標(biāo)系中繪制圖像;

（2）當(dāng)極坐標(biāo)系中存在交點(diǎn)達(dá)到閾值，將該點(diǎn)對(duì)應(yīng)的圖像在笛卡爾坐標(biāo)系中的直線L繪制出來(lái);

（3）尋找前景點(diǎn)，將在直線L上的點(diǎn)連成線段，記錄相應(yīng)參數(shù)（起始位置，終止位置，線段長(zhǎng)度），然后將這些點(diǎn)刪除;

（4）重復(fù)前三步，直到前景點(diǎn)集為空。

通過(guò)以上4步，即可快速的提取到圖像中的直線。

5 ROI區(qū)域選取

5.1線段融合

經(jīng)過(guò)PPHT提取直線后，存在許多非書(shū)脊輪廓的線段，進(jìn)行線段融合，減少非目標(biāo)直線。利用直線的相對(duì)位置關(guān)系進(jìn)行篩選，首先通過(guò)直線方程y=kx+b或x=c描述線段。刪除長(zhǎng)度小于30像素的線段（圖像大小640*480），刪除存在交點(diǎn)的線段。關(guān)注垂直方向的線段，忽略k∈（0，5）∪（-5，0）的線段;按照k值進(jìn)行分組，每組限差為±10。計(jì)算同一組內(nèi)線段之間的距離，依次在2條線段4個(gè)端點(diǎn)中選3個(gè)，共構(gòu)成4個(gè)三角形，使用如下公式計(jì)算三角形的高：

（1）新的線段斜率取兩條線段斜率的平均值;

（2）用一條線段的上端點(diǎn)與下端點(diǎn)分別連接另一條線段的下端點(diǎn)與上端點(diǎn)，連線交點(diǎn)作為新線段中心點(diǎn);

（3）將融合前較長(zhǎng)線段的長(zhǎng)度作為新線段的長(zhǎng)度。

5.2 平行線判斷

按中心點(diǎn)橫坐標(biāo)從小到大的順序進(jìn)行平行線匹配。匹配規(guī)則如下：

（1）若第一條線段向第二條線段投影的長(zhǎng)度大于第一條線段長(zhǎng)度的30%，則認(rèn)為這兩條線段為一本書(shū)的書(shū)脊兩側(cè)直線，匹配成功;

（2）若投影長(zhǎng)度小于第一條線段長(zhǎng)度的15%～30%，認(rèn)為它們可能為一本書(shū)的輪廓，繼續(xù)向下尋找，若存在投影長(zhǎng)度更高的則將那兩條線段匹配;若投影長(zhǎng)度小于第一條線段長(zhǎng)度的15%，則將該條線段刪除;

（3）規(guī)定進(jìn)行匹配的線段的中心點(diǎn)橫坐標(biāo)之間的距離應(yīng)小于第一條線段長(zhǎng)度的40%，若在此范圍內(nèi)無(wú)法匹配成功，則將該線段刪除;

（4）匹配僅在同組直線內(nèi)進(jìn)行;

（5）若第一條線段與第二條線段匹配成功，則使用第二條線段繼續(xù)進(jìn)行匹配，直至所有直線都經(jīng)過(guò)匹配。

5.3 選取書(shū)脊ROI區(qū)域

取匹配成功的線段端點(diǎn)縱坐標(biāo)最大值與最小值的點(diǎn)，分別過(guò)該點(diǎn)做與其所在線段的垂線，延長(zhǎng)另外一條線段，使其與垂線相交，如圖3所示。構(gòu)成旋轉(zhuǎn)矩形區(qū)域，通過(guò)仿射變換得到書(shū)脊的ROI。

5.4 文字相對(duì)位置關(guān)系判斷

這部分對(duì)識(shí)別到的區(qū)域做進(jìn)一步篩選，同時(shí)解決因書(shū)脊邊緣處梯度變化較小，而無(wú)法提取其輪廓的問(wèn)題。

根據(jù)對(duì)書(shū)脊觀察，總結(jié)出如下特征：多數(shù)書(shū)脊上存在文字，且文字的顏色，亮度與其他部分差距較大;文字的大小、排列方式有一定規(guī)律。根據(jù)這些特征，提出如下篩選方法及步驟：

（1）將ROI從RGB轉(zhuǎn)換為HSV色彩空間;

（2）對(duì)H和S分量利用K-means聚類，將ROI區(qū)域分成3類;

（3）用矩形框選每一類圖像，認(rèn)為存在文字的矩形長(zhǎng)應(yīng)小于書(shū)脊長(zhǎng)度的20%，且矩形長(zhǎng)寬比應(yīng)在0.8至1.2之間;

（4）將矩形按中心點(diǎn)橫坐標(biāo)分組，每組內(nèi)橫坐標(biāo)差值不應(yīng)大于ROI寬度的20%。取ROI兩側(cè)線段斜率的平均值過(guò)每組內(nèi)y值最小的矩形中心點(diǎn)做直線，判斷穿過(guò)矩形的情況與數(shù)量。與矩形上下邊有交點(diǎn)，則直線穿過(guò)該矩形。若穿過(guò)矩形的數(shù)量不小于3個(gè)，則認(rèn)為矩形區(qū)域即為文字區(qū)域;

（5）若無(wú)文字區(qū)域，則該區(qū)域?yàn)榉菚?shū)脊區(qū)域，若有一組及以上的文字區(qū)域，則認(rèn)為該區(qū)域?yàn)闀?shū)脊區(qū)域。若僅有單組文字，則直接將該區(qū)域輸出，若有多組文字，則計(jì)算y值最大與最小的矩形中心點(diǎn)連線的斜率ki，并計(jì)算該組內(nèi)矩形中心點(diǎn)橫坐標(biāo)平均值xi。然后計(jì)算相鄰兩組之間平均橫坐標(biāo)，計(jì)算平均斜率，找到ROI的中心點(diǎn)，取其縱坐標(biāo)y，過(guò)（，y）以斜率做長(zhǎng)度與ROI的高度相同的線段，將新的線段作為新添的書(shū)脊輪廓，與原有輪廓共同輸出。

6 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)?zāi)康模候?yàn)證本文的方法的可行性和有效性，與傳統(tǒng)方法對(duì)比，證明本文算法識(shí)別效果更好。

實(shí)驗(yàn)說(shuō)明及結(jié)果：

（1）線段融合

利用PPHT提取線段并經(jīng)過(guò)本文所述方法融合的效果圖如圖4a所示。

（2）文字框選

利用本文的方法對(duì)書(shū)脊ROI中的文字進(jìn)行框選，矩形框到的區(qū)域代表文字所在區(qū)域，如圖4b所示。

（4）書(shū)脊識(shí)別效果

展示本次實(shí)驗(yàn)最終識(shí)別效果，證明本文程序的有效性。其中標(biāo)注圓點(diǎn)的書(shū)脊代表識(shí)別到的書(shū)脊（圓點(diǎn)為程序計(jì)算書(shū)脊第一個(gè)文字的中點(diǎn)），線段代表分割效果，如圖4c所示。

7 結(jié)果分析

在本次實(shí)驗(yàn)中，圖像中總共存在12本書(shū)，但程序總共識(shí)別出11本書(shū)的書(shū)脊。按照從左至右的順序給書(shū)脊編號(hào)，為1至12。

因?yàn)榈?本書(shū)的書(shū)脊與第1本的書(shū)脊的邊緣灰度值相差較小，導(dǎo)致Canny算子未正確提取輪廓，如圖5a所示，進(jìn)而導(dǎo)致在PPHT檢測(cè)線段時(shí)未檢測(cè)到。但1號(hào)與2號(hào)書(shū)的書(shū)脊上文字與書(shū)脊顏色差距較大，通過(guò)判斷文字相對(duì)位置，成功找到1號(hào)與2號(hào)的邊界。利用同樣方法成功區(qū)分第11本書(shū)與第12本書(shū)。

第9本書(shū)兩側(cè)的輪廓成功提取，并通過(guò)線段位置關(guān)系的檢測(cè)，但在檢測(cè)文字相對(duì)位置關(guān)系時(shí)未通過(guò)。書(shū)脊上的文字與書(shū)脊其他部分在色調(diào)和亮度上差距較小，在K-means聚類時(shí)未成功區(qū)分出文字與書(shū)脊其他區(qū)域，導(dǎo)致檢測(cè)失敗，如圖5b所示。在圖4c中，第9本書(shū)兩側(cè)的輪廓為它旁邊兩本書(shū)的輪廓，并非它本身的輪廓。

從實(shí)驗(yàn)結(jié)果來(lái)看，本算法效果較理想。緩解了顏色相近兩本書(shū)之間輪廓無(wú)法提取的缺陷。通過(guò)對(duì)書(shū)脊色調(diào)和亮度的聚類識(shí)別文字區(qū)域，并利用其空間位置關(guān)系進(jìn)行篩選，提高了基于輪廓識(shí)別書(shū)脊的準(zhǔn)確性，降低了對(duì)閾值的依賴，提高了算法的魯棒性。

8 實(shí)驗(yàn)對(duì)比

相機(jī)分辨率：640*480。

采用引文5中基于LSD書(shū)脊識(shí)別的方法與本文所述方法進(jìn)行對(duì)比，識(shí)別結(jié)果如表1所示。

9 總結(jié)

本文提出了一種基于霍夫變換的書(shū)脊識(shí)別方法，通過(guò)Canny算子提取邊緣，利用PPHT檢測(cè)書(shū)脊輪廓線段，利用線段的空間位置關(guān)系得到書(shū)脊ROI區(qū)域，通過(guò)對(duì)色調(diào)和亮度的聚類，配合對(duì)文字輪廓的檢測(cè)，得到文字區(qū)域，利用文字排列關(guān)系進(jìn)一步檢測(cè)書(shū)脊。實(shí)驗(yàn)結(jié)果表明，本文識(shí)別效果優(yōu)于傳統(tǒng)基于輪廓的識(shí)別方法。但本文算法也存在一定缺陷，若書(shū)脊色彩過(guò)于復(fù)雜，文字之間顏色亮度不統(tǒng)一或與書(shū)脊的顏色亮度差距較小，會(huì)導(dǎo)致無(wú)法正常識(shí)別。下一階段將進(jìn)一步完善本文算法，解決目前存在的缺陷，降低算法用時(shí)，并將算法應(yīng)用于機(jī)器人，進(jìn)行實(shí)際的書(shū)籍整理實(shí)驗(yàn)，提高算法的實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]Anegawa R，Aritsugi M. Text Detection on Books Using CNN Trained with Another Domain Data[J].2019 IEEE Intl Conf on Dependable， Autonomic and Secure Computing：170-176.

[2]Cao Li-na， Liu Ming-di， Dong Zhu-qing， Yang Hua. Book SpineRecognition Based on OpenCV and Tesseract[J].201911th International Conference on Intelligent Human-MachineSystemsan

dCybernetics （IHMSC）： 332-336.

[3]方建軍，杜明芳，龐睿.基于小波分析和概率Hough變換的書(shū)脊視覺(jué)識(shí)別[J].計(jì)算機(jī)工程與科學(xué)，2014，36（01）：126-131.

[4]孫繼周，王小雄，羅佳佳.基于圖像識(shí)別的錯(cuò)位圖書(shū)檢測(cè)技術(shù)研究[J].現(xiàn)代電子技術(shù)，2016，39（05）：58-62.

[5]殷策.基于計(jì)算機(jī)視覺(jué)的書(shū)脊識(shí)別算法研究[D].江西理工大學(xué)，2016.

[6]曹海青，王丹煜，姚志英，等.基于投影算子的圖書(shū)索書(shū)號(hào)自動(dòng)識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2018，27（03）：240-245.

[7]Tabassum N，ChowdhuryS， Hossen M K，Mondal S U.An approach to recognize book titlefrom multi-cell bookshelf images[J].ICLVPR， Dhaka， 2017：1-6.

[8]Canny J. A computational approach to edge detection[J].IEEE-PAMI，1986：679-698.

[9]WojciechM， Marek S. Canny edge detection algorithm modification[J]. Computer Vision and Graphics-International Conference， ICCVG 2012， Proceedings.533-540.

[10]Rong Wei-bin， Li Zhang-jing， Zhang Wei， Sun Li-ning. An improved Canny edge detection algorithm[J]. 2014 IEEE International Conference on Mechatronics and Automation （ICMA），2014，25（12）：60-63.

[11]Mochizuki.Y， Torii.A， Imiya.A. N-point Hough transform for line detection[J]. Journal of Visual Communication and Image Representation，2009，20（4）：242-253.

[12]Mu Zi-xin， Li Zi-fan. A Novel Shi-Tomasi Corner Detection Algorithm Based on Progressive Probabilistic Hough Transform[J]. 2018 Chinese Automation Congress （CAC）： 2918-2922.