基于AI的圖書管理輔助助手

葉啟迪 陳俊龍 陳培基

廣東東軟學(xué)院 計算機(jī)學(xué)院 廣東 佛山 528200

引言

圖書館作為一種公共文化事業(yè)，皆以搜索、整理、收藏圖書資料以供閱讀，參考。肩負(fù)包括開發(fā)信息資源，社會教育，對人文文化遺產(chǎn)的保護(hù)等繁多的職務(wù)。大部分圖書館都會引入一套獨立的圖書管理系統(tǒng)，對書籍進(jìn)行規(guī)律性分類和存放，達(dá)到一定的管理效果。但是如果執(zhí)行地區(qū)及其圖書量過大，這種管理系統(tǒng)便會出現(xiàn)圖書分類工作累積，無法及時反饋和處理等問題，其中最為明顯的是放置圖書量巨大以及圖書錯位放置。

針對上述問題，本文進(jìn)行了對智能協(xié)助圖書管理的深入研究，研發(fā)完成了一套基于AI的視覺輔助機(jī)械臂抓取放置圖書的機(jī)械裝置，在無須用戶干擾的基礎(chǔ)上解決圖書擺放和整理的問題，協(xié)助區(qū)塊化地區(qū)進(jìn)行以書籍放置和存儲，減少人力資源不必要的浪費。

1 圖書管理輔助助手的總體設(shè)計方案

該機(jī)械裝置分為機(jī)械臂執(zhí)行系統(tǒng)，圖像處理系統(tǒng)以及循跡避障系統(tǒng)。

執(zhí)行部分即機(jī)械臂本體，具備4個自由度包括X軸，Y左軸，Y右軸，Z軸，分別安置4個無刷電機(jī)控制，且在末端配備了真空泵來控制吸盤去實現(xiàn)物體抓取[1]。

圖1 系統(tǒng)整體運行流程圖

圖像處理則是采用了USB智能攝像頭模組進(jìn)行圖像采集和處理，并將處理后的圖像信息傳輸?shù)綐漭?，利用攝像機(jī)獲取的信息進(jìn)行目標(biāo)定位和識別處理，再讓機(jī)械臂以一定的角度對定位的目標(biāo)進(jìn)行有效的抓取和搬運。

循跡避障主要是運用超聲波通過比較和計算距離來避障，運用保存在云端數(shù)據(jù)庫中的圖書館地圖數(shù)據(jù)在樹莓派中進(jìn)行深度學(xué)習(xí)完成自動循跡。

系統(tǒng)的具體操作如下：采用OpenCV攝像頭模塊，將其固定在機(jī)械臂末端并且連接上計算機(jī)，機(jī)械臂隨后進(jìn)行遍歷掃描，攝像頭對整個區(qū)域進(jìn)行掃描，定位目標(biāo)中心坐標(biāo)，樹莓派則將目標(biāo)待抓取位置的三維坐標(biāo)通過串口通信給Robin 3D打印主板，再由主板控制機(jī)械臂運動到指定目標(biāo)位置進(jìn)行抓取[2]。

2 圖書管理輔助助手的硬件設(shè)計

2.1 機(jī)械臂結(jié)構(gòu)搭建

機(jī)械結(jié)構(gòu)以FSL40XYZ系列的多軸絲桿直線模組為主體，機(jī)械臂末端在運動過程中則是保存水平，運用真空泵進(jìn)行對目標(biāo)抓取。實際使用過程中，使用Gcode數(shù)控編程語言對機(jī)械臂進(jìn)行協(xié)同控制。

圖2 功能結(jié)構(gòu)圖

2.2 視覺系統(tǒng)設(shè)計

視覺掃描系統(tǒng)主要使用openCV自帶的攝像頭，樹莓派組成。攝像頭機(jī)構(gòu)采用大小為45×36×30cm的openCV，采取的照片分辨率為640×480。在此環(huán)境下，規(guī)定攝像頭所取得的圖像的笛卡爾坐標(biāo)系的原點在左下角，以此向上為Y軸正方向，右為X軸正方向。

2.3 循跡避障設(shè)計

選用HC-SR04超聲波模塊，模塊自動發(fā)送 8 個 40khz 的方波，自動檢測是否有信號返回。聲波經(jīng)過障礙物反射后，被接收部位接收。通過IO口ECHO 輸出一個高電平，超聲波從發(fā)射到返回的時間相當(dāng)于高電平持續(xù)的時間，通過比較時間間隔來完成障礙比較和距離測試。

測試距離=(高電平時間×聲速(340M/S))/2。

3 圖書管理輔助助手的軟件部分

3.1 目標(biāo)識別以及定位

圖書的識別模塊采用了OpenCV攝像頭模塊，攝像頭安放在升降平臺上。OpenCV是Intel公司開發(fā)的開源計算機(jī)視覺算法庫，OpenCV擁有豐富的函數(shù)功能以及強(qiáng)大的圖像和矩陣運算能力，再加上其開源的特性，如果處理得當(dāng)，就可以不需要添加新的外部支持也能夠完整地編譯鏈接生成執(zhí)行程序，所以成為機(jī)器人實時識別算法庫的最佳選擇[3]。

基于圖書館中的圖書種類豐富，且沒有統(tǒng)一的電子識別標(biāo)準(zhǔn)，本文所研發(fā)的基于AI的圖書管理輔助機(jī)器人對于圖書的識別暫定采用指定模型的圖書。圖書模型為長16cm，寬12cm，高3cm的規(guī)則長方體。不同圖書采用不同顏色的長方體進(jìn)行代替。

通過OpenCV對不同顏色的圖書進(jìn)行識別，可以識別出不同種類的圖書信息，并將數(shù)據(jù)傳輸?shù)綐漭晌⑻幚砥髦羞M(jìn)行處理。在進(jìn)行目標(biāo)定位時，通過一系列的圖像預(yù)處理，使用圖像平滑對圖書縫隙進(jìn)行檢測，再通過直線檢測和邊緣處理識別出圖書與圖書之間的空隙位置信息，通過圖像上圖書與機(jī)械臂的距離和所要寄存書架進(jìn)行比較，再進(jìn)行計算距離，從而精確控制圖書與機(jī)械臂之間的距離，保證了圖書的準(zhǔn)確抓取。

3.2 目標(biāo)圖像數(shù)據(jù)處理

3.2.1 顏色分割算法。在對目標(biāo)圖像數(shù)據(jù)處理時，我們采用了顏色分割算法。在如今的顏色分割算法設(shè)計中，常常將灰度圖像分割法應(yīng)用在不同的顏色空間上，并且可以直接地應(yīng)用在每個顏色分量上，其結(jié)果通過一定的方式再進(jìn)行組合，就可以獲取到最后的分割結(jié)果。

使用顏色閾值二值化法對彩色的圖像進(jìn)行顏色分割。在三維直角坐標(biāo)系當(dāng)中，由一組顏色閾值上下限所包圍著的空間是一個長方體形狀,長方體內(nèi)的每個點坐標(biāo)對應(yīng)著一組顏色值。HSV或Lab顏色空間被用于描述人眼對顏色的感受，由閾值上下限形成的長方體形狀中更多地包含了目標(biāo)的顏色，而且更少地包含了其他的顏色[4]。相對于RGB顏色空間，由于在實際操作中，RGB顏色表示容易受到強(qiáng)光、弱光、陰影等因素的影響，所以選擇在HSV或者Lab顏色空間中進(jìn)行顏色分割。

因為OpenCV默認(rèn)是采用BGR顏色空間，因此讀取圖像后，先將圖像轉(zhuǎn)換為Lab或HSV顏色空間,并且使用inRange函數(shù)把圖像二值化，最后使用形態(tài)學(xué)操作去除噪聲，從而完成顏色分割。對于各種識別任務(wù),要轉(zhuǎn)換到HSV還是Lab空間還得從實驗效果中確定。

3.2.2 利用輪廓的幾何特征識別目標(biāo)。顏色分割算法會將具有特定顏色的區(qū)域篩選出來，而對于這些區(qū)域，提取區(qū)域的輪廓并分析它的幾何特征，來進(jìn)行進(jìn)一步的篩選，從而識別出目標(biāo)。輪廓檢測是基于在目標(biāo)區(qū)域邊緣上的像素灰度變化比較劇烈，通過檢測出不同區(qū)域的邊緣來解決圖像分割的問題。

采用findContours()函數(shù)提取出二值圖中的所有輪廓，然后利用相關(guān)的函數(shù)得到輪廓的幾何參數(shù)。在二值圖中，尺寸最大的區(qū)域通常來說就是所要的目標(biāo)。對于物料大小來說，由于近大遠(yuǎn)小，輪廓面積最大的通常是最近的物料。于是，利用輪廓的幾何特征就可以將目標(biāo)辨別出來。如果識別到目標(biāo),輸出的坐標(biāo)為目標(biāo)對角線交點的坐標(biāo),如果沒有識別到目標(biāo)，則輸出的坐標(biāo)就為(-1,-1)。

3.2.3 顏色復(fù)查算法。為了辨別出是否抓取到的是正確的物料，由主控制系統(tǒng)發(fā)送一條指令和物料的坐標(biāo)，讓識別系統(tǒng)檢查這個坐標(biāo)附近的顏色。采用前面識別任務(wù)的閾值作顏色分割，因此對于顏色正確的物料,二值圖中這個坐標(biāo)附近的像素點應(yīng)該為白色。實際做法是計算在給定的坐標(biāo)周圍一定區(qū)間內(nèi)，白色像素點所占有的比例，以應(yīng)對因為二值圖質(zhì)量出現(xiàn)不佳的情況。

3.3 目標(biāo)抓取以及放置

基于對目標(biāo)圖像處理，通過顏色分割算法進(jìn)行分類書本。目標(biāo)書本放置在機(jī)器人的存儲器中，通過顏色分割算法的分類，掃描之后存放在存儲器中?；诖鎯ζ鞯拇笮?，設(shè)立一個基坐標(biāo)系含有存儲器的X、Y、Z軸的信息，設(shè)立該坐標(biāo)系的軸長時以常用的厘米（cm）作為單位。通過基坐標(biāo)系的X、Y、Z軸判斷機(jī)械臂的目前所在的位置，同時基于書本所在的存儲器的基坐標(biāo)系中的四個頂點的位置坐標(biāo)，通過計算算出四個頂點的中心坐標(biāo)，該坐標(biāo)即為書本的中心坐標(biāo)，以書本的中心坐標(biāo)作為機(jī)械臂的目標(biāo)位置移動機(jī)械臂，在移動過程中實時捕獲機(jī)械臂當(dāng)前位置，利用PD算法的控制，使其更加平滑的移動至目標(biāo)位置。

基于圖書館的書本種類較多，大小不一致，則可以通過基礎(chǔ)坐標(biāo)系的X軸來確定其厚度。利用其坐標(biāo)差的算出書本的厚度，為了更加便捷的控制機(jī)械臂，計算出的書本厚度去除小數(shù)點再加上2得出機(jī)械臂張開的長度。通過PD控制打開機(jī)械臂之后，基于存儲的Y軸信息可以得出書本的長度，以此可以計算出機(jī)械臂需要移動的距離，通過PD控制移動機(jī)械臂至目標(biāo)位置，對目標(biāo)書本實施抓取操作。

基于抓取的功能，在抓取到物體時，轉(zhuǎn)換到另一個基坐標(biāo)系——書架。基于書架的整體框架的基本一致，所以對書架在框架也設(shè)立一個基坐標(biāo)系，實現(xiàn)機(jī)械臂放置的操作。鑒于書架的大小已經(jīng)超出了機(jī)械臂的工作范圍，需要移動機(jī)器人進(jìn)行工作，這就導(dǎo)致了設(shè)定在書架基坐標(biāo)系的機(jī)器整體運動更加復(fù)雜并且效率變低。為了提高效率，放置的精度提升就要加入大地坐標(biāo)系，一般情況下大地坐標(biāo)系和基坐標(biāo)系是重合的，但是可以利用大地坐標(biāo)系控制機(jī)器人的移動進(jìn)而輔助機(jī)械臂動作，實現(xiàn)放置的功能。

3.4 機(jī)械循跡避障

對于大工作區(qū)，我們可以建立一個基于大地坐標(biāo)系進(jìn)行定義的用戶坐標(biāo)系。通過把圖書館該層平面設(shè)定為機(jī)器人的工作區(qū)，同時為該工作區(qū)建立一個用戶坐標(biāo)系，設(shè)立以米（m）為單位的X、Y、Z軸的基礎(chǔ)坐標(biāo)系，對于不同書本的放置位置在用戶坐標(biāo)系中都會進(jìn)行標(biāo)記，機(jī)器人基于自己的初始坐標(biāo)，計算與目標(biāo)位置的距離和位置差算出路徑，進(jìn)行移動到達(dá)目的地。

計算與目標(biāo)位置的路徑，在用戶坐標(biāo)系中是以直線表示的。鑒于直線行走會碰到障礙物，導(dǎo)致無法到達(dá)目的地，所以在用戶坐標(biāo)系控制機(jī)器人移動的基礎(chǔ)上，給機(jī)器人加入了避障的功能，通過HC-SR04超聲波模塊持續(xù)發(fā)送40KHz的方波，通過計算高電平持續(xù)的時間完成對障礙物的檢測，而高電平持續(xù)的時間也就是機(jī)器人與障礙物之間的距離，通過計算可以得出障礙物在用戶坐標(biāo)系中的坐標(biāo)，鑒于超聲波傳感器的發(fā)送與接收為扇形的，為了接收到更加精確的障礙物信息加入CCD攝像頭輔助超聲波傳感器對障礙物進(jìn)行判斷，同時設(shè)置超聲波傳感器的檢測距離閾值，防止超聲波扇形過大，導(dǎo)致對障礙物檢測精度降低，同時防止過遠(yuǎn)距離的無關(guān)障礙物，對機(jī)器人的移動進(jìn)行干擾。

鑒于機(jī)器人完成避障操作后，會導(dǎo)致機(jī)器人偏離路徑，所以在機(jī)器人移動時，實時捕獲機(jī)器人的當(dāng)前位置，把機(jī)器人當(dāng)前的位置設(shè)定為初始位置，利用用戶坐標(biāo)系，實時更新與目標(biāo)位置的路徑。在更新移動路徑時要把檢測到的障礙物坐標(biāo)加進(jìn)去減少因障礙物與路徑的沖突，同時基于圖書館書架規(guī)整的擺放方式，可以給在用戶坐標(biāo)系中設(shè)立圈定一個圖書區(qū)的范圍，在機(jī)器人在圖書區(qū)的移動就改成在沿邊移動待移動到平行坐標(biāo)地點時在進(jìn)行縱向移動至目標(biāo)位置，有效地減少機(jī)器人在圖書區(qū)無效移動增加其工作效率。

4 結(jié)束語

隨著每季度發(fā)布新書的數(shù)量越來越多，中小學(xué)在假期要求孩子閱讀的刊物在增加，維護(hù)圖書館的工作壓力也與日俱增，圖書管理員需要經(jīng)常檢查是否有書籍放錯位置或者損壞等等情況。并且每日的讀者人流量大，導(dǎo)致的還書數(shù)目眾多，這些都會增加圖書館管理員的工作負(fù)擔(dān)。為了響應(yīng)國家的號召，研發(fā)此產(chǎn)品，產(chǎn)品本身也不需要過多的人工干預(yù)，是一款真正的智能化產(chǎn)品。