基于機(jī)器視覺技術(shù)的電梯空間超載檢測方法

郎 坤，趙 靜，邊智健

(大連海事大學(xué)航運(yùn)經(jīng)濟(jì)與管理學(xué)院，大連 116000)

在城市的高樓大廈中，升降式電梯的使用非常普遍，但是電梯的頻繁啟動和停止造成了電能不必要的浪費(fèi)和電梯運(yùn)行效率的下降[1]。傳統(tǒng)電梯超載檢測主要是通過判斷壓力傳感器獲得的載重信號來進(jìn)行檢測。但是，當(dāng)廂體空間已經(jīng)被人或物體占滿且重量未達(dá)到上限時(shí)，電梯并不會發(fā)出警報(bào)，由此會增加電梯的無效停靠次數(shù)并為乘客增加不必要的候梯時(shí)間[2]。因此，研究一種改進(jìn)的超載檢測方法，以減少電機(jī)啟停次數(shù)，對于提高電梯運(yùn)行效率以及減少能耗具有積極的意義。

眾所周知，攝像頭是目前電梯轎廂內(nèi)的必備設(shè)備，無需額外引入其他傳感器即可輕松獲取轎廂內(nèi)的監(jiān)控視頻圖像[3]。利用機(jī)器視覺技術(shù)，通過獲取電梯轎廂內(nèi)的人數(shù)[4]，從而判斷電梯空間是否超載，是較為常見的方法。金曉磊等[3]采用改進(jìn)的隨機(jī)Hough變換檢測圓算法對電梯轎廂內(nèi)人數(shù)進(jìn)行檢測。靳海燕等[5]采用運(yùn)動圖像判斷每個(gè)乘客運(yùn)動方向，從而確定電梯乘客的進(jìn)出人數(shù)，計(jì)算出當(dāng)前轎廂內(nèi)的乘客數(shù)。曹偉東等[6]對處理后的圖像進(jìn)行人頭特征的擬合，從而對人員進(jìn)行計(jì)數(shù)。但以上方法僅根據(jù)人數(shù)來判斷電梯是否超載，無法識別由物體引起的空間超載的情況。

針對電梯空間超載情況的判斷，學(xué)者們展開了進(jìn)一步的研究，提出采用紅外線、機(jī)器視覺技術(shù)對電梯轎廂內(nèi)人或物體的體積進(jìn)行測量，從而判斷電梯空間是否超載[7-8]。張雷等[7]采用在電梯空間內(nèi)建立紅外點(diǎn)陣的方法，對電梯空間占有率進(jìn)行測量。譚飛剛等[8]采用將至少兩臺攝像機(jī)在同一時(shí)間拍攝得到的圖像進(jìn)行圖像融合的方法，通過對圖像進(jìn)行處理計(jì)算出電梯轎廂的空間占有率。這類直接根據(jù)電梯內(nèi)人或物體的體積與電梯空間體積的占比來判斷空間是否超載的方法，存在一定的局限性。例如，針對一些實(shí)際體積較小但占地面積較大的物體，使用這種方法來判斷電梯是否能繼續(xù)容納人或物體時(shí)，會產(chǎn)生較大偏差。因此，判斷電梯空間是否真正滿載(即能否再容納一個(gè)人或物體)的依據(jù)是轎廂內(nèi)人或物體的垂直投影面積與轎廂的地面面積之比是否達(dá)到滿載閾值。

基于已有的研究成果，同時(shí)考慮重量和空間占有率兩個(gè)因素，提出了一種空間超載檢測方法，既保證電梯的安全性[9]，又可以提高電梯的運(yùn)行效率。首先將一個(gè)攝像頭固定在電梯轎廂頂部中央位置以獲取原始圖像，將預(yù)處理后的圖像進(jìn)行前背景分離，得到二值圖像，然后利用改良的形態(tài)學(xué)方法處理圖像，最后計(jì)算得出空間占有率，以期能準(zhǔn)確判斷電梯空間是否超載，有效提高電梯運(yùn)行效率，且成本低、安裝方便。

1 新型電梯超載檢測方法設(shè)計(jì)

在傳統(tǒng)超載檢測方法的基礎(chǔ)上，設(shè)計(jì)了一種電梯超載檢測方法——基于機(jī)器視覺技術(shù)的電梯空間超載檢測方法。其基本原理如下：當(dāng)乘客進(jìn)入電梯后，首先利用重力超載檢測方法，借助電梯的壓力傳感器檢測重量是否超載。若重量超載，電梯轎廂內(nèi)的報(bào)警系統(tǒng)啟動；若重量未超載，則電梯轎廂門關(guān)閉，同時(shí)判斷重量是否達(dá)到上限。若重量已達(dá)上限，則下一目標(biāo)樓層不?？?；若重量未達(dá)上限，則利用空間超載檢測方法測量空間占有率是否超過電梯空間滿載值，若超過空間滿載值，則下一目標(biāo)樓層不停靠；否則，電梯照常?？俊＞唧w流程如圖1所示。

本文方法將通過對每次電梯轎廂門關(guān)閉后某一時(shí)刻的圖像進(jìn)行圖像處理，然后計(jì)算出人或物體的垂直投影面積與整個(gè)電梯轎廂的地面面積之比作為電梯轎廂內(nèi)空間占有率。

2 圖像處理

新型空間超載檢測方法是基于機(jī)器視覺技術(shù)的，因此，圖像處理至關(guān)重要。

電梯空間圖像處理可分為以下5步：第1步，圖像采集。采用CCD相機(jī)采集電梯轎廂圖像數(shù)據(jù),相機(jī)安裝位置如圖2所示；第2步，圖像預(yù)處理。通過對圖像進(jìn)行預(yù)處理減弱噪聲干擾對圖像的影響，提高圖片質(zhì)量；第3步，背景建模。采用最大類間方差法(又稱OTSU算法)[10]將圖像前景與背景分離，用于提取目標(biāo)的面積特征；第4步，形態(tài)學(xué)處理[11]。由于所提取的目標(biāo)圖像存在圖像污染，因此通過進(jìn)行形態(tài)學(xué)處理消除背景中由于環(huán)境因素影響導(dǎo)致的噪聲，并且填充前景中由于物體表面材質(zhì)造成的空洞，在不改變圖像形態(tài)的前提下，去除干擾面積統(tǒng)計(jì)的因素；第5步，超載檢測。計(jì)算圖像中前景面積占比，得到空間占有率，可為電梯空間超載的判斷提供依據(jù)。

圖1 新型電梯超載檢測流程圖Fig.1 Flow chart of new elevator overload detection

圖2 相機(jī)安裝位置示意圖Fig.2 Schematic diagram of camera installation location

2.1 中值濾波

使用相機(jī)采集原始圖像時(shí)，由于受到工作環(huán)境和感光元件過熱的影響，會導(dǎo)致圖像具有大量噪聲。噪聲的存在會使圖像質(zhì)量降低、特征模糊，影響圖像分析結(jié)果。因此需要對原始圖像進(jìn)行預(yù)處理，消除圖像噪聲。常用的去噪方法有線性濾波法(如均值濾波、高斯濾波等)和非線性濾波法(如中值濾波、雙邊濾波等)。

電梯轎廂中內(nèi)部的相機(jī)端和外部的控制端接地時(shí)，由于地電阻和電纜外皮電阻的存在，兩者之間會產(chǎn)生電位差，使得電梯內(nèi)采集的圖像產(chǎn)生椒鹽噪聲[12-13]。線性濾波在處理像素鄰域內(nèi)包含噪聲的圖像問題時(shí)，總會或多或少的受到噪聲的干擾，從而影響該點(diǎn)像素值的計(jì)算，但在中值濾波中，噪聲點(diǎn)的值則通常被該點(diǎn)的鄰域中各點(diǎn)值的中值代替，因此能有效降低噪聲點(diǎn)的影響，特別是對椒鹽噪聲具有良好的過濾作用[14-15]。而且同線性濾波相比，中值濾波在降噪的同時(shí)，能夠保護(hù)信號的邊緣，引起模糊效應(yīng)降低[16]。中值濾波是在“最小絕對誤差”準(zhǔn)則下的最優(yōu)濾波。因此，采用中值濾波方法對圖像進(jìn)行預(yù)處理。

中值濾波的原理是將圖像中每個(gè)點(diǎn)及其八鄰域內(nèi)的像素點(diǎn)作為一個(gè)滑動窗口(圖3)，對3×3窗口內(nèi)各個(gè)像素點(diǎn)進(jìn)行排序，然后將中值賦值給窗口中心點(diǎn)，可達(dá)到去除孤立噪聲點(diǎn)的效果。中值濾波算法的描述如圖4所示。

圖3 中值濾波滑動窗口示意圖Fig.3 Schematic diagram of median filter sliding window

圖4 中值濾波算法實(shí)現(xiàn)流程圖Fig.4 Flow chart of median filter algorithm

2.2 背景建模

為了準(zhǔn)確提取轎廂內(nèi)目標(biāo)的面積特征，采用OTSU算法對圖片進(jìn)行前背景分離。前背景分離的常用方法是閾值分割法，其中對閾值的選取尤為關(guān)鍵。一般閾值分割法是通過求目標(biāo)函數(shù)的最大值來確定閾值[17]。然而，電梯轎廂內(nèi)環(huán)境復(fù)雜，采用上述方法確定閾值缺乏自適應(yīng)性，會產(chǎn)生噪聲干擾和過分割現(xiàn)象，而OTSU算法是一種自適應(yīng)閾值確定的方法，自適應(yīng)閾值的選取不會影響目標(biāo)的完整性，且對環(huán)境噪聲的敏感度低。

OTSU算法是以最小二乘法為基礎(chǔ)推導(dǎo)而來[18]，該方法通過設(shè)置圖像灰度閾值，逐個(gè)判斷圖像中像素點(diǎn)的特征屬性能否滿足閾值要求，據(jù)此將各像素點(diǎn)劃分至前景區(qū)域或背景區(qū)域，進(jìn)而生成二值圖像。在分割過程中，若將圖像像素點(diǎn)錯(cuò)分成前景區(qū)域或背景區(qū)域都會導(dǎo)致圖像中兩部分的差別減小。只有當(dāng)選擇最大類間方差作為閾值時(shí)，分割后所產(chǎn)生的錯(cuò)分概率最小，此閾值即為最佳閾值。OTSU算法描述如圖5所示。

圖5 OTSU算法實(shí)現(xiàn)流程圖Fig.5 OTSU algorithm implementation flow chart

2.3 改良形態(tài)學(xué)處理

經(jīng)過閾值分割后提取的二值圖像，存在部分噪聲，會對后續(xù)的檢測造成不良影響。這些噪聲的來源有兩種：一是背景區(qū)域中由陰影生成的小連通區(qū)域，二是前景區(qū)域中由物體表面材質(zhì)的顏色等因素導(dǎo)致圖像閾值分割后產(chǎn)生的空洞。中值濾波等方法主要用于處理灰度圖或彩色圖像的噪聲，對于二值圖像的噪聲，主要采用形態(tài)學(xué)方法進(jìn)行處理。

傳統(tǒng)的形態(tài)學(xué)方法是基于集合代數(shù)理論，采用膨脹、腐蝕、開啟、閉合4種基本運(yùn)算的組合來處理圖像，提取出圖像的形狀特征。

然而，采用傳統(tǒng)的形態(tài)學(xué)方法對二值圖像進(jìn)行噪聲處理的結(jié)果并不理想。如圖6所示，該方法對于小噪聲的處理效果較好，而對于大噪聲(如大塊的連通區(qū)域和空洞)處理效果不佳，會導(dǎo)致統(tǒng)計(jì)結(jié)果出現(xiàn)偏差。此外，針對受噪聲影響程度不同的圖片，需要對其進(jìn)行不同次數(shù)的腐蝕、膨脹操作，并且操作順序也存在差別，這將增加系統(tǒng)操作的復(fù)雜度。

圖6 傳統(tǒng)形態(tài)學(xué)處理效果圖Fig.6 Effect picture of traditional morphological processing

因此，采用改良的形態(tài)學(xué)方法來處理二值圖像中的噪聲。針對兩類圖像噪聲，其處理過程分為兩個(gè)部分：去除小連通區(qū)域和填充局部空洞。

2.3.1 去除小連通區(qū)域

利用連通區(qū)域標(biāo)記[19]的基本思想去除二值圖像中的小連通區(qū)域。對于連通區(qū)域的判斷，有兩種方法：四鄰域連通和八鄰域連通。

在本文場景中，采用四鄰域連通可更加準(zhǔn)確地判斷連通區(qū)域，有利于準(zhǔn)確地計(jì)算出空間占有率。如圖7所示，四鄰域連通判斷是對中心點(diǎn)上、下、左、右4個(gè)緊鄰的位置進(jìn)行判斷，如果這4個(gè)位置上的點(diǎn)的像素值同中心點(diǎn)的像素值一致，則認(rèn)為該點(diǎn)與中心點(diǎn)相連通，否則，認(rèn)為該中心點(diǎn)是孤立點(diǎn)。

在二值圖像的噪聲處理中，首先，采用四鄰域連通法搜尋出所有連通區(qū)域，然后，判斷連通區(qū)域的大小，對于小的連通區(qū)域，可直接刪除。

在該方法的具體實(shí)現(xiàn)過程中，為圖像的每個(gè)像素點(diǎn)分配一個(gè)檢驗(yàn)狀態(tài)標(biāo)簽，其中，數(shù)字0、1、2、3分8別代表未檢查狀態(tài)、正在檢查狀態(tài)、檢查不合格(需要反轉(zhuǎn)顏色)狀態(tài)、檢查合格或不需檢查狀態(tài)。首先，將輸入的二值圖像每個(gè)像素點(diǎn)的檢驗(yàn)狀態(tài)初始化為0。然后遍歷圖像所有的像素點(diǎn)，將鄰域壓入容器進(jìn)行檢查，并不斷更新鄰域點(diǎn)的檢查標(biāo)簽，避免重復(fù)檢查。最后判斷連通區(qū)域大小，并反轉(zhuǎn)面積較小的連通區(qū)域。

圖7 四鄰域示意圖Fig.7 Schematic diagram of the four-neighborhood

采用這種方法可有效去除背景中由小連通區(qū)域產(chǎn)生的噪聲，而不會影響到圖像中的其他區(qū)域。

2.3.2 填充局部空洞

由于前景區(qū)域內(nèi)局部空洞的大小是難以預(yù)知的，因此，其不能作為小連通區(qū)域被去除。考慮到填充局部空洞的最終目的是填充圖像中的閉合區(qū)域，所以從整體的角度出發(fā)，先獲取二值圖像中最外層輪廓再進(jìn)行區(qū)域填充，從而消除局部空洞。

試驗(yàn)采用Suzuki85算法來檢索圖像的最外層輪廓[20]。輸入的二值圖像為0-1圖像，假定圖像背景像素點(diǎn)的值為0，從上至下、從左至右對圖像進(jìn)行掃描，用點(diǎn)(i,j)表示位于第i行第j列的像素點(diǎn)，當(dāng)且僅當(dāng)滿足如下條件(1)或條件(2)時(shí)，位于值為0的像素點(diǎn)右側(cè)的點(diǎn)(i,j)即可判定為最外層的邊界點(diǎn)。

(1)點(diǎn)(i,j)左側(cè)的所有像素點(diǎn)的值都為0。

(2)在掃描過程中最新遇到的輪廓點(diǎn)(i,h)位于外邊界上，點(diǎn)(i,h+1)屬于背景。

待輪廓的邊界起始點(diǎn)被確定后，跟蹤以起始點(diǎn)為中心的八鄰域區(qū)域，如圖8所示，從中心點(diǎn)右側(cè)開始標(biāo)記，按照順時(shí)針方向標(biāo)號0～7。從標(biāo)號0開始檢測各像素點(diǎn)的值是否為非0，將最先出現(xiàn)的非0像素點(diǎn)判定為邊界點(diǎn)，并以該點(diǎn)為中心點(diǎn)，采用同樣的方法繼續(xù)檢測各像素點(diǎn)，直至新的中心點(diǎn)和起始點(diǎn)相重合，即可終止本條輪廓線的跟蹤。最后以最外層輪廓線為邊界，進(jìn)行區(qū)域填充。該方法可以簡便高效地實(shí)現(xiàn)對局部空洞的消除。

圖8 八鄰域標(biāo)記示意圖Fig.8 Schematic diagram of the eight-neighborhood

2.4 圖像處理實(shí)驗(yàn)

基于VC++14.0開發(fā)平臺和計(jì)算機(jī)視覺庫OpenCV對所提圖像處理算法進(jìn)行仿真試驗(yàn)，并通過模擬電梯環(huán)境進(jìn)行算法效果檢驗(yàn)。

首先，利用中值濾波算法對圖像做去噪處理。圖9(a)為含有椒鹽噪聲的原始圖像，經(jīng)過中值濾波算法處理后，得到圖9(b)。通過對比，可見，中值濾波法具有理想的降噪能力。

1995年，民政部確定了第一批國家級愛國主義教育基地。遴選、確定國家級愛國主義教育基地的依據(jù)主要有三條：（1）能反映中華民族悠久的歷史文化；（2）能反映近代中國遭受帝國主義侵略和我國人民反抗侵略英勇斗爭的歷史；（3）能反映中國人民在中國共產(chǎn)黨領(lǐng)導(dǎo)下進(jìn)行革命的歷程和社會主義現(xiàn)代化建設(shè)取得的偉大成就。愛國主義教育基地“真實(shí)記錄了中華民族悠久的歷史文化，展現(xiàn)了近代中國人民英勇奮斗的壯麗篇章，反映了中國共產(chǎn)黨人的豐功偉業(yè)和社會主義現(xiàn)代化建設(shè)的豐碩成果”[3]。愛國主義教育基地承載的這些教育主題內(nèi)容與“綱要”課程的主題內(nèi)容高度一致。

圖9 算法處理后的效果Fig.9 Effect after algorithm processing

然后，采用OTSU算法進(jìn)行圖像前背景分離，對提取的前景目標(biāo)圖像進(jìn)行形態(tài)學(xué)處理，填充空洞，去除離散點(diǎn)，結(jié)果如圖10所示。通過對比圖10(d)與圖10(e)，可明顯看出，采用改良的形態(tài)學(xué)方法處理后的圖像可被有效填充空洞和去除離散點(diǎn)，并且不影響圖像整體效果。

最后，通過計(jì)算前景圖像面積與整體圖像的面積之比得到空間占有率，根據(jù)電梯的空間滿載閾值，判斷電梯是否超載。

試驗(yàn)測得的空間占有率結(jié)果如表1所示，即此時(shí)電梯空間的占有率為35.939 9%。若采用傳統(tǒng)的形態(tài)學(xué)方法處理圖像，圖像則無法被有效地填充空洞并去除離散點(diǎn)，從而會導(dǎo)致計(jì)算所得空間占有率有偏差，進(jìn)而會影響在電梯實(shí)際運(yùn)行中對空間超載狀態(tài)的判斷。

圖10 實(shí)測結(jié)果Fig.10 Measured results

表1 空間占有率計(jì)算結(jié)果Table 1 Calculation results of space occupancy

3 仿真試驗(yàn)

3.1 實(shí)例背景

選取湖北宜昌某賓館的乘客電梯A作為試驗(yàn)對象，通過仿真試驗(yàn)對電梯的運(yùn)行效率進(jìn)行分析。

乘客電梯A的型號為TKJW1000-VVVF，電梯參數(shù)設(shè)置如表2所示。賓館共6層(n=6)，每層高4 m，則電梯在相鄰樓層勻速運(yùn)行所需時(shí)間為2 s；電梯加速度為1 m/s2，則若電梯?？考铀?或減速)時(shí)間為2 s，加速(或減速)過程中運(yùn)行2 m。

表2 湖北宜昌某賓館乘客電梯A的參數(shù)設(shè)置Table 2 Parameter setting of passenger elevator A in a hotel in Yichang,Hubei Province

3.2 模擬試驗(yàn)

針對電梯A的運(yùn)行情況進(jìn)行仿真試驗(yàn)，假設(shè)條件如下：

(1)在第2、3、4、5層各有等候乘坐電梯且攜帶行李的4名賓館乘客，其目標(biāo)樓層均為第1層。

(2)在第6層有兩位推著清潔車的賓館保潔人員，其進(jìn)入電梯后，重量未達(dá)到上限，但電梯不再有空余空間搭載乘客。

(3)假設(shè)每位乘客的體重相等，均為75 kg，行李重量相等均為10 kg且占有一定空間。則按照電梯載重限制，理論上一次最多只能搭載15名攜帶行李的乘客。

(4)由于電梯空間有限，一次最多只能搭載8名攜帶行李的乘客。

(5)假設(shè)每位乘客進(jìn)入(離開)電梯所需的時(shí)間為2 s，賓館保潔人員推車進(jìn)入(離開)電梯所需的時(shí)間為6 s。

(6)電梯轎廂初始位置?？吭诘?層。

根據(jù)以上假設(shè)，借助C++圖形用戶界面開發(fā)框架Qt，編程實(shí)現(xiàn)電梯仿真模型，模擬實(shí)際電梯運(yùn)行情況。為簡化模型，在仿真試驗(yàn)中，僅計(jì)算電梯A搭載乘客向下運(yùn)行的時(shí)間，不計(jì)其上行時(shí)間。仿真結(jié)果如下。

(1)若電梯A運(yùn)行時(shí)采用傳統(tǒng)超載檢測方法，A的運(yùn)行情況及運(yùn)行效率分別如表3、表4所示。

(2)若電梯A運(yùn)行時(shí)采用基于機(jī)器視覺的超載檢測方法，A的運(yùn)行情況及運(yùn)行效率分別如表5、表6所示。

表3 采用傳統(tǒng)超載檢測方法的電梯A運(yùn)行情況Table 3 The operation of elevator A with traditional overload detection method

表4 采用傳統(tǒng)超載檢測方法的電梯A運(yùn)行效率Table 4 The operation efficiency of elevator A with traditional overload detection method

表5 采用基于機(jī)器視覺的超載檢測方法電梯運(yùn)行情況Table 5 Operation of the elevator with the overload detection method based on machine vision

表6 采用基于機(jī)器視覺的超載檢測方法電梯運(yùn)行效率Table 6 Operation efficiency of the elevator with the overload detection method based on machine vision

仿真結(jié)果表明，在電梯運(yùn)行趟數(shù)相同的情況下，采用傳統(tǒng)超載檢測方法的電梯?？靠偞螖?shù)為14次，一共需要216 s。采用基于機(jī)器視覺的超載檢測方法的電梯停靠總次數(shù)減少到8次，共需要168 s，時(shí)間效率可提升22.2%。

由此可見，在完成相同工作量的前提下，考慮到空間超載對電梯運(yùn)行效率的影響，采用基于機(jī)器視覺的超載檢測方法，可減少不必要的電梯停靠次數(shù)，不僅可以提高電梯運(yùn)行效率，還可節(jié)省乘客乘梯時(shí)間，提高其乘梯滿意度。

4 結(jié)論

為提高電梯運(yùn)行效率、節(jié)省能源，考慮到空間超載對電梯運(yùn)行效率的影響，在傳統(tǒng)超載檢測方法的基礎(chǔ)上，提出了基于機(jī)器視覺技術(shù)的新型電梯空間檢測方法。試驗(yàn)采用圖像處理技術(shù)，包括中值濾波、背景建模、改良的形態(tài)學(xué)處理等，計(jì)算出電梯轎廂內(nèi)乘客和物體垂直投影面的面積占電梯轎廂地面面積的占比，判斷其是否超過閾值，從而判斷其空間是否超載。通過采用改良的形態(tài)學(xué)處理方法，可減少傳統(tǒng)形態(tài)學(xué)處理所引起的誤差，消除機(jī)器視覺中光照以及環(huán)境背景對圖像處理結(jié)果的影響，使測出的空間占有率更加準(zhǔn)確。仿真試驗(yàn)結(jié)果表明，采用基于機(jī)器視覺的超載檢測方法，可減少不必要的電梯停靠次數(shù)，提升時(shí)間效率。

試驗(yàn)方法不僅適用于客梯，還適用于貨梯、病房電梯等特殊電梯，其可提高電梯運(yùn)行效率、節(jié)約能源，并可提升乘客的滿意度，具有廣闊的應(yīng)用前景。