工業(yè)相機過曝光自適應(yīng)優(yōu)化控制算法

吳文麟，廖曉波，*，李俊忠，周軍，莊健

（1.西南科技大學(xué) 制造學(xué)院，制造過程測試技術(shù)教育部重點實驗室，四川 綿陽 621010；2.西安交通大學(xué) 機械工程學(xué)院，陜西 西安 710049）

1 引言

隨著制造業(yè)的不斷發(fā)展，工業(yè)視覺系統(tǒng)的應(yīng)用越來越廣泛。例如，在高精密激光加工時常需要對加工工件進行動態(tài)的觀測，以便更好地調(diào)整加工參數(shù)和確定工件加工質(zhì)量［1］。但類如激光加工等工業(yè)場景具有亮度高且突變性強的特點，工業(yè)相機往往無法在這種環(huán)境中清晰成像，獲得較好的觀測數(shù)據(jù)。目前在工業(yè)環(huán)境中工業(yè)相機常用的曝光方法分為基于硬件的自動曝光方法和基于圖像的自適應(yīng)曝光算法。基于相機硬件的自動曝光算法通過感光元件和硬件電路的配合設(shè)計在一定程度上可以解決成像問題［2］，但是受限于調(diào)節(jié)所涉硬件的調(diào)節(jié)范圍，環(huán)境亮度一旦超過調(diào)節(jié)范圍即失去調(diào)節(jié)能力，無法完全適應(yīng)高亮突變環(huán)境?；趫D像的自適應(yīng)曝光算法主要包括全局和局部的亮度均值算法、直方圖算法、圖像信息熵算法和深度學(xué)習(xí)算法等［3］。李文濤等人［4］提出一種圖像直方圖與相機曝光時間相結(jié)合的方法進行過度曝光自適應(yīng)調(diào)節(jié)，但其對全圖進行直方圖估計，運算速度較慢，且線性調(diào)節(jié)方式具有較大的局限性。汪錦航等人［5］通過坐標(biāo)映射關(guān)系自適應(yīng)調(diào)整圖案亮度，從而解決亮度過大或亮度不足的問題，但是這種方法無法處理區(qū)域性亮度不足，適應(yīng)性較低。Kataoka 等人［6］利用最大化全圖熵的方法確定曝光時間，對圖像中明暗較為突出的區(qū)域采用分塊的方法估計區(qū)域圖像熵，從而抑制高光溢出和陰影遮擋的影響。這種方法雖然針對全圖進行模塊化自適應(yīng)，但是圖像熵的計算量較大，分塊計算后的調(diào)節(jié)時間較慢。Que 等人［7］提出一種多重曝光融合方法，將全局和局部亮度分量通過權(quán)重聯(lián)合起來，同時利用一種多尺度邊緣保持平滑模型對多重曝光的圖像進行融合擬合，實現(xiàn)了較大范圍的自適應(yīng)曝光。但是這種方法存在擬合誤差，且成像需多幅圖像，有效目標(biāo)成像速度較慢。

針對上述問題，本文提出了一種改進的工業(yè)相機曝光自適應(yīng)控制方法。算法實時計算預(yù)設(shè)區(qū)域的平均加權(quán)灰度值，通過反饋調(diào)節(jié)方法計算曝光值，并將其作為當(dāng)前曝光值控制相機曝光時長，同時利用基于改進“S”曲線的參數(shù)控制優(yōu)化方法，對反饋調(diào)節(jié)方法內(nèi)部參數(shù)進行優(yōu)化控制，由上過程不斷迭代直至達到預(yù)設(shè)的理想清晰化曝光水平。

2 區(qū)域加權(quán)平均灰度值計算方法

傳統(tǒng)圖像的環(huán)境亮度采集和評估指標(biāo)有平均灰度和圖像亮度直方圖等方法［8］?？紤]到圖像亮度直方圖需要對全圖亮度進行統(tǒng)計并全排列，涉及到的變量較多，計算量較大，計算速度較慢［9］。本文從時效性出發(fā)，選擇了使用平均灰度作為采集和環(huán)境亮度評價指標(biāo)，設(shè)計了一種區(qū)域平均灰度加權(quán)算法。

圖1 區(qū)域劃分示意圖Fig.1 Area division

由相機成像的特征可知，高亮目標(biāo)往往在發(fā)光中心區(qū)域的亮度最高，亮度跟隨距離依次衰減。結(jié)合工業(yè)相機中心對焦的特性，越靠近中心區(qū)域的像素值對整體算法的計算影響越大。因此本文算法將整體圖像劃分為6 個區(qū)域，即主級區(qū)域（圖1 中藍色區(qū)域a）、4 個次級區(qū)域（圖1 中紅色區(qū)域b，c，d，e）和其他區(qū)域（圖1 中白色區(qū)域f）。算法進行計算時只選擇主級區(qū)域a 和次級區(qū)域b，c，d，e 進行灰度計算，其他區(qū)域不參與計算，由此設(shè)計可拋棄無效運算，提高計算速度（彩圖見期刊電子版）。

根據(jù)計算區(qū)域設(shè)置方式，圖像的平均區(qū)域灰度加權(quán)值見式（1）：

其中：pz為圖像區(qū)域平均灰度加權(quán)值；Pa為主級區(qū)域總灰度值；Pb，Pc，Pd，Pe為次級區(qū)域總灰度值；Sa，Sb為主級區(qū)域和次級區(qū)域像素面積；μ1為主級區(qū)域的權(quán)重值；μ2為次級區(qū)域的權(quán)重值。

為了更好地突出中心區(qū)域在計算中的權(quán)重，結(jié)合上述區(qū)域關(guān)系，設(shè)計權(quán)重μ1=0.6，μ2=0.1，設(shè)計中心區(qū)域邊長與四周區(qū)域的邊長比例4∶1，即Sa∶Sb=16∶1。

3 改進“S”曲線的參數(shù)控制優(yōu)化方法

傳統(tǒng)的反饋控制調(diào)節(jié)方法因其整定簡便，結(jié)構(gòu)靈活，在控制領(lǐng)域的應(yīng)用極為廣泛，其中較為突出的就是PID（Propotion Integration Differentiation）控制方法。其方法通過比例、積分、微分環(huán)節(jié)對目標(biāo)實現(xiàn)反饋控制，在參數(shù)不變的情況下可達到較高的調(diào)節(jié)精度［10］。但是在非線性且時變性較強的環(huán)境中，固定參數(shù)的PID 反饋調(diào)節(jié)方法存在一定的局限性［11］。針對可變環(huán)境，為了提高PID 控制算法的魯棒性，目前較為常用的為模糊PID 反饋調(diào)節(jié)算法，其利用專家經(jīng)驗制定控制規(guī)則，通過模糊化的參數(shù)整定和解模糊算法對PID參數(shù)進行控制［12］。但是受限于整定方式和模糊控制規(guī)則，時常出現(xiàn)“模糊規(guī)則爆炸”等情況［13］。本文提出一種基于區(qū)域化誤差閾值的自適應(yīng)反饋參數(shù)調(diào)節(jié)方法，通過誤差整定、調(diào)節(jié)系數(shù)計算和實時調(diào)節(jié)的方法對反饋調(diào)節(jié)中的PID 內(nèi)部參數(shù)進行控制，極大地降低了超調(diào)出現(xiàn)的可能性，且適應(yīng)性較強。

本文提出的反饋參數(shù)調(diào)節(jié)方法的輸入?yún)?shù)為反饋調(diào)節(jié)的計算值與設(shè)定理論值的誤差E，通過如式（2）進行歸一化運算：

中國人民銀行南京分行營業(yè)管理部課題組則完成了對金融支持PPP模式的路徑與投資策略的研究。該課題組首先總結(jié)了我國PPP項目的基本情況，在借鑒國際經(jīng)驗的基礎(chǔ)上，以南京地區(qū)為例分析金融支持PPP模式的意愿、路徑及制約因素，采用凈現(xiàn)值法構(gòu)造了項目價值模型，對金融支持PPP模式的投資策略進行了研究并提出政策建議［9］。

將誤差E帶入公式計算得到當(dāng)前反饋參數(shù)計算情況下的歸一化系數(shù)θ，如式（3）所示：

歸一化系數(shù)θ用于參數(shù)控制的區(qū)域化閾值評價體系，如圖2 所示。

圖2 區(qū)域化閾值評價體系示意圖Fig.2 Regionalized threshold evaluation system

其中區(qū)域依據(jù)自主設(shè)定的E1，E2，E3劃分區(qū)域控制參數(shù)死區(qū)、I 調(diào)節(jié)區(qū)、D 調(diào)節(jié)區(qū)和P 調(diào)節(jié)區(qū)?？刂茀?shù)死區(qū)范圍即參數(shù)優(yōu)化完成區(qū)域，P 區(qū)、D區(qū)、I 區(qū)分別為對應(yīng)反饋調(diào)節(jié)參數(shù)的調(diào)節(jié)區(qū)域。由于改進后的“S”曲線在E=0 處的斜率最大，且在E=0 附近可近似看作線性函數(shù)，考慮調(diào)節(jié)的速度和穩(wěn)定性，設(shè)定E3=2E2，E1為零點附近值，根據(jù)經(jīng)驗設(shè)定E1∈[0.05，0.1]。當(dāng)計算誤差落入相應(yīng)區(qū)域時，算法通過歸一化系數(shù)θ計算得到用于參數(shù)調(diào)節(jié)的參數(shù)控制系數(shù)φ，其計算公式如公式（4）所示：

若為P 區(qū)范圍，如式（5）：

此時反饋調(diào)節(jié)中的參數(shù)D、參數(shù)I為0。

若為D 區(qū)范圍，如式（6）所示：

若為I 區(qū)范圍，則調(diào)整反饋調(diào)節(jié)中的參數(shù)I為e-15，其他參數(shù)不變。

計算得到的參數(shù)控制系數(shù)φ通過如公式（7）所示計算得到調(diào)整后的參數(shù)值。

計算后的參數(shù)作為下一次反饋調(diào)節(jié)參數(shù)參與調(diào)節(jié)。由上過程往復(fù)進行，直至歸一化系數(shù)θ位于死區(qū)范圍，即認定其參數(shù)自適應(yīng)完成，停止參數(shù)調(diào)整。

4 成像評價與實驗測試

4.1 成像評價標(biāo)準(zhǔn)

目前常用的圖像質(zhì)量評價方法有最小可分辨率對比度、調(diào)制傳遞函數(shù)、對比度信噪比等方法［14］。為了更好地評價本文所述算法的性能與可行性，本文采用Laplacian 清晰度標(biāo)準(zhǔn)作為評價標(biāo)準(zhǔn)。本文選擇了Laplacian 梯度函數(shù)作為本文圖像評價算法的主要計算函數(shù)。Laplacian 梯度函數(shù)基于Laplacian 算子，計算X和Y方向上的梯度值，之后進行累加計算，見式（8）和式（9）：

其中：DLap（f） 為圖像（x，y）點的Laplacian 值，G（x，y）為圖像X，Y方向梯度權(quán)值。

利用Laplacian 算子計算后得到原圖像的Laplacian 轉(zhuǎn)換圖像，此時圖像像素值即為經(jīng)過計算后的Laplacian 值。根據(jù)所得到的Laplacian 轉(zhuǎn)換圖像計算其標(biāo)準(zhǔn)差值，并利用該標(biāo)準(zhǔn)差值對曝光調(diào)節(jié)的質(zhì)量進行評價，標(biāo)準(zhǔn)差值越大進而說明圖像像素值分布分散，圖像質(zhì)量越高。圖像的標(biāo)準(zhǔn)差即距離圖像均差平方的算術(shù)平均數(shù)的算術(shù)平方根，可以反映圖像像素值與圖像像素均值的離散程度，進一步反映了圖像的成像質(zhì)量［15-17］。經(jīng)過Laplacian 轉(zhuǎn)換后的圖像梯度明顯，使用標(biāo)準(zhǔn)差可有效反映圖像的清晰程度和有效信息量，有利于對成像后的圖像質(zhì)量進行評估。

4.2 實驗平臺搭建

本文所述算法運算平臺使用移動版PC，處理器為Intel I8-8750H，顯卡為NVIDIA GeForce 1050，內(nèi)存為16 GB。圖像采樣設(shè)備使用海康工業(yè)相機MV-CA020-10UC 搭配?？低昅VLHF0804M-10MP 定焦鏡頭。?？倒I(yè)相機MVCA020-10UC 為200 萬像素的CMOS 工業(yè)面陣相機，兼容USB3 Vision 協(xié)議。圖像采集對象為可調(diào)節(jié)100 W 白熾燈，并使用工業(yè)圖像采集臺（如圖3 所示）進行相關(guān)實驗。亮度測量設(shè)備采用希瑪AS803 亮度檢測儀。在軟件方面，本文所述算法基于C++開發(fā)，使用?？倒I(yè)相機SDK 進行相機硬件調(diào)用與控制，使用OpenCV（版本4.5.1）開源視覺軟件庫進行圖像處理。

圖3 本文算法實驗平臺示意圖Fig.3 Experimental platform for algorithms

4.3 實驗測試數(shù)據(jù)

為驗證算法有效性，本文以可調(diào)為對象使用實驗平臺設(shè)計實驗，獲得實際環(huán)境中的曝光值控制曲線，并對其進行分析。同時，本文設(shè)置了對比實驗。使用工業(yè)相機硬件自動曝光算法、圖像直方圖法作為對比實驗方法進行實驗。通過不同方法計算數(shù)值分別調(diào)節(jié)曝光值，計算每幀圖像的Laplacian 轉(zhuǎn)換圖像的標(biāo)準(zhǔn)差值，之后與本文所述算法進行對比，得出結(jié)論。

4.3.1 基于本文算法的曝光控制實驗

為了驗證算法的曝光控制性能，本文設(shè)置了實際環(huán)境下的曝光控制實驗，以可調(diào)節(jié)亮度的白熾燈作為實驗的高亮發(fā)光對象，并通過設(shè)定區(qū)域平均加權(quán)灰度值pz的上下閾值控制整體調(diào)節(jié)算法是否介入。針對圖像過曝，在實驗設(shè)置的初始曝光為8 000，設(shè)定的pz上閾值為115 pix，下閾值為 25 pix，調(diào)節(jié)區(qū)劃分E1=0.1，E2=10，E3=20。在實驗中白熾燈亮度逐漸增大，直至最高亮度，采集計算曝光值，獲得曝光控制響應(yīng)曲線，如圖4 所示。之后以相同的參數(shù)設(shè)定進行5 次重復(fù)實驗，如表1 所示，其中調(diào)節(jié)時間為計算從開始進入調(diào)節(jié)過程到進入死區(qū)時的時間。

由圖4 可知，在初始階段，相機根據(jù)設(shè)定的初始曝光值8 000 進行成像。隨著白熾燈亮度逐漸增大，超過了設(shè)定的區(qū)域加權(quán)灰度值的上閾值，算法開始介入并對相機曝光進行控制，經(jīng)過0.08 s 后誤差落入死區(qū)中，曝光調(diào)節(jié)和參數(shù)調(diào)整停止并按照落入死區(qū)時的計算曝光值進行成像。由上可知，算法控制效果較為明顯，超調(diào)量較小，并能以較快速度完成收斂過程。

經(jīng)過上述參數(shù)設(shè)定進行重復(fù)實驗，如表1 所示，本文所述算法的調(diào)節(jié)時間較為穩(wěn)定，平均調(diào)節(jié)時間為0.08 s，調(diào)節(jié)速度較快。

表1 曝光控制參數(shù)實驗數(shù)據(jù)表Tab.1 Exposure control parameters experimental data

4.3.2 本文算法與相機硬件自動曝光方法對比實驗

工業(yè)相機自動曝光采用硬件調(diào)節(jié)，即使用相機自身感光器件通過像素陣列的數(shù)字控制和預(yù)處理電路進行曝光控制［2］，達到清晰化處理。本實驗采用?？低暪I(yè)相機自身的自動曝光功能控制，進行相應(yīng)對比實驗。實驗中的相機成像圖如圖5 所示。

實驗計算數(shù)據(jù)見表1 所示。根據(jù)上述實驗數(shù)據(jù)分析，在同一亮度下，相機硬件自動曝光算法的Laplacian 圖像標(biāo)準(zhǔn)差值較小，說明此時經(jīng)過Laplacian 算子變化后的圖像亮度分布較為分散，出現(xiàn)同亮的情況，邊緣較不突出，反映出抑制高亮能力較弱。相比較而言，本文算法的Laplacian圖像標(biāo)準(zhǔn)差值較大，說明邊緣突變明顯，圖像中的部分與周圍環(huán)境產(chǎn)生較大的對比度，反映出算法抑制環(huán)境亮度的能力較強。

圖5 設(shè)置亮度自動曝光調(diào)節(jié)對比圖Fig.5 Comparison with automatic exposure adjustment

表2 與相機硬件自動曝光方法對比實驗數(shù)據(jù)表Tab.2 Comparison with the camera hardware automatic exposure method

4.3.3 本文算法與基于圖像直方圖特征的曝光調(diào)節(jié)法的對比實驗

圖像直方圖是對圖像像素數(shù)據(jù)分布的一種圖形表示方法，其特征可有效表征當(dāng)前圖像的亮度分布和特點。圖像灰度直方圖是灰度級的函數(shù)，它代表在整個圖像中灰度值出現(xiàn)的像素個數(shù)，從一定程度上反映了像素出現(xiàn)的頻率［18］。利用圖像灰度直方圖可以清晰的顯示出圖像中的灰度值分布，從而通過直方圖特征獲得相機曝光值的近似關(guān)系進行調(diào)節(jié)。本次對比實驗選用圖像直方圖的最大值特征作為曝光調(diào)節(jié)依據(jù)，并采用階梯式調(diào)節(jié)方法，采取的直方圖調(diào)節(jié)方式見表3 所示。

表3 直方圖曝光調(diào)節(jié)策略Tab.3 Histogram exposure adjustment strategy（pix）

實驗中穩(wěn)定調(diào)節(jié)后的相機采集白熾燈圖像見圖6 所示，實驗對比計算數(shù)據(jù)見表4 所示。

圖6 本文算法與直方圖曝光調(diào)節(jié)方法實驗對比圖Fig.6 Comparison with histogram exposure adjustment

根據(jù)實驗的對比數(shù)據(jù)可以看出，本文算法調(diào)節(jié)后的Laplacian 圖像標(biāo)準(zhǔn)差值相較于直方圖曝光調(diào)節(jié)方法具有較大的優(yōu)勢。在同一亮度下，本文算法調(diào)節(jié)后的Laplacian 圖像標(biāo)準(zhǔn)差值較大，說明圖像中具有邊緣較為凸顯的區(qū)域，即算法抑制了高光環(huán)境造成的亮斑和亮塊。

表4 與直方圖曝光調(diào)節(jié)方法的對比數(shù)據(jù)表Tab.4 Comparison with histogram exposure adjustment method

5 結(jié)論

本文提出了一種工業(yè)相機過曝光自適應(yīng)控制優(yōu)化算法。算法將區(qū)域平均灰度加權(quán)值作為反映圖像亮度強度標(biāo)準(zhǔn)，通過反饋調(diào)節(jié)方法計算曝光值，之后通過基于改進的“S”曲線對反饋調(diào)節(jié)的內(nèi)部參數(shù)進行優(yōu)化調(diào)節(jié)控制，進而實現(xiàn)對復(fù)雜環(huán)境的自適應(yīng)曝光調(diào)節(jié)。經(jīng)過實驗論證，算法完成一次全過程調(diào)節(jié)耗時0.08 s。在同等條件下與相機硬件自動曝光算法和基于圖像直方圖特征的自適應(yīng)曝光算法比較，所提算法的圖像Laplacian 平均標(biāo)準(zhǔn)差分別提高54.3% 和20.6%。在今后的研究中，將進一步提高算法控制的平滑性以及更高的自適應(yīng)能力，并將其推廣至更多復(fù)雜環(huán)境中。