基于視覺顯著性的AMOLED 顯示器多區(qū)域功耗優(yōu)化?

李德光 , 郭 兵 , 張瑞玲 , 馬友忠 , 任禎琴 , 趙旭鴿 , 譚 慶, 李君科

1(洛陽師范學(xué)院 信息技術(shù)學(xué)院,河南 洛陽 471934)

2(四川大學(xué) 計算機學(xué)院,四川 成都 610065)

3(黔南民族師范學(xué)院 計算機與信息學(xué)院,貴州 都勻 558000)

ICT(information and communication technology)產(chǎn)業(yè)作為全球發(fā)展最快的產(chǎn)業(yè)之一,統(tǒng)計數(shù)據(jù)顯示:其能耗已占到了全球總耗電量的10%[1],其碳排放達7 億噸/年,并以每年約4%的速度遞增[2].為推動ICT 產(chǎn)業(yè)的綠色低碳環(huán)保可持續(xù)發(fā)展,綠色計算[3-6]已成為眾多國內(nèi)外研究者的共識.目前,ICT 產(chǎn)業(yè)進入以智能移動終端、智能穿戴、虛擬現(xiàn)實、智能機器人及萬物互聯(lián)的物聯(lián)網(wǎng)技術(shù)為代表的新產(chǎn)業(yè)時代,使得嵌入式計算逐步成為主流.以典型的嵌入式設(shè)備智能移動終端為例,顯示屏的能耗通常占系統(tǒng)總能耗的27%～50%[7-10],雖然單臺設(shè)備的功耗不高(平均功耗為0.3W～1W),但截止目前,全球智能手機的持有量已超過23 億部.由于嵌入式設(shè)備種類繁多、應(yīng)用范圍廣、數(shù)量巨大,從而其總體耗能十分驚人.特別是對于電池容量受限的智能移動終端、智能可穿戴以及虛擬現(xiàn)實等設(shè)備,降低顯示屏功耗、提高設(shè)備續(xù)航時間、延長使用壽命,已成為功耗優(yōu)化領(lǐng)域中的一個重要研究課題.

AMOLED 顯示器為嵌入式設(shè)備中高耗能組件(表1 為智能終端Galaxy S-I9000 各組件不同工作狀態(tài)下的功耗),圖1 為終端Galaxy S-I9000 在不同狀態(tài)下以及各測試軟件運行時各組件的功耗分布圖,圖1(a)所示為系統(tǒng)在處于飛行模式并且屏幕關(guān)閉系統(tǒng)處于Idle 狀態(tài)時的系統(tǒng)功耗為52.4mW,此時系統(tǒng)功耗最低,功耗的來源主要是設(shè)備集成電路芯片(SOC)的基本靜態(tài)功耗.圖1(b)所示為Android Browser 重復(fù)運行20 次,每次采樣周期為100s 的功耗分布情況,其平均功耗值為235.6mW,其中,各組件的功耗分布情況為CPU 功耗占設(shè)備總功耗的32.4%,OLED 功耗占設(shè)備總功耗的29.8%,Wi-Fi 功耗占設(shè)備總功耗的20.2%,SOC 功耗占設(shè)備總功耗的17.6%.圖1(c)所示為PPStream 重復(fù)運行20 次的平均功耗值為77.2mW,其中,各組件的功耗分布情況為CPU 功耗占設(shè)備總功耗的29.9%,OLED 功耗占設(shè)備總功耗的33.5%,Wi-Fi 功耗占設(shè)備總功耗的18.8%,SOC 功耗占設(shè)備總功耗的17.8%.圖1(d)所示為Doodle Jump 重復(fù)運行20 次的平均功耗值為170.2mW,其中:CPU 功耗占設(shè)備總功耗的32.6%,OLED 功耗占設(shè)備總功耗的33.6%,Wi-Fi 功耗占設(shè)備總功耗的17.4%,SOC 功耗占設(shè)備總功耗的16.4%.從表1 和圖1 可知,OLED 為智能終端中的高耗能組件,其中,在運行視頻軟件和游戲軟件時,由于顯示內(nèi)容色彩的豐富性,OLED 的功耗明顯增加.

AMOLED(active-matrix organic light-emitting diode)顯示技術(shù)[11,12]以其可視角度廣、高色域、電壓低、屏幕薄、響應(yīng)快、可彎曲甚至可折疊、重量輕、成本低等特點,目前發(fā)展迅猛,典型事例如京東方公司中國首條第6 代柔性AMOLED 生產(chǎn)線于今年量產(chǎn),Apple 公司新發(fā)布的IPhone X 及Apple Watch 均配備了多點觸摸AMOLED 屏.OLED 屏幕的驅(qū)動方式分為有源驅(qū)動(AMOLED)和無源驅(qū)動(PMOLED),由于有源驅(qū)動可以實現(xiàn)對屏幕中每個像素點進行獨立控制,屏幕的節(jié)能效率更高,目前為OLED 的主要驅(qū)動方式.本文針對AMOLED顯示屏的功耗優(yōu)化進行研究.

不同于傳統(tǒng)的LCD(liquid crystal display)顯示技術(shù)需要高強度的背光,AMOLED 顯示技術(shù)采用非常薄的有機材料涂層和玻璃基板,當(dāng)有電流通過時,驅(qū)動有機材料發(fā)光產(chǎn)生不同的顏色.AMOLED 屏幕的每個像素點由紅色、綠色和藍色這3 種類型子像素組成,3 個子像素各自獨立發(fā)光構(gòu)成一個像素點.由于AMOLED 的自身自發(fā)光特性,可以分別對每個子像素點的發(fā)光進行獨立控制,從而實現(xiàn)在不降低顯示內(nèi)容視覺效果的同時降低其顯示功耗.所以AMOLED 屏幕的顯示功耗完全由顯示內(nèi)容所決定,更確切地說,是內(nèi)容中所有像素點的像素值決定[13,14].當(dāng)屏幕顯示全黑色時,顯示屏的功耗幾乎為零;當(dāng)屏幕顯示全白色時,屏幕的功耗處于峰值.由于其自發(fā)光特性可以分別對每個子像素點的發(fā)光進行獨立控制,從而在不影響顯示內(nèi)容整體視覺效果的前提下,通過動態(tài)調(diào)整子像素的像素信息降低屏幕功耗.此時,屏幕功耗優(yōu)化的關(guān)鍵是顯示內(nèi)容中動態(tài)調(diào)整區(qū)域的選擇與劃分.已有學(xué)者假定屏幕的固定區(qū)域為調(diào)整區(qū)域或者對顯示內(nèi)容整體進行調(diào)整.上述方法雖在一定應(yīng)用場景下適用,但存在明顯的局限性.

如何對顯示內(nèi)容進行多區(qū)域劃分進而動態(tài)調(diào)整,成為AMOLED屏幕功耗優(yōu)化的關(guān)鍵.由于人類視覺系統(tǒng)并非對屏幕顯示內(nèi)容所有區(qū)域平等地進行處理[15,16],而是通過視覺關(guān)注機制篩選出重要區(qū)域以進一步的優(yōu)先解讀,因此,根據(jù)人類視覺特性,通過對所顯示內(nèi)容進行視覺顯著性計算,可以有效地對顯示內(nèi)容進行多區(qū)域劃分進而調(diào)整,從而實現(xiàn)既保持顯示內(nèi)容的“感興趣域”信息的同時降低“非興趣域”的像素信息.由于人類視覺系統(tǒng)的分辨能力有限,無法察覺出處于一定閾值以下的信號內(nèi)容變化[14,16],從而實現(xiàn)在保證顯示內(nèi)容整體視覺效果的同時降低顯示功耗.隨著AMOLED 顯示技術(shù)在智能移動終端、智能平板、高清數(shù)字電視、智能穿戴設(shè)備、虛擬現(xiàn)實設(shè)備等新型智能移動設(shè)備的廣泛應(yīng)用,降低終端的顯示功耗對降低整個設(shè)備的能量消耗起到關(guān)鍵作用,對占據(jù)ICT 產(chǎn)業(yè)超過50%以上份額的嵌入式設(shè)備功耗具有重要的現(xiàn)實意義,同時可以延長設(shè)備的使用壽命,降低由于消耗電力帶來的二氧化碳排放以及對環(huán)境保護起到重要的推動作用.

1 相關(guān)工作

目前,針對AMOLED 的功耗優(yōu)化方法主要有基于上下文感知的亮度調(diào)節(jié)[17-33]和動態(tài)顏色映射[34-42].亮度調(diào)節(jié)方法實現(xiàn)簡單,但節(jié)能顯著時,圖像的視覺效果較差;動態(tài)顏色映射不適用于顏色表示特定含義的圖像.計算機視覺感知對人類視覺感知系統(tǒng)的深入研究[15],為AMOLED 功耗優(yōu)化提供了方向,通過視覺感知,可以有效地獲取顯示內(nèi)容各區(qū)域的視覺關(guān)注度,根據(jù)其調(diào)整實現(xiàn)滿足視覺效果的同時降低功耗.

Dalton[17]最早提出通過網(wǎng)絡(luò)攝像頭檢測用戶與當(dāng)前計算機是否交互,當(dāng)用戶離開時將顯示屏關(guān)掉.該方法雖簡單,但其為顯示設(shè)備節(jié)能提供了思路.隨后,Intel 和Microsoft 等公司制定了更加有效的屏幕電源管理策略,并將其集成到通用的高級配置與電源接口(ACPI)中.Xie[18]通過案例研究發(fā)現(xiàn):用戶在瀏覽圖片時,經(jīng)常使用縮放和滾動功能瀏覽圖像中的興趣域.基于該事實,其提出了一種通過分析圖片的瀏覽記錄發(fā)現(xiàn)用戶的興趣點及關(guān)注點改進軟件性能.該研究基于圖像的興趣點及關(guān)注點,為OLED 屏幕功耗優(yōu)化提供了方向.

Wee[19,20]提出了基于用戶興趣域降低OLED 顯示功耗的方法,其假設(shè)當(dāng)前屏幕中心區(qū)域為用戶興趣域,并設(shè)定該區(qū)域為矩形區(qū)域,從興趣域到圖像邊界依次按一定的距離設(shè)定一個矩形區(qū)域為非興趣域,多個矩形區(qū)域共同構(gòu)成圖像的非興趣域.該算法在實現(xiàn)時較為簡單,但其假設(shè)對于圖像興趣域不在中心的圖像是無法適用的.在文獻[20]中,同樣基于用戶的興趣域?qū)?yīng)用程序提出了一個簡單的興趣域模型,假定用戶在使用應(yīng)用程序時,其注意力主要集中在顯示屏幕的頂部和底部,進而對屏幕的其他區(qū)域進行優(yōu)化.同樣,該假設(shè)具有局限性,無法滿足不同應(yīng)用程序的要求.Chen[21]提出:當(dāng)用戶與屏幕進行交互時,手指覆蓋的區(qū)域以及其相鄰區(qū)域通常用戶不予關(guān)注,此時將手指覆蓋的區(qū)域調(diào)節(jié)至完全黑暗,即將該區(qū)域范圍像素點的像素值調(diào)至為零,相鄰區(qū)域進行部分變暗處理,該方法可以有效將該區(qū)域的功耗顯著降低,同時對圖像整體的視覺效果未產(chǎn)生明顯的影響.但該方法未對屏幕的其他區(qū)域進行調(diào)節(jié),存在進一步的優(yōu)化空間.

Choubey[14]基于人類視覺感知特點及感知顯示內(nèi)容,提出選擇性關(guān)閉部分像素點的功耗優(yōu)化方法,其根據(jù)人類視覺系統(tǒng)最少可辨視覺閾值,計算當(dāng)兩個點光源之間的距離小于0.04mm～0.05mm 時,在視覺效果上二者被視作為同一個光源.因此對于高清甚至超清的AMOLED 顯示器,關(guān)閉部分像素點以降低顯示功耗.其在實現(xiàn)時只關(guān)閉圖像的部分區(qū)域,存在進一步優(yōu)化的空間.Chen[22]提出一種基于圖像空間的節(jié)能可視化方案,其核心思路是:通過圖像邊緣檢測算法獲取圖像的興趣域,保留圖像的興趣域的同時抑制非興趣的圖像信息,實現(xiàn)保留圖像整體視覺效果的同時降低顯示功耗.該方法在一定程度上實現(xiàn)了功耗優(yōu)化,但其未對圖像多區(qū)域優(yōu)化進行深入討論,因此也存在繼續(xù)優(yōu)化的空間.

上述研究[17-22]為降低AMOLED 顯示功耗提供了思路,即:通過視覺感知算法對顯示內(nèi)容進行感知,而不是通過簡單的假設(shè)確定需要優(yōu)化的區(qū)域.由于人類視覺感知系統(tǒng)的篩選機制,人類通常對圖像中重要區(qū)域關(guān)注度較高,該區(qū)域在計算機視覺系統(tǒng)中稱為圖像的“興趣域”;同時,對圖像中非重要區(qū)域信息(通常稱為“非興趣域”)關(guān)注度較低.目前,對圖像內(nèi)容感知主要通過圖像顯著區(qū)域計算[23],圖像的視覺顯著性信息能夠反映圖像中不同區(qū)域?qū)θ艘曈X系統(tǒng)刺激程度,因此,通過視覺感知算法對顯示內(nèi)容進行感知,根據(jù)人們的視覺特性對顯示內(nèi)容劃分不同的區(qū)域,對不同的區(qū)域在不影響圖像整體視覺效果的同時進行像素調(diào)整,實現(xiàn)降低顯示內(nèi)容的功耗.目前,顯著區(qū)域檢測主要算法[23-29]及其性能分析見表2.圖2 為CS[28]算法顯著區(qū)域檢測的3 張測試圖.

Table 2 Performance comparison of different algorithm for salient region detection表2 圖像顯著區(qū)域檢測各算法性能指標(biāo)

從視覺效果上,算法可以有效地檢測出圖像的顯著區(qū)域,同時為功耗優(yōu)化提供圖像的多區(qū)域特征圖(multiregion saliency map),根據(jù)特征圖對圖像不同的區(qū)域計算在滿足視覺效果限制條件下的像素調(diào)節(jié)閾值.此時,即將AMOLED 屏幕功耗優(yōu)化問題轉(zhuǎn)化在滿足視覺效果限制條件下尋找圖像各個區(qū)域功耗最小化的問題.由于在計算圖像顯著圖時會帶來一定的計算量,此時需要對算法的復(fù)雜度、執(zhí)行時間以及對視覺效果的影響等因素進行深入研究,因此迫切需要將屏幕功耗優(yōu)化與圖像視覺感知協(xié)同考慮,設(shè)計更加快速有效的圖像多區(qū)域感知算法,以便最大限度優(yōu)化功耗,同時減小視覺感知的計算功耗.

Wee[19,20]均采用降低顯示內(nèi)容非興趣域的亮度實現(xiàn)屏幕功耗優(yōu)化,但其非興趣域調(diào)節(jié)系數(shù)固定,導(dǎo)致調(diào)節(jié)后的圖像非興趣域與興趣域區(qū)別明顯,對視覺效果有明顯的影響.段林濤[30]以屏幕中心到邊界間隔相同間距設(shè)置多個矩形,并賦予不同的亮度調(diào)節(jié)系數(shù).Betts[31]同樣對屏幕選定區(qū)域的像素亮度調(diào)節(jié),實現(xiàn)功耗優(yōu)化.上述方法關(guān)于優(yōu)化區(qū)域的選擇存在一定的局限性.Hadizadeh[32]對每個像素點確定一個亮度明顯差異識別閾值JND(just-noticeable-difference threshold),提出了一種自適應(yīng)性JND 調(diào)節(jié)模型.該方法對多組圖像驗證,平均可節(jié)約14.1%的顯示功耗;但對每個像素點均計算其JND 閾值,產(chǎn)生較大的計算功耗.Hadizadeh 也指出:該方法只支持產(chǎn)生靜態(tài)低功耗圖像,無法在視頻播放等實時性應(yīng)用場景中使用.Lo[33]提出了基于主觀視覺感知的AMOLED亮度調(diào)節(jié)方法,獲取視頻比特流的運動矢量,并將其轉(zhuǎn)換為圖像特征圖,以人類視覺特點為限制條件進行亮度調(diào)節(jié),實現(xiàn)功耗優(yōu)化,但未對顯示多區(qū)域的優(yōu)化進行深入討論.

Chuang[34]首先對不同的顏色功耗特點進行研究,提出了在限定條件下搜索顏色功耗最優(yōu)的醫(yī)學(xué)等數(shù)據(jù)功耗最優(yōu)可視化方案.方案雖可以對醫(yī)學(xué)等數(shù)據(jù)可視化提供功耗最優(yōu)顏色方案,但對于顏色代表特定含義的可視化應(yīng)用是不適用的.Wang[35]針對順序數(shù)據(jù)的可視化,提出了在給定視覺感知差異的多目標(biāo)功耗最優(yōu)化色彩顯示方案,提出了預(yù)先設(shè)計配色方案和自動生成的配色方案來對順序數(shù)據(jù)進行可視化.該方法與Chuang[39]類似.Vallerio[36]首先提出了高能效移動應(yīng)用界面設(shè)計,并以典型的應(yīng)用界面設(shè)計證明高能效的可行性.隨后,Dong[37]針對移動應(yīng)用軟件界面提出了利用顏色轉(zhuǎn)換來降低OLED 顯示功耗的方案.首先統(tǒng)計原界面的顏色種類及位圖信息,并根據(jù)各顏色的區(qū)別度及圖像內(nèi)容設(shè)置限制條件,依據(jù)該限制,搜索使得整副圖像功耗最小的顏色空間來替換當(dāng)前顏色空間,并在文獻[38]中改進瀏覽器搜索引擎,自動將瀏覽網(wǎng)頁的顏色轉(zhuǎn)換為功耗最小的顏色,有效降低了顯示功耗,延長了待機時間.Li[39]通過對Web 應(yīng)用程序的結(jié)構(gòu)分析,使用灰暗的顏色來替代原有較明亮的顏色,降低顯示功耗.該方法的思想與文獻[34-38]是一致的,在實現(xiàn)方式上有所區(qū)別.但上述方法由于改變了原有圖像的有顏色空間,只適用于圖形用戶界面,不適用于圖像及視頻需要維持原有顏色意義的應(yīng)用場景.Chen[40]基于隱馬爾可夫模型(HMM)分類器,根據(jù)視頻的功耗特點對視頻進行分類,對不同種類的視頻采用顏色映射、飽和度調(diào)節(jié)及色調(diào)調(diào)節(jié)來降低視頻播放時的顯示功耗.該方法雖降低了顯示功耗,但由于進行分類時產(chǎn)生的計算功耗較大.Jin[41]基于顏色映射提出了功耗與視覺差異平衡指標(biāo),并在顏色空間內(nèi)搜索指標(biāo)值最優(yōu)點,旨在尋找視覺效果與功耗最優(yōu)的平衡點,但在尋找最優(yōu)平衡點時帶來的計算功耗較大.

Bhojan[42]提出了人類視覺系統(tǒng)(HVS)感知的自適應(yīng)顏色轉(zhuǎn)換和變暗方法,在保持視頻的視覺逼真度的同時,為OLED 顯示器創(chuàng)建節(jié)能視頻.其提出的顏色空間轉(zhuǎn)換及變暗方法本質(zhì)上都是降低各顏色分量的像素值,與本文提出的方法類似,但其未對視頻內(nèi)容進一步區(qū)分.Linares[43]用于Android 應(yīng)用程序(Gemma)的GUI 能源多目標(biāo)優(yōu)化,用于使用多目標(biāo)優(yōu)化技術(shù)生成調(diào)色板.該技術(shù)生成優(yōu)化能耗和對比度的顏色解決方案,同時使用與原始調(diào)色板一致的顏色.Asnani[44]提出將藍色的強度降低到盡可能低的水平,從而在保持圖像感知質(zhì)量的同時降低整體功耗.由于藍色像素分量是最耗電的分量,即它比紅色和綠色分量耗電更多.其提出的方法在一定程度上可以降低圖像的顯示功耗,但需要平衡其他另外顏色分量的比例,對于藍色分量占比較高的圖片優(yōu)化效果較好,但對于藍色分量占比較少的圖像,優(yōu)化效果需進一步改進.

亮度調(diào)節(jié)通過降低像素點的亮度間接減小像素點的像素值,動態(tài)顏色映射將圖像原有的顏色空間轉(zhuǎn)變?yōu)槠渌妮^低的顏色空間,二者在本質(zhì)上都是減小像素點的像素值來降低顯示功耗.亮度調(diào)節(jié)方法實現(xiàn)較為簡單,同時節(jié)能效果明顯,但其功耗優(yōu)化程度直接與圖像的視覺效果有明顯的關(guān)系.動態(tài)顏色映射通常是將依據(jù)原有圖像的顏色空間在滿足能夠描述圖像特征的同時尋找一個功耗最小的顏色空間.該方法功耗優(yōu)化明顯,但由于該方法將原有圖像的顏色空間進行了顏色空間映射,改變了原有圖像顏色的物理意義,對于只關(guān)注描述圖像特征的圖像是適用的,但對于顏色表示特定含義的圖像是不適用的.表3 為各調(diào)整方法優(yōu)缺點對比總結(jié).通過對上述方法的分析,為保證顯示內(nèi)容原有的顏色物理含義,同時保證圖像的視覺效果,需要提出一個更普適高效的顯示內(nèi)容像素級動態(tài)調(diào)節(jié)方法,來完成顯示內(nèi)容視覺效果不受損害的同時,降低其顯示功耗.

Table 3 Comparison of advantages and disadvantages of various methods表3 各調(diào)節(jié)方法優(yōu)缺點比較

目前,在AMOLED 低功耗研究取得了一定的研究成果,但針對更加普適高效的AMOLED 功耗優(yōu)化研究需進一步深入.隨著4G、5G 網(wǎng)絡(luò)通信的快速發(fā)展,網(wǎng)絡(luò)帶寬及數(shù)據(jù)流量急速增大,智能移動終端、智能穿戴、智能機器人及虛擬現(xiàn)實等智能終端設(shè)備更加普及,AMOLED 以其畫質(zhì)好、更輕薄、可折疊、可柔性顯示、低功耗及抗眼疲勞等特點在嵌入式設(shè)備中應(yīng)用更加廣泛.本文針對屏幕顯示的內(nèi)容進行圖像感知,提出根據(jù)人類視覺特點對圖像進行多區(qū)域感知,更準(zhǔn)確地獲取當(dāng)前屏幕的特征區(qū)域.根據(jù)不同區(qū)域的關(guān)注度對多區(qū)域進行劃分,根據(jù)圖像整體視覺效果及功耗優(yōu)化程度,對不同的區(qū)域進行像素級動態(tài)調(diào)整,以保證最低降低能耗的同時,保證圖像整體視覺效果.

2 AMOLED 功耗模型

功耗建模是計算功耗的基礎(chǔ),也是評價功耗優(yōu)化效果的核心量化指標(biāo).目前,AMOLED 的功耗建模主要分為兩種——基于硬件功耗測量儀器的功耗統(tǒng)計模型和基于軟件的近似估計功耗模型:第1 種方法主要通過功耗測量儀器測量,或者通過硬件傳感器嵌入到AMOLED 部件的接入電路統(tǒng)計功耗;第2 種方法是通過對AMOLED 建立功耗模型統(tǒng)計功耗.基于硬件的方法測量結(jié)果通常比基于軟件估計的更準(zhǔn)確,但在測量時需專門的硬件;而基于軟件的近似估計方法通過構(gòu)建功耗模型對功耗進行計算,操作簡單,通用性強.目前,基于軟件近似估計的功耗建模方法已成為國內(nèi)外研究者的共識.

在典型的智能移動終端系統(tǒng)中,操作系統(tǒng)及應(yīng)用軟件運行于主處理器上,圖形處理單元(通常包含圖形加速器及顯示控制器)生成顯示內(nèi)容的位圖,并將其存儲在幀緩沖區(qū)內(nèi)存中;然后,位圖被發(fā)送到顯示器進行顯示.AMOLED 代碼級功耗建模[16,17]通常借助用戶界面使用高級語言實現(xiàn)的特點,通過遍歷用戶界面包含的控件種類及結(jié)構(gòu)分析估算界面功耗;圖像級功耗建模[16]主要通過訪問圖像的局部位圖信息估算當(dāng)前顯示功耗;像素級功耗建模[16,45,46]主要通過遍歷圖像的全部像素信息計算當(dāng)前顯示功耗;電路級功耗建模[47]主要獲取薄膜晶體管的載流子遷移率、OLED 發(fā)光效率、像素縱橫比等參數(shù)進行功耗計算.代碼級功耗建模依賴于對高級編程語言的分析,無法計算自然圖像的功耗;圖像級功耗建模雖計算速度較快,但精確度不夠;電路級功耗建模精確度較高,但通用性不夠;像素級功耗建模通過圖像位圖信息計算顯示功耗,其精確度高、通用性較強,目前為AMOLED 功耗建模的主要方法.

本文采用Dong[16]提出的像素級功耗模型,具體的功耗模型見公式(1)及公式(2):

公式(1)和公式(2)中的f(?),h(?)和k(?)分別表示像素點紅色、綠色和藍色各顏色分量的功耗函數(shù),Ppixel表示單個像素點的功耗,n表示圖像中像素點的總數(shù),C表示OLED 不受像素約束的靜態(tài)功耗,Piamge表示整個圖像的功耗.其首先通過測量一個完全黑色的屏幕可以獲取AMOLED 的靜態(tài)功耗C,3 個顏色分量的功耗函數(shù)可以通過對屏幕填充單一顏色時,逐漸改變顏色強度獲取各自顏色的功耗函數(shù).圖3(a)是3 種顏色分量在μoled-32028-p1 AMOLED 顯示屏上不同顏色強度下的功耗,從圖中可以觀察到:最上方的曲線為藍色顏色分量的屏幕功耗,其功耗明顯高于紅色和綠色顏色分量,下方的兩個曲線為紅色顏色分量和綠色顏色分量的屏幕功耗,其中實心曲線為紅色顏色分量的屏幕功耗,二者屏幕功耗相對較小.從圖3(a)得知,各顏色分量的功耗函數(shù)是一個非線性函數(shù).為簡化計算,對3 個非線性函數(shù)使用最小二乘法進行曲線擬合,得到顏色分量與功耗之間的線性關(guān)系如圖3(b)所示.

3 AMOLED 多區(qū)域視覺顯著性計算及像素調(diào)節(jié)方法

多區(qū)域視覺顯著性計算是指通過視覺顯著性算法對內(nèi)容引起用戶的視覺關(guān)注度進行區(qū)分,對不同的區(qū)域進行不同程度的功耗優(yōu)化,實現(xiàn)在降低功耗的同時保證視覺效果,該步驟是功耗優(yōu)化的關(guān)鍵.基于視覺關(guān)注的AMOLED 顯示內(nèi)容多區(qū)域感知是指根據(jù)人類視覺特性,通過視覺感知算法獲取顯示內(nèi)容的顯著區(qū)域.在計算機視覺中,該區(qū)域通常也稱為獲取圖像的興趣域.圖像的感興趣域ROI(region of interest)是指圖像中最能引起用戶興趣的、最能表現(xiàn)圖像特征的區(qū)域.研究[29]表明:人類視覺系統(tǒng)與生俱來具備處理復(fù)雜場景的能力,人類視覺系統(tǒng)可以快速掃描整個場景,并聚焦到最相關(guān)的區(qū)域,快速準(zhǔn)確地濾除次要、冗余的視覺信息,進而快速鎖定重要目標(biāo),此即人類視覺關(guān)注的篩選機制.通常,在視覺關(guān)注早期可以快速鎖定圖像亮度對比度突出的區(qū)域,而那些與周邊不同的像素區(qū)域?qū)⑽嗟囊曈X關(guān)注.本文正是基于此特性,對顯示內(nèi)容基于視覺關(guān)注度進行劃分不同區(qū)域,對顯示內(nèi)容的不同區(qū)域,根據(jù)其視覺關(guān)注度進行區(qū)分,實現(xiàn)顯示內(nèi)容多區(qū)域感知.通過篩選區(qū)分,進而進行像素動態(tài)調(diào)節(jié),從而實現(xiàn)在保證圖像整體視覺效果的同時降低顯示功耗.

對于任意一幅圖像,首先通過視覺顯著性算法獲取圖像的顯著性圖(saliency map),根據(jù)顯著圖確定圖像中各像素點的視覺關(guān)注度(visual attention),根據(jù)圖像各像素的視覺關(guān)注度,將圖像進行分割成不同的特征區(qū)域.本文基于Itti[29]提出的基于顯著性的快速場景分析視覺注意模型對顯示內(nèi)容進行多區(qū)域劃分,Itti 算法首先對輸入圖像進行線性濾波,在多個特征通道和多尺度的分解,得到各個特征通道的特征圖,最后再對特征圖做融合.為提高圖像顯著圖的準(zhǔn)確度及平衡由于運行算法帶來的計算功耗,本文針對Itti 算法進行部分優(yōu)化,以滿足上述要求,算法流程圖如圖4 所示.

具體優(yōu)化包含:

(1) 圖像雙邊濾波

在實現(xiàn)時我們發(fā)現(xiàn):線性濾波在降噪時都會有一定的模糊邊緣,對于高頻細節(jié)的保護效果并不明顯.因此,本文使用雙邊濾波器對圖像進行濾波處理.雙邊濾波的邊緣保持特性主要是通過在卷積的過程中組合空域函數(shù)和值域核函數(shù)來實現(xiàn)的,比高斯濾波多了一個高斯方差,從而達到保邊去噪的目的,具有簡單、局部、非迭代的特點,其公式為公式(3):

其中,Ifiltered為輸出圖像,I為輸入圖像,x是當(dāng)前被過濾像素的坐標(biāo),Ω是以像素點x為中心的鄰域窗口,fr是值域核函數(shù),gs是空域核函數(shù).

(2) 顯示內(nèi)容多區(qū)域分割

由于分割的顯著域數(shù)量對圖像分割操作及下一步的像素調(diào)節(jié)操作帶來的功耗有一定的影響,因此,在根據(jù)圖像顯著圖進行分割時,需要考慮各區(qū)域的顏色分量圖及方向分量圖:對于連續(xù)空間,其方向距離小于一定閾值的情況的多區(qū)域作為一個顯著域處理;對于非連續(xù)空間,并且其方向距離大于一定間隔的情況視為互獨立的區(qū)域進而分割.同時,根據(jù)Itti 算法生成的圖像顯著性圖,可以定量地評估每個像素的視覺關(guān)注度,其值在0 到1 之間:1 代表該區(qū)域具有最高的關(guān)注度水平,具有相同顯著值的像素點具有相同強度的視覺注意效果.根據(jù)像素點的視覺關(guān)注度,并參考其顏色分量及方向分量信息,理論上可以將圖像平均劃分為n個子范圍,將各像素點分為n個相應(yīng)的注意區(qū)域.但由于分量數(shù)量帶來的附加功耗限制以及實際應(yīng)用情況的統(tǒng)計數(shù)據(jù)表明:一幅圖像中,通常引起人類較大關(guān)注的區(qū)域不超過5 個.同時,在實驗分析中我們發(fā)現(xiàn):對于大多數(shù)顯示內(nèi)容分割區(qū)域的取值為3～5 時,此時圖像的功耗優(yōu)化及帶來的計算功耗可以取得最優(yōu)的平衡.

(3) 多區(qū)域像素動態(tài)調(diào)整方法

設(shè)一副圖像被分割為N個不相交的區(qū)域用集合R來表示,R={r1,r2,...,rN}.圖像多區(qū)域像素動態(tài)調(diào)整即轉(zhuǎn)化為在給定N個區(qū)域的空間內(nèi),在保證圖像整體視覺效果的限制條件下,求解各區(qū)域最大的調(diào)節(jié)系數(shù),使得最后圖像在滿足質(zhì)量的前提條件下圖像功耗值最小化的問題,目標(biāo)函數(shù)如公式(4)所示:

其中,xk表示當(dāng)前屏幕的功耗函數(shù),θ(i)表示某一區(qū)域的調(diào)節(jié)系數(shù).

此時,調(diào)節(jié)的關(guān)鍵是確定各區(qū)域最大調(diào)節(jié)系數(shù).該系數(shù)的確定,需要根據(jù)當(dāng)前區(qū)域的視覺關(guān)注度及調(diào)節(jié)后的圖像整體視覺效果.設(shè)第i區(qū)域的視覺關(guān)注度為η(i),C(i)為動態(tài)調(diào)整系數(shù),N為圖像中的區(qū)域數(shù)量,調(diào)節(jié)系數(shù)的公式為公式(5):

由公式(5)可知,調(diào)節(jié)系數(shù)與當(dāng)前區(qū)域的視覺關(guān)注度成反比.即:當(dāng)前區(qū)域如果其關(guān)注度高,則其調(diào)節(jié)的幅度較小;反之,調(diào)節(jié)幅度較大.此時,調(diào)節(jié)系數(shù)的確定即是求解動態(tài)調(diào)整系數(shù)C(i).

為保證調(diào)整區(qū)域的視覺效果,我們使用圖像結(jié)構(gòu)相似系數(shù)(SSIM)來約束圖像調(diào)節(jié)的幅度,在計算時,分別計算各區(qū)域調(diào)整后的結(jié)構(gòu)相似系數(shù).由于各區(qū)域的視覺關(guān)注度不同,所以人類視覺對各區(qū)域所能承受的失真程度不同.設(shè)視覺關(guān)注度最小區(qū)域的SSIM 值為β,則剩余區(qū)域的SSIM 取值范圍為β～1.第i個區(qū)域的SSIM 的取值為公式(6):

根據(jù)公式(5)和公式(6)的限制條件,即可求解目前函數(shù).

但此時未考慮如果兩個相鄰區(qū)域調(diào)節(jié)系數(shù)差值較大,則在兩個相鄰區(qū)域的連接處則會出現(xiàn)明顯的邊界效應(yīng),造成圖像邊緣的不平滑進而影響視覺效果.為消除相鄰區(qū)域可能出現(xiàn)的邊界效應(yīng),需要對相鄰區(qū)域的調(diào)節(jié)系數(shù)進行限制.我們用最小可覺差(just noticeable difference,簡稱JND)來限制相鄰區(qū)域在調(diào)節(jié)過程可能出現(xiàn)的邊界效應(yīng),即調(diào)節(jié)后的兩個區(qū)域的差值小于最小可覺差,詳見公式(7):

C(i)與C(j)為任一兩個相鄰區(qū)域的動態(tài)調(diào)整系數(shù),二者差值的絕對值除以二者的平均值,即為相鄰區(qū)域的動態(tài)調(diào)整幅度.d為最小可覺差,該值為一個常數(shù).因此,在求解各區(qū)域的動態(tài)調(diào)整系數(shù)時需要同時需要滿足公式(7),以消除可能帶來的相鄰區(qū)域邊界效應(yīng).具體調(diào)節(jié)算法如下所示.

4 實驗結(jié)果及分析

首先介紹本文采用的實驗環(huán)境,接下來對提出的算法進行驗證.為對文中提出的方法進行對比分析,給出對圖像整體使用單一調(diào)整系數(shù)的算法(WRA 算法),對興趣域使用最小矩形包含同時未對邊界進行處理的算法(RRA 算法),以及本文提出的多區(qū)域動態(tài)調(diào)整算法(MRA 算法).最后給出采用上述3 種算法處理后的兩組圖像及圖像的各關(guān)鍵屬性信息,圖像來自于Google 圖像庫(image.google.com).同時,為驗證方法的有效性及普適性,在Google 圖像庫中隨機選取200 張圖像,使用文中的算法處理,對處理后的圖像功耗優(yōu)化效果進行統(tǒng)計分析.

4.1 實驗環(huán)境

為獲得圖像在AMOLED 上的顯示功耗,首先要獲取3 個顏色分量的能耗函數(shù)f(?),h(?)和k(?).選取型號為μOLED-32028-P1 AMOLED 作為本文顯示實驗平臺,其分辨率為320×240,色數(shù)為65K.采用HOIKI 3334 多功能功率測量儀器測量瞬時功耗和累計功耗,KA3005P 數(shù)控直流電源提供穩(wěn)定可控電壓,實驗各部件關(guān)鍵參數(shù)見表3.

Table 3 Key parameters of each component in the experiment表3 實驗各部件關(guān)鍵參數(shù)

對每一個顏色分量測量中,首先用該單一顏色填充整個AMOLED 屏幕,調(diào)節(jié)顏色強度并記錄當(dāng)前顏色強度下屏幕功耗,每個強度的測量時間為30s,計算其平均值作為當(dāng)前強度下的顏色功耗,測量結(jié)果如圖3(a)所示.從圖3 得知,各顏色分量的功耗函數(shù)是一個非線性函數(shù),為簡化計算,對3 個非線性函數(shù)使用最小二乘法進行曲線擬合,得到顏色分量與功耗之間的線性關(guān)系如圖3(b)所示.

4.2 實驗結(jié)果分析

圖5 所示分別為第1 組圖像的原始圖像、邊緣檢測圖、圖像特征圖、應(yīng)用WRA 后的圖像、應(yīng)用RRA 后的圖像、應(yīng)用MRA 的圖像.

表4 給出了使用3 種算法處理后的圖像功耗信息及圖像結(jié)構(gòu)相似度等關(guān)鍵信息.Power 表示圖像在實驗指定屏幕上的瞬時功耗,MSSIM 表示使用算法處理后的圖像整體相似結(jié)構(gòu)參數(shù)的平均值(即各區(qū)域的結(jié)構(gòu)相似度的平均值)來評價原圖像與輸出圖像在結(jié)構(gòu)上的相似性,Reduce ratio 表示優(yōu)化后的圖像相比原圖像的功耗優(yōu)化率.符號“-”表示當(dāng)前屬性值無變化,表中正值表示圖像屬性值相比原圖的屬性值變化情況.

Table 4 Key attribute information of different images表4 各圖像關(guān)鍵屬性信息表

從圖5 和表4 中觀察到,應(yīng)用3 種算法輸出的圖像比原始圖像都具有更低的功耗.當(dāng)限定圖像的平均結(jié)構(gòu)相似系數(shù)(MSSIM)為0.95 時:對于圖像1,應(yīng)用WRA 算法圖像功耗降低21.6%,應(yīng)用RRA 算法圖像功耗降低25.8%,應(yīng)用MRA 算法圖像功耗降低24.6%;對于圖像2,應(yīng)用WRA 算法圖像功耗降低17.4%,應(yīng)用RRA 算法圖像功耗降低19.7%,應(yīng)用MRA 算法圖像功耗降低18.8%;對于圖像3,應(yīng)用WRA 算法圖像功耗降低16.5%,應(yīng)用RRA 算法圖像功耗降低18.2%,應(yīng)用MRA 算法圖像功耗降低17.4%.對于3 幅圖像,本文提出的MRA 算法平均降低20.2%的功耗,功耗優(yōu)化效果比較明顯.

對于3 幅圖像,在保持同樣的結(jié)構(gòu)相似度的限制條件下,MRA 算法降低的功耗分別比WRA 算法高出3%,1.4%和1.1%,平均值為1.8%.說明本文提出的算法對降低圖像的功耗效果更顯著.同時,本文提出的MRA 算法在視覺效果上優(yōu)于WRA.這是由于WRA 算法對圖像整體進行調(diào)整,調(diào)整系數(shù)單一無法凸顯顯著區(qū)域的特征.對于RRA 算法,在保持同樣的結(jié)構(gòu)相似度的限制條件下,功耗優(yōu)化效果略優(yōu)于本文提出的WRA 算法.這是由于RRA算法使用最小矩形區(qū)域包含圖像顯著域,其顯著調(diào)整區(qū)域小于WRA算法,使得其調(diào)整系數(shù)大于MRA算法,從而其功耗效果略優(yōu)于MRA 算法.但由于其未對不同的特征區(qū)域的調(diào)整系數(shù)進行邊界限制,導(dǎo)致在視覺效果上出現(xiàn)明顯的邊界效應(yīng).而本文提出的MRA 算法由于對不同的特征區(qū)域的調(diào)整系數(shù)進行了限制,所以其變化趨于更加平緩,更能保持圖像質(zhì)量,從而滿足較好的視覺效果.

由表4 和圖5 的數(shù)據(jù)定量分析可以清晰地觀察到,我們提出的MRA 算法比WRA 及RRA 算法的效果更好.這是由于在對圖像進行調(diào)節(jié)時保存了圖像興趣域的關(guān)鍵信息,同時考慮了不同區(qū)域的調(diào)節(jié)系數(shù),在降低功耗的同時,保證圖像整體的視覺效果.

上述3 副圖像中,第1 個圖像的功耗優(yōu)化最多.這是由于該圖像的顯著區(qū)域面積相對較小,其非顯著區(qū)域面積較大,而在調(diào)節(jié)時.非顯著區(qū)域的調(diào)節(jié)系數(shù)較大.從而使得圖像的整體功耗優(yōu)化效果比例較大.對于第3 個圖像,由于其顯著區(qū)域面積相對較大,非顯著區(qū)域面積相對較小,在功耗優(yōu)化時,調(diào)節(jié)系數(shù)較大的區(qū)域面積較小,使得圖像整體的功耗優(yōu)化效率相對于第1 個圖像減少.

圖6 所示分別是第2 組圖像的對應(yīng)處理后的各圖像信息(與第1 組的排列保持一致).

表5 中,各屬性及符號與表4 中的屬性及符號含義相同.

Table 5 Key attribute information of different images表5 各圖像關(guān)鍵屬性信息表

從圖6 和表5 中觀察到,應(yīng)用3 種算法輸出的圖像比原始圖像都具有更低的功耗.當(dāng)限定圖像的平均結(jié)構(gòu)相似系數(shù)(MSSIM)為0.95 時:對于圖像1,應(yīng)用WRA 算法圖像功耗降低10.2%,應(yīng)用RRA 算法圖像功耗降低9.6%,應(yīng)用MRA 算法圖像功耗降低10.4%;對于圖像2,應(yīng)用WRA 算法圖像功耗降低11.2%,應(yīng)用RRA 算法圖像功耗降低9.5%,應(yīng)用MRA算法圖像功耗降低11.7%;對于圖像3,應(yīng)用WRA算法圖像功耗降低9.5%,應(yīng)用RRA算法圖像功耗降低8.1%,應(yīng)用MRA 算法圖像功耗降低9.6%.對于3 幅圖像,本文提出的MRA 算法平均降低10.6%的功耗,有一定的功耗優(yōu)化效果.

對于第2 組中的3 幅圖像,在保持同樣的結(jié)構(gòu)相似度的限制條件下,MRA 算法降低的功耗分別比WRA 算法高出0.2%,0.5%和0.1%,平均值為0.27%.說明本文提出的算法與MRA 算法對降低圖像的功耗效果基本一致,并無明顯的優(yōu)勢.這是由于對于第2 組的圖像無明顯的顯著區(qū)域,圖像整體各部分無明顯的差別,因此本文算法無法提取圖像的特征區(qū)域,因而各區(qū)域在視覺關(guān)注度方面無明顯區(qū)分.所以在對此類圖像時,本文算法將圖像當(dāng)作一個整體來對待,因而其功耗優(yōu)化效果與WRA 算法基本無差別.但在實際應(yīng)用場景中,此類圖像出現(xiàn)的概率較小,因而在大概率應(yīng)用場景中,圖像通常有一定的顯著區(qū)域,因而本文提出的方法具有一定的優(yōu)勢,接下來通過統(tǒng)計分析進行說明.

為了驗證提出方法的通用性,我們進行了多樣例統(tǒng)計分析,隨機從Google 圖像庫中選取200 張圖像來驗證.對每一張圖像,采取相同的處理步驟:首先記錄其原圖像的功耗信息,而后記錄使用MRA 算法處理后的功耗數(shù)據(jù),最后對這200 張?zhí)幚砗蟮墓慕档吐蔬M行統(tǒng)計.圖7 為200 張圖像應(yīng)用MRA 方法后的功耗優(yōu)化比例分布圖.

在保證圖像的MSSIM≥0.95 時,從圖中可以觀察到:41%的實驗樣本實現(xiàn)降低功耗為20%～30%,24%的實驗樣本實現(xiàn)降低功耗為30%～40%,只有很少的實驗樣本的功耗降低非常不明顯.這是由于這些圖像的興趣域基本占據(jù)整個圖像,同時,該類圖像的各顏色信息表示特定的物理含義,所以基本無法對該類圖像的各像素值進行調(diào)整,因而無法進行功耗優(yōu)化.所有實驗樣本平均降低功耗為18.6%,這證明了提出方法的有效性和通用性.在進行多樣例統(tǒng)計分析中我們發(fā)現(xiàn):當(dāng)圖像的主色彩是白色或者藍色時,功耗的降低比例是非常明顯的.這是由于在AMOLED 功耗模型中,藍色顏色分量消耗屏幕功耗較高,紅色分量和綠色分量消耗的屏幕功耗相對藍色較小;而對白色色彩可以顯著地降低各顏色分量,因而功耗優(yōu)化效果較為明顯.而對圖像的主色彩是灰色時,功耗的降低比例不是非常明顯.這是由于該類色彩其各顏色分量的像素值已相對小,在調(diào)整各顏色分量像素值時,調(diào)整的幅度較小,因而功耗優(yōu)化略差.同時,對顯著區(qū)域明顯且該顯著域的區(qū)域大小相對有限時,我們的方法對該類圖像的功耗優(yōu)化效果較好.

5 總結(jié)

本文針對AMOLED 的自發(fā)光特性,提出基于多區(qū)域內(nèi)容感知的圖像低功耗優(yōu)化方法.方法的核心是:通過多區(qū)域內(nèi)容感知算法對顯示內(nèi)容的重要區(qū)域進行提取,在保留圖像重要區(qū)域特征的前提下,根據(jù)各區(qū)域的視覺關(guān)注度進行多區(qū)域像素調(diào)節(jié),從而在實現(xiàn)保證圖像整體視覺效果的同時,最大限度降低圖像顯示功耗.通過實驗驗證表明:提出的方法可以平均節(jié)約18.6%的顯示功耗,同時保持較高的圖像視覺質(zhì)量.文中提出的方法可以較好地降低圖像顯示功耗,同時,該方法也可以用于視頻及其他多媒體應(yīng)用場景.