基于條件GAN的復雜動作圖像輪廓智能捕捉研究

摘" 要： 針對復雜動作本身的高動態(tài)性和多樣性，傳統(tǒng)的圖像處理方法難以準確捕捉其輪廓，文中研究基于條件GAN的復雜動作圖像輪廓智能捕捉方法，精準了解動作執(zhí)行情況。該方法利用像素覆蓋分割模型來分割原始復雜動作圖像，獲取復雜動作目標圖像，將其作為約束條件輸入生成器，經(jīng)過編解碼器處理后輸出虛假復雜動作圖像輪廓生成結(jié)果，判別器將生成器輸出的虛假輪廓和真實復雜動作圖像輪廓作為輸入，在損失函數(shù)作用下進行真假判別，并采用反向傳輸?shù)姆绞綄ι善骱团袆e器的參數(shù)進行迭代更新，實現(xiàn)最佳復雜動作圖像輪廓智能捕捉。結(jié)果顯示：該方法可以有效捕捉不同類型的復雜動作圖像輪廓，通過消融實驗證明，改進后的條件GAN模型可顯著提升捕捉到的圖像輪廓的平滑度和形狀保持性，為捕捉復雜動作圖像輪廓提供了一種新方法。

關鍵詞： 條件GAN； 復雜動作圖像； 輪廓捕捉； 生成器； 判別器； 損失函數(shù)； 圖像分割

中圖分類號： TN957.51?34； TP183" " " " " " " " " " 文獻標識碼： A" " " " " " " " "文章編號： 1004?373X（2024）17?0094?04

Research on complex action image contour intelligent capture based on conditional GAN

FAN Mengmeng

（Jishou University， Jishou 416000， China）

Abstract： The complex actions are of high dynamics and diversity， so it is difficult for the traditional image processing methods to capture the contours of the action images accurately. In view of this， a complex action image contour intelligent capture method based on conditional GAN （generative adversarial network） is studied for accurate understanding of the action execution. In this method， a pixel coverage segmentation model is used to segment the original complex action image in order to obtain the complex action object image， which is taken as a constraint condition and input into the generator. After the input image is processed by the encoder?decoder of the generator， the 1 complex action image contour generation result is outputted. The discriminator takes the 1 contour outputted by the generator and the true complex action image contour as the inputs， and performs true 1 discrimination under the action of the loss function. The parameters of the generator and discriminator are updated by reverse transmission iteratively， which aims to capture the optimal complex action image contour intelligently. The results show that the method can capture different types of contours of complex action images effectively. It has been proved by ablation experiments that the improved conditional GAN model can perfect the contour smoothness significantly and shape preservation property of the captured images. To sum up， it provides a new method for capturing the contour of complex action images.

Keywords： conditional GAN; complex action image; contour capture; generator; discriminator; loss function; image segmentation

0" 引" 言

隨著計算機視覺技術的快速發(fā)展，復雜動作圖像輪廓的智能捕捉成為了圖像研究領域的熱點之一[1?2]。在體育分析、運動訓練、視頻分析、動畫制作等領域，精確捕捉圖像中的復雜動作輪廓對于理解和應用這些動作信息至關重要。然而，由于復雜動作本身的高動態(tài)性和多樣性，傳統(tǒng)的圖像處理方法往往難以準確捕捉其輪廓，這限制了相關應用的發(fā)展[3]。因此，研究一種能夠智能捕捉復雜動作圖像輪廓的方法具有重要意義。

對此，文獻[4]通過建立人體姿態(tài)模型提取人體姿態(tài)特征，并利用肢體動作輪廓捕捉模型，捕捉完整肢體動作輪廓。但是該方法對噪聲和遮擋缺乏敏感性，會嚴重干擾該方法的姿態(tài)特征提取效果，從而影響肢體動作輪廓捕捉的準確性。文獻[5]利用改進Canny算法捕捉人臉圖像邊緣輪廓，其中動態(tài)閾值以及梯度方向數(shù)量兩個約束的引入，極大程度提升了捕捉到圖像輪廓的精度和效率，雖然該算法在紅外人臉圖像上的應用取得了良好的效果，但是人臉圖像的復雜度較高，面對復雜動作圖像時，其泛化能力受限。文獻[6]采用Gaussian分布函數(shù)清晰化表達圖像輪廓信息，以此為基礎，構(gòu)建恒定尺度與對比度圖像輪廓捕捉器，獲取圖像輪廓信息。但是該方法受限于圖像輪廓的捕捉效率，無法實現(xiàn)大批量復雜動作圖像的輪廓捕捉操作。文獻[7]利用基于標記和檢測線的數(shù)字圖像邊緣檢測算法，通過從標記點向外延伸多條檢測線，將二維圖像輪廓檢測轉(zhuǎn)化為一維空間進行分析處理。結(jié)合基于突變點檢測的輪廓校正算法對錯誤捕捉點進行修正，并通過輪廓重建恢復被覆蓋的圖像輪廓，實現(xiàn)輪廓完整捕捉。但是該方法是針對靜態(tài)圖像進行輪廓捕捉，面對復雜動態(tài)圖像，其缺乏自適應性，無法解決復雜動作環(huán)境的影響，容易受背景因素干擾，影響最終的輪廓智能捕捉效果。

條件生成對抗網(wǎng)絡（Generative Adversarial Network， GAN）作為一種強大的生成模型，具有出色的生成能力和對特定條件的響應性[8?9]。通過引入條件信息，條件GAN能夠生成符合特定要求的圖像輪廓，這使得它成為復雜動作圖像輪廓捕捉的理想選擇。具體而言，條件GAN可以根據(jù)輸入的圖像和相關的條件信息（如動作類別、時間信息等）生成精確的復雜動作輪廓。這種方法的優(yōu)勢在于能夠充分利用深度學習的特征學習能力，自動提取圖像中的關鍵信息，并生成高質(zhì)量的輪廓。為此，本文提出基于條件GAN的復雜動作圖像輪廓智能捕捉方法，為相關應用提供了有力的技術支持。

1" 復雜動作圖像輪廓智能捕捉

1.1" 改進條件GAN模型

利用改進條件GAN模型實現(xiàn)復雜動作圖像輪廓的智能捕捉結(jié)構(gòu)如圖1所示，主要由三部分組成，分別為像素覆蓋分割模型、生成器和判別器。

首先利用像素覆蓋分割模型對原始的復雜動作圖像進行分割，獲取復雜動作目標圖像，將其與真實的復雜動作圖像共同作為條件GAN模型的訓練數(shù)據(jù)，構(gòu)建訓練數(shù)據(jù)集。將復雜動作目標視為條件GAN的約束條件，進行網(wǎng)絡對抗訓練。生成器的輸入為像素覆蓋分割模型獲取的復雜動作目標圖像[X]，在經(jīng)過生成器的編解碼器處理后，會輸出一個依據(jù)輸入圖像獲取的虛假圖像輪廓生成結(jié)果[X]。在這一過程中，生成器會不斷利用[X]進行生成器參數(shù)更新，并組合[X]與[X]，同時將其輸入至判別器中，并組合[X]與真實輪廓[Y]，同樣輸入判別器中，判別器輸出經(jīng)損失函數(shù)作用后，采取反向傳輸?shù)姆绞綄ι善骱团袆e器的參數(shù)進行更新，提升條件GAN的圖像輪廓智能捕捉效果。

1.2" 像素覆蓋分割模型

在輪廓捕捉前，利用像素覆蓋分割模型從原始復雜動作圖像中獲取動作目標圖像，降低背景因素對復雜動作圖像輪廓捕捉的影響。

用[I]描述原始復雜動作圖像，圖像覆蓋分割、分割類代表分別用[A=αi，jN×m]、[C=cj，km×b]描述，其中，[αi，j]、[cj，k]分別表示像素[i]針對[Sj]的覆蓋度數(shù)值、第[k]個頻帶中第[j]類的數(shù)值，為此以[cj，k]不變?yōu)榍疤?，可將復雜動作圖像的像素覆蓋分割模型表示為：

[I≈A?C] （1）

進一步將復雜動作圖像的分割視為一個尋求能量函數(shù)最小化的過程，能量函數(shù)表達式為：

[DA=I-AC2F] （2）

式中F用于描述Frobenius范數(shù)。

經(jīng)過求解獲取復雜動作目標圖像分割結(jié)果[10]，將其作為生成器的輸入與約束條件，用于完成圖像輪廓智能捕捉。

1.3" 生成器模型

條件GAN的改進主要體現(xiàn)在生成器模型中，包括兩個方面：其一為在生成器原有的前、后端卷積網(wǎng)絡之間引入了殘差網(wǎng)絡進行改進；其二為引入調(diào)層連接。生成器模型如圖2所示。

前端網(wǎng)絡的主要作用是從輸入復雜動作目標圖像中提取圖像特征，并額外加入跳層連接方式避免特征傳輸過程的缺失現(xiàn)象，將特征完整無誤地傳輸至后端卷積網(wǎng)絡對應的卷積層中[11]。同時通過將殘差網(wǎng)絡加入至編解碼器之間，可以進一步對特征進行提取，更好地留存復雜動作圖像的細節(jié)信息，有利于捕捉更加準確完整的圖像輪廓。殘差模塊接收前端卷積網(wǎng)絡從復雜動作目標圖像中提取的特征[x]，完成特征的進一步提取后，將結(jié)果傳輸至后端網(wǎng)絡執(zhí)行解碼操作，生成復雜動作圖像輪廓[12]，表達式為：

[xi=F（xi-1）×DA] （3）

式中：[xi-1]、[xi]分別用于描述特征[x]在通過殘差塊[i-1]、[i]處理后的狀態(tài)。

1.4" 判別器模型

判別器模型主要負責對生成的復雜結(jié)構(gòu)圖像輪廓的真假進行判別，以便將其與真實復雜結(jié)構(gòu)圖像輪廓進行區(qū)分。判別器模型為一個具備5個卷積層的神經(jīng)網(wǎng)絡，其作為二分類器的存在，同時具備批處理歸一化層以及LeakyReLU激活函數(shù)，用于實現(xiàn)判別過程的過擬合抑制，并使網(wǎng)絡快速收斂。經(jīng)卷積層處理后再利用Sigmoid函數(shù)進行處理，使結(jié)果歸一化至（0，1）范圍內(nèi)。其中，判別器輸出結(jié)果處于（0.5，1）范圍之內(nèi)、之外分別表示判別結(jié)果為真、假。判別器模型結(jié)構(gòu)如圖3所示。

1.5" 損失函數(shù)

條件GAN的損失函數(shù)在監(jiān)督生成、判別器訓練、促進兩者對抗以及確保訓練穩(wěn)定性和收斂性等方面都發(fā)揮著重要作用[13]。為此，改進條件GAN選取的總損失函數(shù)由網(wǎng)絡對抗損失以及邊緣損失組建，表達式為：

[Lt=xiλaLa+xiλpLp] （4）

式中：[λa]、[λp]分別用于描述損失函數(shù)[La]與[Lp]對應的權(quán)值，且存在[λa+λp=1]；[La]用于描述網(wǎng)絡對抗損失函數(shù)，衡量生成復雜動作圖像輪廓的真假，并加速網(wǎng)絡收斂；[Lp]用于描述輪廓損失，其作為原始[L1]、[L2]損失函數(shù)的改進，可以捕捉到細節(jié)感更強的圖像輪廓，同時使網(wǎng)絡捕捉到的圖像輪廓與真實復雜動作圖像輪廓一致。用生成復雜動作圖像輪廓與真實復雜動作圖像輪廓經(jīng)卷積處理后的特征矩陣之間的歐氏距離描述[Lp]。[La]的表達式為：

[La=EX～PX[D（X）]-EX～PX[D（X）]+μEX～PX?XD（X）2-12] （5）

式中：[D（·）]、[E（·）]、[μ]分別用于描述生成器模型、數(shù)學期望、懲罰系數(shù)；[X]、[X]的隨機采樣結(jié)果用[X]表示；[PX]、[PX]分別用于描述復雜動作目標圖像與生成復雜動作圖像輪廓的分布情況；[?XD（X）]表示[D（X）]針對[X]的偏導結(jié)果。

[Lp]的表達式為：

[Lp=1w×hEX，Y[?（Y）-?（X）]2] （6）

式中：[?（·）]、[w]、[h]用于描述網(wǎng)絡經(jīng)卷積處理后得到的特征圖、特征圖對應寬度和高度。

2" 實驗分析

為驗證本文研究的基于條件GAN的復雜動作圖像輪廓智能捕捉方法的有效性，實驗選取體育運動數(shù)據(jù)集Fashion?MNIST中的復雜動作圖像進行實驗。其中，數(shù)據(jù)集中包含籃球、足球、網(wǎng)球等10個類別的復雜動作圖像，每個類別的訓練、測試樣本數(shù)量分別為5 000個、1 500個，共計6 500張復雜動作圖像。

利用實驗數(shù)據(jù)集中的訓練樣本對本文應用的改進條件GAN進行訓練，訓練完成后從實驗數(shù)據(jù)集中的測試樣本的籃球類別和網(wǎng)球類別中隨機選取一張圖像進行實驗測試，圖像如圖4所示。在正式進行圖像輪廓智能捕捉之前，本文利用像素覆蓋分割模型對圖像進行分割，獲取復雜動作目標圖像如圖5所示。

分析圖5可知，本文方法能夠利用像素覆蓋分割模型從兩種類型的原始復雜動作圖像中獲取復雜動作目標，將其作為改進條件GAN網(wǎng)絡模型的輸入以及約束條件，獲取的復雜動作圖像輪廓智能捕捉結(jié)果如圖6所示。

分析圖6可知，無論是籃球運動員的投籃起跳動作還是網(wǎng)球運動員的擊球動作，本文提出的改進條件GAN都能夠精準地捕捉到其輪廓，并精準描述籃球和網(wǎng)球兩項體育運動的復雜動作情況。這種準確性體現(xiàn)了模型在處理復雜動作圖像時的優(yōu)越性能，尤其是在目標物體與背景混雜、動作快速變化等復雜場景下。

以GAN網(wǎng)絡為基礎，分別在其中引入條件約束、殘差網(wǎng)絡、跳層連接以及改進損失函數(shù)。為分析多種改進方案對模型應用效果的影響，選取輪廓平滑度和形狀保持性為指標設計消融實驗，實驗結(jié)果見表1。其中輪廓平滑度用輪廓曲率表示，輪廓曲率越小表示輪廓平滑度越高，形狀保持性用捕捉到的輪廓與真實輪廓之間的相似度表示，相似度值越大，形狀保持性越好。

分析表1可知，以方案1的GAN模型為基礎進行分析，條件約束、殘差網(wǎng)絡、跳層連接以及改進損失函數(shù)的引入均可以在一定程度上降低輪廓提取結(jié)果的輪廓平滑度，提升形狀保持性。方案5即本文應用的改進條件GAN模型的輪廓平滑度為0.25，提升形狀保持性為0.985。通過上述結(jié)果可以得出，本文應用的改進條件GAN模型在復雜動作圖像輪廓捕捉中的應用效果最佳。

3" 結(jié)" 語

本文提出的基于改進條件GAN的復雜動作圖像輪廓捕捉方法，在體育運動數(shù)據(jù)集上的實驗結(jié)果表明，該方法能夠準確捕捉籃球、網(wǎng)球等復雜動作圖像的輪廓，尤其在復雜場景下表現(xiàn)優(yōu)越。通過消融實驗驗證，條件約束、殘差網(wǎng)絡、跳層連接和改進損失函數(shù)均有助于提升模型的圖像輪廓捕捉性能。未來還應增加除了體育動作圖像以外領域的圖像進行模型應用效果分析，如舞蹈動作分析、手勢識別、虛擬現(xiàn)實交互等，為這些領域的研究和應用提供有力支持。

參考文獻

[1] 張建豐.基于視差信息的多重運動圖像輪廓提取仿真[J].計算機仿真，2020，37（9）：214?217.

[2] 楊衛(wèi)東，葉長彬，陳正林，等.基于snake算法的聲吶圖像輪廓提取方法[J].壓電與聲光，2023，45（5）：752?758.

[3] 熊點華，唐利明，嚴俊瀟，等.基于劃分函數(shù)的圖像擬合能量驅(qū)動的活動輪廓[J].黑龍江大學自然科學學報，2022，39（4）：481?489.

[4] 馬璿，張會慶.基于BEMD?MTS算法的肢體動作輪廓智能捕捉方法[J].計算機仿真，2023，40（10）：224?227.

[5] 王鑫剛，田軍委，于亞琳，等.改進Canny算法的紅外人臉圖像邊緣輪廓提取[J].應用光學，2023，44（1）：61?70.

[6] 程寧，侯德林.基于尺度與對比度不變的圖像邊緣檢測算法[J].電子測量與儀器學報，2023，37（1）：140?148.

[7] ZHANG R G， YANG S F， JIN J L， et al. Cobble edge detection algorithm based on digital image processing [J]. Journal of applied remote sensing， 2023， 17（2）： 1?20.

[8] 貝悅，王琦，程志鵬，等.基于條件生成對抗網(wǎng)絡的HDR圖像生成方法[J].北京航空航天大學學報，2022，48（1）：45?52.

[9] 張子珺，陳勁松，錢夕元.基于改進條件生成對抗網(wǎng)絡的書法字骨架提取[J].計算機工程，2023，49（10）：272?279.

[10] 李夢，詹毅，王艷.基于局部熵的區(qū)域活動輪廓圖像分割模型[J].數(shù)據(jù)采集與處理，2023，38（3）：586?597.

[11] 趙玉明，顧慎凱.融合殘差密集塊自注意力機制和生成對抗網(wǎng)絡的對抗攻擊防御模型[J].計算機應用，2022，42（3）：921?929.

[12] 陳剛，廖永為，楊振國，等.基于多特征融合的多尺度生成對抗網(wǎng)絡圖像修復算法[J].計算機應用，2023，43（2）：536?544.

[13] 張逸騁，井花花，晏濤.基于條件生成對抗網(wǎng)絡的光場圖像透視視圖生成算法[J].計算機應用研究，2023，40（8）：2501?2507.