改進(jìn)的多任務(wù)道路特征提取網(wǎng)絡(luò)及權(quán)重優(yōu)化

朱文杰,李宏偉,姜懿芮,程相龍,趙 珊

(1. 鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院,河南 鄭州 450001; 2. 鄭州大學(xué)地球科學(xué)與技術(shù)學(xué)院,河南 鄭州 450052)

基于深度學(xué)習(xí)的人工智能技術(shù)的快速發(fā)展使得實(shí)現(xiàn)低成本的基于視覺(jué)的自動(dòng)駕駛技術(shù)成為可能。自動(dòng)駕駛技術(shù)的關(guān)鍵問(wèn)題之一是如何構(gòu)建一個(gè)高效的環(huán)境感知系統(tǒng)。目前的輔助自動(dòng)駕駛技術(shù)多是基于高精度地圖實(shí)現(xiàn)的,但是高精地圖的生成往往需要借助多種傳感器進(jìn)行數(shù)據(jù)采集和大量的后處理工作。如果能采用成本低廉的視覺(jué)相機(jī)構(gòu)建實(shí)時(shí)的環(huán)境感知系統(tǒng),則可以大大減少高精地圖生成所耗費(fèi)的時(shí)間和費(fèi)用,甚至可以通過(guò)車(chē)聯(lián)網(wǎng)的方法達(dá)成對(duì)高精地圖的更新,因此其具有更多的實(shí)際應(yīng)用前景。此外,交通目標(biāo)檢測(cè)、車(chē)道線分割和可駕駛區(qū)域分割這3項(xiàng)技術(shù)提供的信息在車(chē)輛的駕駛決策中起著至關(guān)重要的作用[1]。

交通目標(biāo)檢測(cè)、車(chē)道線分割和可駕駛區(qū)域分割這3項(xiàng)任務(wù)在各自的單一領(lǐng)域得到了廣泛的研究。在目標(biāo)檢測(cè)方面,出現(xiàn)了以RCNN[2]、Fast-RCNN[3]等為代表的一系列Two-stage目標(biāo)檢測(cè)算法,以及以YOLO系列[4-7]為代表的One-stage目標(biāo)檢測(cè)算法。其中,Two-stage方法的精確度較高,但是實(shí)時(shí)性較差;One-stage方法精度略低,但是具有高實(shí)時(shí)性,更符合現(xiàn)實(shí)生產(chǎn)生活的需要。在車(chē)道線分割與可駕駛區(qū)域分割方面,由于近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)的大規(guī)模應(yīng)用,傳統(tǒng)的分割算法迅速地被取代。到目前已經(jīng)出現(xiàn)了大量的高性能分割模型,如U-Net[8]中的encoder-decoder結(jié)構(gòu),以及特征金字塔 (feature pyramid network,FPN)[9]中使用的特征金字塔結(jié)構(gòu),使網(wǎng)絡(luò)能夠獲得不同尺度的特征,大大提高了分割網(wǎng)絡(luò)的精度。此外,RESA[10]方法、SCNN[11]方法和Lanenet[12]方法在車(chē)道線分割領(lǐng)域也顯示出優(yōu)異的效果。

在自動(dòng)駕駛的應(yīng)用場(chǎng)景中,往往需要多種任務(wù)同時(shí)工作來(lái)提供服務(wù),考慮車(chē)載電腦的計(jì)算資源有限且有高實(shí)時(shí)性要求,為每個(gè)任務(wù)單獨(dú)設(shè)置模型是不現(xiàn)實(shí)的。因此,需要一種可以將這些類似的任務(wù)耦合起來(lái),并可以使用較少的資源且保持實(shí)時(shí)性的方法。多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)[13]為此類問(wèn)題提供了有效的解決方案,可以實(shí)現(xiàn)相關(guān)任務(wù)之間共享特征提取網(wǎng)絡(luò),從而節(jié)省時(shí)間、空間和資源,已在NLP(natural language processing)及推薦算法領(lǐng)域證實(shí)了其有效性[14-16]。在計(jì)算機(jī)視覺(jué)領(lǐng)域,大量的模型采用Faster RCNN[17]的思想,使用ResNet[18]結(jié)構(gòu)進(jìn)行特征提取。這充分證明了其強(qiáng)大的特征提取能力可以滿足多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的需要, LSNet[19]、MultiNet[20]、YOLOP[21]和HyBrid-Net[22]均采用了以ResNet為基礎(chǔ)的共享編碼器,結(jié)果表明多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)可以在僅增加少量的時(shí)間和資源占用的情況下同時(shí)完成多種相關(guān)任務(wù)。

本文提出一種結(jié)合FPN網(wǎng)絡(luò)的解碼器頭(Decoder Head)結(jié)構(gòu),并將其應(yīng)用于以YOLOv4為主干網(wǎng)絡(luò)的多任務(wù)道路特征提取網(wǎng)絡(luò)中,該網(wǎng)絡(luò)可以同時(shí)完成交通目標(biāo)檢測(cè)、車(chē)道線分割、可駕駛區(qū)域分割3項(xiàng)任務(wù);此外,針對(duì)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的特點(diǎn)對(duì)該網(wǎng)絡(luò)進(jìn)行優(yōu)化,以期為基于視覺(jué)的自動(dòng)駕駛過(guò)程中車(chē)輛的自主道路感知及高精地圖的生成提供新思路、新方法。

1 道路特征提取網(wǎng)絡(luò)設(shè)計(jì)

本文使用的多任務(wù)學(xué)習(xí)道路特征提取網(wǎng)絡(luò)核心包括: ①共享的特征提取模塊的實(shí)現(xiàn)及協(xié)同工作,以完成交通目標(biāo)檢測(cè)、車(chē)道線分割和可駕駛區(qū)域分割任務(wù); ②損失函數(shù)的計(jì)算方式,以及如何使用損失函數(shù)控制不同任務(wù)的權(quán)重。

2.4.3 懸尾實(shí)驗(yàn) 連續(xù)注射CORT 21 d后，小鼠禁食不禁水24 h后，將動(dòng)物尾巴靠近尾部部分固定在距離地面60 cm處，使其呈倒掛狀態(tài)，動(dòng)物之間留有一定距離，并視線彼此隔離，適應(yīng)30 s后，記錄動(dòng)物3 min內(nèi)四肢不動(dòng)時(shí)間。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

已有研究如YOLOP、HybridNet中表明目前的主流特征提取網(wǎng)絡(luò)如Darknet[6]等可以很好地完成特征提取任務(wù)。因此,本文保留了同類優(yōu)秀算法中的核心設(shè)計(jì)理念。利用現(xiàn)行目標(biāo)檢測(cè)算法中較為優(yōu)秀的特征提取網(wǎng)絡(luò)部分作為主干網(wǎng)絡(luò)(Backbone),但是目前此類算法中很少考慮分支任務(wù)的輸出頭(Head)設(shè)計(jì)。因此在YOLOv4網(wǎng)絡(luò)的基礎(chǔ)上為分支任務(wù)設(shè)計(jì)了一種結(jié)合FPN網(wǎng)絡(luò)的解碼器頭結(jié)構(gòu),以便更好地利用主干網(wǎng)絡(luò)提取的特征提高性能。詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 主干網(wǎng)絡(luò)

本文的主干網(wǎng)絡(luò)部分與YOLOv4網(wǎng)絡(luò)類似,將原始的RGB圖像交替通過(guò)CBH與BottleneckCSP模塊后進(jìn)入頸部(Neck)部分。主干網(wǎng)絡(luò)部分的結(jié)構(gòu)如圖2所示。

圖2 主干網(wǎng)絡(luò)結(jié)構(gòu)

交通目標(biāo)檢測(cè)結(jié)果的可視化如圖4所示?？紤]同類算法往往只能檢測(cè)車(chē)輛目標(biāo),因此僅考慮BDD100K數(shù)據(jù)集上的車(chē)輛目標(biāo)檢測(cè)結(jié)果。其結(jié)果見(jiàn)表2,本文選取Recall、mAP50作為評(píng)估的指標(biāo),性能結(jié)果表明本文方法已經(jīng)達(dá)到了主流目標(biāo)檢測(cè)方法的精度。盡管在實(shí)時(shí)性上相比速度較快的YOLOv5s等方法仍有較大的差距,但是本文方法可以同時(shí)完成額外的可駕駛區(qū)域分割及車(chē)道線分割任務(wù),且在速度方面也達(dá)到了實(shí)時(shí)性的要求。

綜上所述，對(duì)腦血管疾病合并糖尿病患者而言，優(yōu)質(zhì)護(hù)理的實(shí)施具有重要意義，可幫助其平穩(wěn)度過(guò)圍術(shù)期，減少術(shù)后各類并發(fā)癥，促進(jìn)早日康復(fù)。

1.1.2 解碼器頭

本區(qū)后期構(gòu)造對(duì)巖、礦體有錯(cuò)斷位移現(xiàn)象，可以解釋多個(gè)礦點(diǎn)深部礦化、蝕變突變問(wèn)題。深部找礦需研究斷層構(gòu)造位移方向和距離，確認(rèn)找礦位置。已知礦床均產(chǎn)于主拆離滑脫剝離復(fù)合構(gòu)造鏟形(犁式)斷裂緩傾斜地段；主、次級(jí)滑脫剝離斷層交匯帶控礦規(guī)模大，主拆離滑脫剝離斷裂帶伴派生構(gòu)造控礦；次級(jí)滑脫剝離斷層虛脫部位或產(chǎn)狀變化處控礦；滑脫剝離斷裂帶控制礦化富集規(guī)律等，研究這些對(duì)找礦預(yù)測(cè)有一定指導(dǎo)意義。

2.1.2 參數(shù)及試驗(yàn)設(shè)置

小兒化食口服液由山楂、六神曲、麥芽、檳榔、三棱、大黃、莪術(shù)、牽牛子組成，具有消食化滯、瀉火通便的作用，前期藥理學(xué)研究表明有促進(jìn)大鼠胃排空，促進(jìn)便秘小鼠的糞便排出及其止痛的作用［10］。楊亞紅［11］用該藥聯(lián)合媽咪愛(ài)治療64例2～6歲便秘患兒，總有效率達(dá)到96.9%。

2.1.1 數(shù)據(jù)集

圖3 解碼器頭結(jié)構(gòu)

在可駕駛區(qū)域分割方面,使用類似于車(chē)道線分割任務(wù)解碼器頭也可以提高精度。由于可駕駛區(qū)域的面積較大但是邊緣區(qū)域并不規(guī)整,大部分算法在邊緣區(qū)域的提取效果較差。而類似的設(shè)計(jì)可以有效改善在邊緣區(qū)域的分割效果。但由于類似的網(wǎng)絡(luò)在這項(xiàng)任務(wù)中的精度已經(jīng)很高,因此提升的幅度有限,而且會(huì)導(dǎo)致每幀約0.003 s的推理時(shí)間損失。

1.2 損失函數(shù)

對(duì)于多任務(wù)學(xué)習(xí)網(wǎng)絡(luò),常見(jiàn)的損失函數(shù)設(shè)置方案是獨(dú)立計(jì)算不同任務(wù)的損失,再進(jìn)行加權(quán)平均?？倱p失Lall計(jì)算方法為

Lall=α1Ldet+α2Lda+α3Lll

(1)

式中,Lda為可駕駛區(qū)域分割任務(wù)的損失;Lll為車(chē)道線分割任務(wù)的損失, 這兩部分均采用了傳統(tǒng)的分割損失計(jì)算方法,即交叉熵?fù)p失函數(shù)LCE;Ldet為交通目標(biāo)檢測(cè)任務(wù)部分的損失,由3部分組成:分類損失Lclass、對(duì)象損失Lobj和邊界損失Lbox。其計(jì)算也采用加權(quán)平均的方式,即

Ldet=β1Lclass+β2Lobj+β3Lbox

(2)

式中,Lclass和Lobj為焦點(diǎn)損失,用于判斷分類是否良好;Lbox用于衡量生成的預(yù)測(cè)框與實(shí)際值之間的相似性,采用LIoU(交并比)的計(jì)算方法。

將這些損失加權(quán)求和得到最終的總損失。式(1)-式(2)中的α1、α2、α3、β1、β2、β3為對(duì)應(yīng)部分損失的權(quán)值。在多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中,不同任務(wù)之間的權(quán)重設(shè)置往往由損失函數(shù)的權(quán)值控制,因此不同任務(wù)的損失權(quán)重對(duì)網(wǎng)絡(luò)中不同任務(wù)的精度影響很大,而在類似的算法(如YOLOP、HybridNet)中,并沒(méi)有考慮權(quán)重設(shè)置對(duì)最終網(wǎng)絡(luò)精度的影響。因此,本文分析了權(quán)重設(shè)置對(duì)網(wǎng)絡(luò)精度的影響,并通過(guò)比較不同的配置方案優(yōu)化權(quán)重配置,以得到效果較好的配置方案。

2 道路特征提取網(wǎng)絡(luò)試驗(yàn)

2.1 試驗(yàn)設(shè)置

在車(chē)道線分割任務(wù)的設(shè)計(jì)方面,考慮車(chē)道線的細(xì)長(zhǎng)且分散的特性,其往往跨越多個(gè)卷積塊,并且在較大的卷積塊中不能提取出足夠的特征,這會(huì)造成語(yǔ)義信息在特征提取過(guò)程中的消失。因此,本文采用FPN的思想,在進(jìn)行上采樣之前,將主干網(wǎng)絡(luò)中前兩層的淺層低級(jí)語(yǔ)義信息與1.1.1節(jié)得到的結(jié)果相結(jié)合,以便解碼器頭能夠更好地識(shí)別在卷積過(guò)程中消失的小尺度語(yǔ)義信息。解碼器頭設(shè)計(jì)如圖3所示。

在數(shù)據(jù)集方面,本文采用BDD100K數(shù)據(jù)集。BDD100K數(shù)據(jù)集是近年來(lái)較為全面的面向自動(dòng)駕駛領(lǐng)域的數(shù)據(jù)集之一,包含10萬(wàn)幀的圖片及10個(gè)與自動(dòng)駕駛方向相關(guān)的任務(wù)標(biāo)注信息,便于開(kāi)展多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的研究。此外,由于該數(shù)據(jù)集數(shù)據(jù)量龐大,因此具有地理、時(shí)間及天氣方面的多樣性,這使得本文在該數(shù)據(jù)集中訓(xùn)練的網(wǎng)絡(luò)具有很強(qiáng)的泛化性;而且選用該數(shù)據(jù)集便于與同類方法進(jìn)行性能對(duì)比。在數(shù)據(jù)集的劃分方面,本文抽取了10萬(wàn)幀圖片數(shù)據(jù)中的7萬(wàn)幀作為訓(xùn)練集,2萬(wàn)幀作為驗(yàn)證集,剩下的1萬(wàn)幀數(shù)據(jù)作為測(cè)試集。

請(qǐng)10名具有一定品評(píng)經(jīng)驗(yàn)的人員組成品評(píng)小組，根據(jù)評(píng)分標(biāo)準(zhǔn)（見(jiàn)表2）從色澤、風(fēng)味、組織和口感4個(gè)方面對(duì)紫薯酥性餅干進(jìn)行感官評(píng)定，取10名評(píng)判分?jǐn)?shù)的平均值作為各項(xiàng)指標(biāo)的評(píng)分，以感官評(píng)分的高低來(lái)判定產(chǎn)品的優(yōu)良。

目標(biāo)管理是進(jìn)行任何一項(xiàng)管理工作的基本方法和手段，成本控制也應(yīng)遵循這一原則，即目標(biāo)設(shè)定、分解、責(zé)任到位和成本執(zhí)行結(jié)果、評(píng)價(jià)和目標(biāo)修正，從而形成目標(biāo)管理的計(jì)劃、實(shí)施、檢查、處理的循環(huán).在實(shí)施目標(biāo)管理過(guò)程中，目標(biāo)的設(shè)定應(yīng)切合實(shí)際，更落實(shí)到各部門(mén)、班組甚至個(gè)人；目標(biāo)責(zé)任應(yīng)全面，既有工作責(zé)任，更有成本責(zé)任[3].

在交通目標(biāo)檢測(cè)任務(wù)頭方面,保留了YOLOv4中的設(shè)計(jì)方案,采用基于錨點(diǎn)的多尺度檢測(cè)方案。將自下而上的特征聚合網(wǎng)絡(luò)與FPN相結(jié)合,然后分配給不同尺度的錨點(diǎn)進(jìn)行目標(biāo)檢測(cè)。

在參數(shù)設(shè)置方面,本文采用Adam優(yōu)化器進(jìn)行模型訓(xùn)練,并使用預(yù)熱和退火算法調(diào)整學(xué)習(xí)率,從而保證模型能夠更好地收斂。這確保了可以在相同的條件下研究多任務(wù)權(quán)重設(shè)置對(duì)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)最終精度的影響。

在試驗(yàn)方面,在選取現(xiàn)存的同類多任務(wù)學(xué)習(xí)方法進(jìn)行性能對(duì)比的同時(shí)也選取了部分專注于單一任務(wù)的優(yōu)秀方法,這些方法均在BDD100K數(shù)據(jù)集上取得了優(yōu)異的性能,如YOLOv4與Faster-RCNN分別是One-Stage與Two-Stage目標(biāo)檢測(cè)算法的代表。PSP-Net[25]則是語(yǔ)義分割領(lǐng)域的代表性方法。由于應(yīng)用在BDD100K數(shù)據(jù)集上的車(chē)道線分割方法并不是很多,因此本文采用了在其他數(shù)據(jù)集中優(yōu)秀的方法進(jìn)行性能對(duì)比。本文方法均在最佳權(quán)重設(shè)置的條件下進(jìn)行試驗(yàn),其中具體的硬件信息及設(shè)置見(jiàn)表1。

采用循環(huán)煙氣焙燒的方法，可以提高鉬錸的收率，也提高產(chǎn)品質(zhì)量，還可以獲得高濃度的SO2煙氣直接送去制硫酸，這是可以解釋清楚的。例如這一爐輝鉬礦需要5次循環(huán)煙氣焙燒才能完成，那么前4次獲得的SO2煙氣都是高濃度的，只有最后一次才是低濃度的SO2煙氣，這5次煙氣混合起來(lái)肯定可以用于制硫酸。如果是2～3臺(tái)以上的焙燒爐，錯(cuò)開(kāi)作業(yè)，通過(guò)混合罐調(diào)節(jié)，就可以連續(xù)用于制硫酸。所以采用循環(huán)煙氣焙燒鉬精礦，是提高產(chǎn)品質(zhì)量、提高鉬錸回收率約100%、還可以用自己的焙燒煙氣制硫酸的很好方案。

在車(chē)道線分割和通過(guò)區(qū)域分割方面,試驗(yàn)發(fā)現(xiàn)在YOLOP方法中僅使用從頸部最后一層提取的特征時(shí),網(wǎng)絡(luò)的精度較低。因此,本文根據(jù)這兩項(xiàng)任務(wù)的特點(diǎn)為其設(shè)計(jì)解碼器頭。

表1 試驗(yàn)設(shè)置

2.2 試驗(yàn)結(jié)果

2.2.1 交通目標(biāo)檢測(cè)結(jié)果

在頸部(Neck)部分,使用SPP[24]模塊與FPN模塊融合主干網(wǎng)絡(luò)提取的特征。其中,SPP模塊用于融合不同尺度的特征,FPN模塊用于融合不同層次語(yǔ)義信息的特征。融合后得到的特征將進(jìn)一步在解碼器輸出頭進(jìn)行處理。

表2 交通目標(biāo)檢測(cè)結(jié)果

圖4 交通目標(biāo)檢測(cè)結(jié)果

2.2.2 可駕駛區(qū)域分割結(jié)果

以高分四號(hào)衛(wèi)星影像和HJ-1B衛(wèi)星影像重疊區(qū)作為實(shí)驗(yàn)驗(yàn)證區(qū)，采用分層隨機(jī)采樣的方式，隨機(jī)選擇512個(gè)驗(yàn)證點(diǎn)，基于臨近時(shí)期高分一號(hào)衛(wèi)星影像和圖像間對(duì)比解譯分析，逐點(diǎn)確定積雪覆蓋情況，計(jì)算積雪識(shí)別精度、Kappa系數(shù)等統(tǒng)計(jì)值，對(duì)積雪覆蓋精度進(jìn)行統(tǒng)計(jì)，結(jié)果如表2.基于多時(shí)相高分四號(hào)衛(wèi)星圖像積雪提取結(jié)果的Kappa系數(shù)達(dá)到0.84，表明該方法生產(chǎn)的積雪覆蓋產(chǎn)品與真值基準(zhǔn)數(shù)據(jù)間具有很強(qiáng)的一致性、精度高.

可駕駛區(qū)域分割結(jié)果的可視化如圖5所示。在此類任務(wù)中,只需要將可供車(chē)輛行駛的區(qū)域從背景中分割出來(lái)(即道路部分)即可,采用mIoU作為評(píng)價(jià)指標(biāo),具體評(píng)估指標(biāo)數(shù)據(jù)見(jiàn)表3。從結(jié)果可以看出,本文方法的精度要高于同類方法,已經(jīng)達(dá)到了PSPNet方法的水平;并且在速度上也高于同類方法,滿足了實(shí)時(shí)性的要求。從結(jié)果推斷可以發(fā)現(xiàn),本文的網(wǎng)絡(luò)結(jié)構(gòu)得到的結(jié)果在邊緣部分更加平滑,且減少了在對(duì)向車(chē)道中產(chǎn)生的結(jié)果,使得本文方法在測(cè)試集上擁有更高的精度。

在世界屋脊采集種子的艱苦，非親歷難以想象。每一種植物的樣本數(shù)量要達(dá)到5000粒，瀕危物種樣本一般需要500粒。為了保證植物遺傳信息獨(dú)立，每個(gè)樣本之間的距離不能少于50公里，同時(shí)在整個(gè)西藏境內(nèi)，任何一個(gè)物種的樣本不能超過(guò)5個(gè)群體……于是，在廣袤的高原上，有時(shí)一天奔波800公里，他的足跡遍布西藏最偏遠(yuǎn)、最艱苦、最荒蕪的地區(qū)。峭壁上蜿蜒的盤(pán)山路，曾有巨石滾落砸中他所乘的車(chē)；沒(méi)有水，就不洗臉；沒(méi)有旅店，就裹著大衣睡在車(chē)上……早上五六點(diǎn)出發(fā)，晚上八九點(diǎn)鐘到達(dá)宿營(yíng)點(diǎn)，之后還需要連續(xù)幾個(gè)小時(shí)整理標(biāo)本，一天睡3個(gè)小時(shí)是常態(tài)。

表3 可駕駛區(qū)域分割結(jié)果

圖5 可駕駛區(qū)域分割結(jié)果

2.2.3 車(chē)道線分割結(jié)果

車(chē)道線分割結(jié)果的可視化如圖6所示。本文采用精確度(Accuracy)、Lane IoU作為評(píng)價(jià)指標(biāo),具體的結(jié)果見(jiàn)表4。從結(jié)果可以發(fā)現(xiàn)本文方法的性能較對(duì)比方法有顯著提升,減少了車(chē)道線檢測(cè)過(guò)程中同一條車(chē)道線中斷的現(xiàn)象。相比于作為Baseline的YOLOP方法,本文方法在車(chē)道線分割任務(wù)中精確度提升了8.2%,盡管本文方法中增加的結(jié)構(gòu)相比于Baseline增加了額外的推理時(shí)間,但是其仍舊可以滿足實(shí)時(shí)性的需要。

表4 車(chē)道線分割結(jié)果

圖6 車(chē)道線分割結(jié)果

2.3 消融試驗(yàn)

本節(jié)通過(guò)對(duì)比單任務(wù)方案與多任務(wù)方案來(lái)驗(yàn)證多任務(wù)方案的有效性。

分別使用該網(wǎng)絡(luò)執(zhí)行單一任務(wù)與多任務(wù)方案,得到的性能數(shù)據(jù)見(jiàn)表5。從性能數(shù)據(jù)可以發(fā)現(xiàn),執(zhí)行多任務(wù)模型可以達(dá)到甚至超過(guò)執(zhí)行單一任務(wù)時(shí)的精度,并且可以節(jié)省大量的時(shí)間。出現(xiàn)這一情況是因?yàn)樵谟?xùn)練過(guò)程中,目標(biāo)檢測(cè)任務(wù)的損失函數(shù)下降較快,可以快速收斂;且由于采用了共享編碼器的思路,在目標(biāo)檢測(cè)任務(wù)收斂后,對(duì)于收斂較慢的另外兩個(gè)任務(wù),整個(gè)網(wǎng)絡(luò)處于一種預(yù)訓(xùn)練的狀態(tài)下,在此基礎(chǔ)上進(jìn)行剩余的訓(xùn)練則可以達(dá)到提升精度的效果。

表5 多任務(wù)與單任務(wù)

其中消融試驗(yàn)的評(píng)估指標(biāo)與相關(guān)設(shè)置均與上述內(nèi)容中的設(shè)置一致。

3 多任務(wù)權(quán)重平衡研究

一般而言,多任務(wù)學(xué)習(xí)中不同任務(wù)之間的平衡是通過(guò)控制損失函數(shù)的權(quán)重實(shí)現(xiàn)的,不同的權(quán)重設(shè)置,也會(huì)對(duì)網(wǎng)絡(luò)的最終精度造成影響。本文將采用同樣的方法來(lái)研究權(quán)重對(duì)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的影響,從而得到最佳的權(quán)重配置方案。

3.1 權(quán)重對(duì)不同任務(wù)的影響

通過(guò)隨機(jī)設(shè)定的方案探討權(quán)重影響的總體趨勢(shì),其中初始的任務(wù)權(quán)重設(shè)置見(jiàn)表6中方案1,之后按一定的比例設(shè)置了額外的幾種方案,其具體設(shè)置見(jiàn)表6方案2-方案5。

表6 權(quán)重方案及結(jié)果

經(jīng)過(guò)相同的訓(xùn)練后,得到不同方案的結(jié)果。分析結(jié)果可知,不同任務(wù)受權(quán)重的影響不同。其中,道路目標(biāo)檢測(cè)任務(wù)對(duì)權(quán)重的改變影響最小,即使設(shè)置較小的權(quán)重也不會(huì)對(duì)其精度造成影響;對(duì)于可行駛區(qū)域分割任務(wù)而言,其受權(quán)重的影響適中,在權(quán)重增加時(shí),該任務(wù)的精度也在上升,當(dāng)權(quán)重過(guò)大時(shí)便不再提升;車(chē)道線分割任務(wù)對(duì)權(quán)重設(shè)置最為敏感,當(dāng)權(quán)重改變時(shí),其精度就會(huì)隨之產(chǎn)生比較大的變化。

由于本問(wèn)題的解構(gòu)建圖基于成本矩陣構(gòu)建，每個(gè)元素均為一個(gè)節(jié)點(diǎn)，故將信息素τij置于每個(gè)節(jié)點(diǎn)上，代表第i個(gè)車(chē)組擔(dān)任第j個(gè)車(chē)次的期望程度。在初始時(shí)刻設(shè) τij(0)=K(K為常數(shù))。

3.2 最佳權(quán)重設(shè)置

針對(duì)表6試驗(yàn)所得數(shù)據(jù),進(jìn)行進(jìn)一步優(yōu)化調(diào)整,得到了最佳的權(quán)重及對(duì)應(yīng)結(jié)果(見(jiàn)表7)。結(jié)果表明,本文方法可以通過(guò)該方式進(jìn)行優(yōu)化,從而使網(wǎng)絡(luò)擁有更好的性能。

表7 最佳權(quán)重結(jié)果

為了驗(yàn)證本文權(quán)重設(shè)置方案的有效性,在同類的算法中應(yīng)用了類似的權(quán)重設(shè)置方案,以此驗(yàn)證權(quán)重設(shè)置的有效性。在保持其他設(shè)置相同的情況下,將同樣的權(quán)重方案應(yīng)用在YOLOP的模型中,得到的結(jié)果見(jiàn)表7。從性能數(shù)據(jù)可知,本文的權(quán)重設(shè)置方案具有一定的遷移性,可以在類似的多任務(wù)網(wǎng)絡(luò)模型中采取相同的優(yōu)化方案。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)了一種結(jié)合FPN網(wǎng)絡(luò)的解碼器頭結(jié)構(gòu),并將其應(yīng)用于多任務(wù)學(xué)習(xí)道路特征提取網(wǎng)絡(luò)。該結(jié)構(gòu)在保證模型實(shí)時(shí)性的基礎(chǔ)上有效提升了分支任務(wù)中可駕駛區(qū)域分割任務(wù)及車(chē)道線分割任務(wù)的精度。此外,也對(duì)多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)的任務(wù)權(quán)重配置進(jìn)行了分析,通過(guò)分析不同任務(wù)對(duì)權(quán)重的敏感程度得到最佳的權(quán)重配置方案,降低多任務(wù)之間的影響,進(jìn)一步提高了精度?？紤]本文主干網(wǎng)絡(luò)的特點(diǎn),未來(lái)可以在此基礎(chǔ)上拓展更多的分支任務(wù),進(jìn)一步提高方法的靈活性;并且將多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)與高精度的語(yǔ)義分割及檢測(cè)任務(wù)相結(jié)合,為未來(lái)高精度地圖的實(shí)時(shí)生成提供新思路與新方法。