灰度發(fā)布在智能問(wèn)答模型訓(xùn)練中的應(yīng)用研究

柴立巖 龐超 張進(jìn)猛

摘 要：隨著人工智能的廣泛應(yīng)用，智能模型訓(xùn)練成為研發(fā)周期的關(guān)鍵路徑。灰度發(fā)布的引入，將模型訓(xùn)練實(shí)現(xiàn)多“進(jìn)程”，及時(shí)抓取用戶反饋信息，提高模型的成型效率。

關(guān)鍵詞：灰度發(fā)布;用戶分流;人工智能;算法調(diào)優(yōu)

0? ? 引言

灰度發(fā)布又稱金絲雀發(fā)布，是指在黑與白之間能夠平滑過(guò)渡的一種發(fā)布方式?？梢宰屢徊糠钟脩衾^續(xù)使用產(chǎn)品特性A，一部分用戶用產(chǎn)品特性B，然后再根據(jù)用戶反饋信息決定逐步擴(kuò)大范圍。智能模型訓(xùn)練實(shí)質(zhì)為調(diào)整算法參數(shù)，不斷地重復(fù)抓取用戶反饋數(shù)據(jù)和模型調(diào)整。灰度發(fā)布的運(yùn)用與傳統(tǒng)智能模型訓(xùn)練相比，可以同時(shí)運(yùn)行多個(gè)不同維度參數(shù)、不同權(quán)重的模型版本，結(jié)合用戶反饋信息，多管齊下，大大縮短模型篩選的時(shí)間，加速模型定型。

1? ? 概述

1.1 智能模型訓(xùn)練現(xiàn)狀

目前的智能模型訓(xùn)練都是根據(jù)業(yè)務(wù)需求進(jìn)行模型設(shè)定，利用一套模型算法來(lái)完成用戶信息采集和重要節(jié)點(diǎn)優(yōu)化，根據(jù)用戶的反饋信息調(diào)優(yōu)維度參數(shù)及權(quán)重參數(shù)。在日常測(cè)試中，一般要經(jīng)過(guò)十多次的優(yōu)化周期才能達(dá)到上線需求。此流程使得開發(fā)周期延遲，不能滿足業(yè)務(wù)發(fā)展需求。

1.2 建設(shè)目標(biāo)

借鑒知名IT企業(yè)7*24不停止服務(wù)，結(jié)合引流條件前置，完成多個(gè)模型版本無(wú)縫鏈接，壓縮訓(xùn)練周期，滿足業(yè)務(wù)需求。

（1）將模型訓(xùn)練算法試行灰度發(fā)布，做到7*24不停止服務(wù)，多版本共存，標(biāo)記不同引流下用戶信息;通過(guò)信息的整理、加工、分析調(diào)優(yōu)算法參數(shù)。

（2）開發(fā)灰度發(fā)布，對(duì)用戶調(diào)查問(wèn)卷進(jìn)行分揀歸檔，調(diào)整模型參數(shù)，優(yōu)化模型算法，縮短研發(fā)周期。

（3）版本迭代上線。讓算法模型按照“A類用戶、B類用戶-->C類用戶、D類用戶-->全網(wǎng)用戶正式發(fā)布”的發(fā)布流程，抽取的各類用戶按照系統(tǒng)中的不同屬性來(lái)定，并不斷擴(kuò)大指定類型用戶數(shù)量，實(shí)現(xiàn)新版本模型算法的平滑上線。

2? ? 概要設(shè)計(jì)

2.1 傳統(tǒng)模型訓(xùn)練

傳統(tǒng)模型訓(xùn)練流程通過(guò)需求分析以后，交由軟件研發(fā)部進(jìn)行開發(fā)。先進(jìn)行單元代碼測(cè)試和功能測(cè)試，滿足業(yè)務(wù)需求的功能后進(jìn)行性能測(cè)試，如果測(cè)試不通過(guò)，需要研發(fā)人員進(jìn)行修改，直到測(cè)試滿足業(yè)務(wù)需求后，提交到代碼管理系統(tǒng)，執(zhí)行生產(chǎn)環(huán)境流水線[1]。發(fā)布過(guò)程需要停止當(dāng)前模型版本，既浪費(fèi)時(shí)間又有不好的用戶體驗(yàn)。已上線版本存在測(cè)試未發(fā)現(xiàn)問(wèn)題，用戶反饋后若短期不能解決，只能進(jìn)行版本回退。

2.2 模型灰度發(fā)布

模型灰度發(fā)布指同時(shí)存在多個(gè)版本模型，并非直接廢除舊的模型使用新模型，而是有一個(gè)新舊交替前的共存。通過(guò)不斷調(diào)優(yōu)維度參數(shù)及權(quán)重參數(shù)，直到找到一個(gè)符合業(yè)務(wù)需求的模型版本。此方法創(chuàng)新點(diǎn)體現(xiàn)在可同時(shí)收集多個(gè)維度和權(quán)重下的模型分析效果，同時(shí)對(duì)多個(gè)不同參數(shù)模型進(jìn)行調(diào)優(yōu)，通過(guò)漸進(jìn)式分析不同模型的反饋效果，即為：在較短的時(shí)間維度中，通過(guò)引流規(guī)則的條件前置，動(dòng)態(tài)調(diào)整各個(gè)測(cè)試模型負(fù)載。方便建立應(yīng)急演練，建立完善應(yīng)急預(yù)案，并加快模型訓(xùn)練過(guò)程，縮短開發(fā)周期。

3? ? 模型灰度發(fā)布實(shí)踐

3.1 模型灰度發(fā)布概述

灰度規(guī)則總體設(shè)計(jì)如圖1所示。核心部件為客戶端、引流策略、多套服務(wù)端?？蛻舳?，處理用戶請(qǐng)求，根據(jù)預(yù)先設(shè)定的引流規(guī)則將不同特性的用戶請(qǐng)求轉(zhuǎn)發(fā)不同的模型版本上;引流規(guī)則的設(shè)定是通過(guò)后臺(tái)的管理頁(yè)面進(jìn)行按需配置，根據(jù)業(yè)務(wù)發(fā)展需要為接入層提供服務(wù);多套模型測(cè)試服務(wù)，分別部署多個(gè)服務(wù)器或者同一服務(wù)器的不同容器下，根據(jù)預(yù)先設(shè)定的前置條件對(duì)用戶進(jìn)行分流處理，達(dá)到不同的用戶請(qǐng)求在不同的服務(wù)器響應(yīng)的效果。

3.2? 模型灰度規(guī)劃

3.2.1? 灰度發(fā)布的集群

根據(jù)業(yè)務(wù)需要，對(duì)現(xiàn)有訓(xùn)練模型版本進(jìn)行分析[2]，可以部署多套后臺(tái)服務(wù)或者Web頁(yè)面的方式應(yīng)對(duì)不同客戶請(qǐng)求。不同的灰度規(guī)則適用不同的生產(chǎn)系統(tǒng)，針對(duì)同一模型的訓(xùn)練也可以間歇采用不同灰度策略來(lái)獲取更多的用戶反饋信息，方便做到比較全面的測(cè)試效果。

3.2.2? 客戶端

客戶端是一個(gè)用戶發(fā)起請(qǐng)求所使用的工具的總稱，隨著電子產(chǎn)品的發(fā)展，目前主流的電腦端、手機(jī)端、各種自助服務(wù)終端，從容器的分類上有微信小程序、瀏覽器，在源端的灰度，可根據(jù)客戶端的指定灰度規(guī)則，也可按照負(fù)載策略指定規(guī)則[3]，例如：源地址策略或IP地址輪詢等多種引流方式。原始負(fù)載均衡主要是為了平衡各應(yīng)用服務(wù)器的壓力，將訪問(wèn)的用戶通過(guò)預(yù)先指定的規(guī)則進(jìn)行分流[4]。而為了滿足灰度發(fā)布，在原始負(fù)載均衡上必須新建一套分流規(guī)則，需要將用戶群再次進(jìn)行區(qū)分，即在原來(lái)的負(fù)載均衡的策略上增加一層灰度發(fā)布的分流規(guī)則[1]。

本次研究的系統(tǒng)為BS架構(gòu)的軟件系統(tǒng)，接入層采用nginx。由于BS架構(gòu)的軟件系統(tǒng)并沒(méi)有直接識(shí)別客戶端的能力，只能借助于cookie和seesion的機(jī)制來(lái)完成對(duì)客戶端的標(biāo)識(shí)和分類?？蛻艚K端灰度，可以根據(jù)用戶使用playform字段對(duì)不同終端進(jìn)行標(biāo)識(shí);也可以采用基于JWT的Token認(rèn)證機(jī)制完成用戶請(qǐng)求參數(shù)的處理。

3.2.3? 灰度發(fā)布規(guī)則制定

根據(jù)要訓(xùn)練的模型需求，對(duì)比目前的用戶畫像、用戶特點(diǎn)及用戶量，也可以是普通的隨機(jī)用戶等。一般模型的訓(xùn)練是按照用戶的區(qū)域范圍、崗位級(jí)別、年齡分布等維護(hù)對(duì)用戶進(jìn)行歸類，根據(jù)不同的類別，引流到相應(yīng)的服務(wù)，根據(jù)篩選設(shè)定的流程規(guī)則，把不同類別用戶關(guān)鍵信息同步到數(shù)據(jù)庫(kù)集群中，再交由灰度算法調(diào)度，完成引流規(guī)則的設(shè)定。

3.2.4? 用戶分流

客戶端發(fā)起請(qǐng)求轉(zhuǎn)發(fā)到后端服務(wù)器，在轉(zhuǎn)發(fā)過(guò)程中根據(jù)提前設(shè)定的引流規(guī)則，可以根據(jù)終端不同或者用戶特性等分發(fā)到不同的生產(chǎn)服務(wù)器。灰度發(fā)布算法根據(jù)數(shù)據(jù)庫(kù)中的配置信息，判斷當(dāng)前訪問(wèn)者的身份明細(xì)，再配合引流的策略設(shè)置記錄訪問(wèn)日志，以便后期對(duì)人員訪問(wèn)情況、操作情況、使用評(píng)價(jià)等信息的匯總分析。

同時(shí)對(duì)一大批用戶進(jìn)行多個(gè)模型版本內(nèi)測(cè)，根據(jù)分發(fā)規(guī)則區(qū)分不同版本之間的用戶反饋信息，版本信息對(duì)應(yīng)上用戶反饋之后進(jìn)行分析調(diào)優(yōu)。確定出滿足業(yè)務(wù)需求的模型版本后，確定線上唯一版本，根據(jù)引流規(guī)則設(shè)定，關(guān)閉其他訪問(wèn)渠道。通過(guò)多模型、多集群的用戶測(cè)試，收集測(cè)試用戶反饋信息，進(jìn)行及時(shí)的版本優(yōu)化，加快版本的迭代開發(fā)[5]。

3.2.5? 應(yīng)用效果分析

根據(jù)業(yè)務(wù)需求并結(jié)合目前系統(tǒng)情況，筆者對(duì)智能問(wèn)答模型算法進(jìn)行了負(fù)載灰度、服務(wù)端灰度兩種不同規(guī)則的性能測(cè)試，性能測(cè)試工具采用Jemeter。在同樣客戶端配置、服務(wù)器配置、網(wǎng)絡(luò)帶寬、并發(fā)量的情況下，負(fù)載灰度與服務(wù)端的性能測(cè)試，兩次測(cè)試服務(wù)器吞吐量分別為63.3和67.7，這個(gè)結(jié)果差異可以忽略，與未使用灰度發(fā)布前的服務(wù)器吞吐量66.68相比差異均不大。

綜上分析結(jié)果，消除了灰度發(fā)布可能影響性能的疑慮?；叶劝l(fā)布系統(tǒng)的使用雖然增加了服務(wù)器代碼或者負(fù)載的處理工作，但是再高并發(fā)的測(cè)試中并未影響服務(wù)器性能;模型算法的研發(fā)可以根據(jù)不同應(yīng)用場(chǎng)景選擇合適的灰度策略，盡量縮短模型算法的研發(fā)周期。

4結(jié)語(yǔ)

一個(gè)智能模型算法的研發(fā)，在保證研發(fā)周期和資源合理調(diào)配的前提下[4]，灰度發(fā)布的運(yùn)用完美解決開發(fā)周期長(zhǎng)和線上產(chǎn)品問(wèn)題需回退版本的應(yīng)急辦法。智能問(wèn)答模型算法灰度發(fā)布的使用，能夠嘗試新的模型參數(shù)，可以大跨度測(cè)試，加快算法開發(fā)速度。同時(shí)隨著人工智能給世界帶來(lái)的巨大變革，算法優(yōu)化的效率也急需提高，面對(duì)業(yè)務(wù)需求不斷提高，如何更精進(jìn)地選擇合理的研發(fā)技巧來(lái)縮短開發(fā)周期，還需在更多的維度中研究灰度發(fā)布的適用場(chǎng)景。

[參考文獻(xiàn)]

[1]周智，吳世進(jìn)，徐建鋒.移動(dòng)互聯(lián)網(wǎng)程序的灰度發(fā)布[J].電腦知識(shí)與技術(shù)，2017（9）：47-49.

[2]冷彪. 三維模型檢索的特征描述和相關(guān)性反饋算法的研究[D].北京：清華大學(xué)，2009.

[3] MARTINEZ-GARCIA J ，CASTILLO-BARRERA F E ，PALACIO R ，et al. An ontology for knowledge condensation to support expertise location in the code phase during software development process[J]. IET Software，2020（14）：11.

[4]賈偉洋. 基于群組用戶畫像的農(nóng)業(yè)信息化推薦算法研究[D].咸陽(yáng)：西北農(nóng)林科技大學(xué)，2017.

[5]周慧娟. 鐵路應(yīng)急管理中的預(yù)案管理與資源配置優(yōu)化[D].北京：北京交通大學(xué)，2011.

（編輯 姚 鑫）