一種基于深度強(qiáng)化學(xué)習(xí)的酒店收益管理模型與方法

劉顯峰　于忠清

文章編號(hào)：10069798（2022）02004708;DOI：10.13306/j.10069798.2022.02.008

摘要：針對(duì)深度強(qiáng)化學(xué)習(xí)方法在酒店收益管理上的應(yīng)用問題，本文基于深度強(qiáng)化學(xué)習(xí)，構(gòu)建了收益管理決策過程的模型與方法，通過對(duì)收益管理問題的馬爾可夫性質(zhì)進(jìn)行了界定，描述了其模型和參數(shù)的統(tǒng)計(jì)學(xué)性質(zhì)。同時(shí)，編寫程序，實(shí)現(xiàn)基于深度強(qiáng)化學(xué)習(xí)的收益管理方法，并通過實(shí)驗(yàn)，將本文方法與某供應(yīng)商采用的傳統(tǒng)方法進(jìn)行對(duì)比分析。分析結(jié)果表明，強(qiáng)化學(xué)習(xí)方法與人工收益管理方法相比，總收益提升了約15%，與傳統(tǒng)收益管理系統(tǒng)相比，總收益提升了約5%，說明傳統(tǒng)的收益管理方法成本較高，監(jiān)督學(xué)習(xí)模型過于強(qiáng)調(diào)全局泛化性，而增大了對(duì)最優(yōu)結(jié)果的估計(jì)方差，且計(jì)算量過大，而本文提出的方法能夠更快地梯度下降到最優(yōu)位置。該研究為企業(yè)在數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)定價(jià)和營(yíng)銷決策提供了理論基礎(chǔ)。

關(guān)鍵詞：深度學(xué)習(xí);強(qiáng)化學(xué)習(xí);酒店管理;收益管理

中圖分類號(hào)：TP181;F719.2文獻(xiàn)標(biāo)識(shí)碼：A

收益管理（revenuemanagement，RM）是一種在微觀市場(chǎng)中預(yù)測(cè)顧客行為，并調(diào)整產(chǎn)品供應(yīng)和價(jià)格以最大化收益增長(zhǎng)的技術(shù)[1]。收益管理首先發(fā)源自機(jī)票預(yù)訂業(yè)務(wù)的需求，并已在酒店管理等多個(gè)領(lǐng)域得到應(yīng)用[2]。收益管理的目標(biāo)是找到每天、每周、每月、每季度和每年等銷售量、銷售價(jià)格和成本費(fèi)用之間的最佳平衡，以獲得最大化的利潤(rùn)[3]。20世紀(jì)90年代初，酒店業(yè)開始借鑒航空業(yè)的經(jīng)驗(yàn)，研究收益管理在酒店管理中的應(yīng)用，逐步發(fā)展出相關(guān)的理論，并設(shè)計(jì)出適合酒店行業(yè)的收益管理系統(tǒng)[4]。酒店收益管理的核心是浮動(dòng)定價(jià)，需深入理解產(chǎn)品對(duì)于每一類細(xì)分市場(chǎng)客戶的價(jià)值，并進(jìn)行差異化管理和優(yōu)化組合。通過對(duì)市場(chǎng)和客戶的細(xì)分，對(duì)不同目的的顧客在不同時(shí)刻的需求進(jìn)行定量預(yù)測(cè)，通過優(yōu)化方法確定動(dòng)態(tài)的控制，最終使酒店總收益最大化，確保酒店利潤(rùn)的持續(xù)增長(zhǎng)[5]?，F(xiàn)有收益管理方法有移動(dòng)平均法、線性回歸法等[67]。收益管理系統(tǒng)是用于輔助收益管理過程的一系列計(jì)算機(jī)軟件。如何從酒店管理信息系統(tǒng)中獲取數(shù)據(jù)，根據(jù)這些數(shù)據(jù)建立模型，并進(jìn)行運(yùn)算、分析和輔助決策，以便動(dòng)態(tài)調(diào)整客房定價(jià)、細(xì)分市場(chǎng)和銷售渠道是值得研究的熱點(diǎn)問題[89]。強(qiáng)化學(xué)習(xí)是一種用于求解馬爾可夫鏈決定過程的機(jī)器學(xué)習(xí)算法[10]。通俗地說，強(qiáng)化學(xué)習(xí)算法訓(xùn)練一個(gè)智能體，使它在一個(gè)環(huán)境中能夠做出最優(yōu)化的動(dòng)作，以獲得最大收益[11]。強(qiáng)化學(xué)習(xí)通過給定環(huán)境、策略、收益進(jìn)行訓(xùn)練，使智能體學(xué)習(xí)到最大化收益的模型或價(jià)值函數(shù)。深度強(qiáng)化學(xué)習(xí)是將深度學(xué)習(xí)算法應(yīng)用在強(qiáng)化學(xué)習(xí)問題上的方法[12]。深度學(xué)習(xí)的強(qiáng)大的函數(shù)逼近能力，大大增強(qiáng)了模型向最優(yōu)策略逼近的能力。對(duì)于定價(jià)問題，LIMJ等人[13]提出了電價(jià)的強(qiáng)化學(xué)習(xí)定價(jià)策略;JINJH等人[14]提出了道路定價(jià)策略;SHIB等人[15]提出了互聯(lián)網(wǎng)資源定價(jià)策略。目前，強(qiáng)化學(xué)習(xí)在收益管理領(lǐng)域的研究較少，A.GOSAVII等人[16]研究了一種在單航線機(jī)票收益管理上應(yīng)用強(qiáng)化學(xué)習(xí)的方法;R.J.LAWHEAD等人[17]提出了航空收益管理問題上的一種新的策略梯度方法，但對(duì)深度強(qiáng)化學(xué)習(xí)方法在收益管理問題上的應(yīng)用及在酒店收益管理中的應(yīng)用研究卻沒有[18]。酒店行業(yè)對(duì)于一種便捷有效的收益管理方法有著迫切需求[19]。因此，本文基于深度強(qiáng)化學(xué)習(xí)，建立酒店收益管理模型，對(duì)酒店收益管理系統(tǒng)中的數(shù)據(jù)進(jìn)行建模和分析，以期優(yōu)化收益管理。該研究有一定的理論和應(yīng)用價(jià)值。

1問題描述

收益管理系統(tǒng)的主要功能包括數(shù)據(jù)收集、分析、預(yù)測(cè)和優(yōu)化。預(yù)測(cè)算法中包括平均、回歸等統(tǒng)計(jì)學(xué)算法，根據(jù)歷年銷售情況，統(tǒng)計(jì)預(yù)測(cè)未來市場(chǎng)狀況，而優(yōu)化系統(tǒng)根據(jù)未來市場(chǎng)狀況，提出合理的價(jià)格。收益管理系統(tǒng)優(yōu)化時(shí)，常參考4個(gè)重要參數(shù)：即距離入住日期的天數(shù)、市場(chǎng)需求的等級(jí)、競(jìng)爭(zhēng)對(duì)手的價(jià)格和剩余房間的數(shù)量，通過這些數(shù)據(jù)的收集和算法運(yùn)算，收益管理系統(tǒng)提出最優(yōu)收益增長(zhǎng)建議[20]。通過收益管理和強(qiáng)化學(xué)習(xí)問題之間要素的對(duì)應(yīng)，可將收益管理問題表述為強(qiáng)化學(xué)習(xí)問題模型。收益管理的目標(biāo)是最大化營(yíng)業(yè)額和利潤(rùn)，這兩個(gè)指標(biāo)可以作為強(qiáng)化學(xué)習(xí)算法的優(yōu)化目標(biāo)。模型契合的核心在于優(yōu)化目標(biāo)的一致性，本文選擇營(yíng)業(yè)額作為優(yōu)化目標(biāo)。狀態(tài)對(duì)應(yīng)預(yù)測(cè)參數(shù)和優(yōu)化參數(shù)，預(yù)測(cè)參數(shù)包含時(shí)間和日期，優(yōu)化參數(shù)包含距離入住日期的天數(shù)、市場(chǎng)需求的等級(jí)、競(jìng)爭(zhēng)對(duì)手的價(jià)格和剩余房間的數(shù)量等。在傳統(tǒng)收益管理系統(tǒng)運(yùn)行過程中，對(duì)于應(yīng)用強(qiáng)化學(xué)習(xí)算法的收益管理系統(tǒng)，要盡可能多的采用這些參數(shù)做出預(yù)測(cè)和優(yōu)化，以做出更加準(zhǔn)確的預(yù)測(cè)。由于這些因素客觀存在，無法直接控制，因此它們對(duì)應(yīng)強(qiáng)化學(xué)習(xí)問題中的狀態(tài)。動(dòng)作對(duì)應(yīng)銷售價(jià)格和市場(chǎng)建議，銷售價(jià)格是酒店可以隨意改動(dòng)的參數(shù)，酒店通過主動(dòng)控制該參數(shù)，求得收益最大化，因此可把它當(dāng)作動(dòng)作。值得注意的是，無論環(huán)境如何，動(dòng)作集合都不會(huì)改變，即定價(jià)的取值范圍不會(huì)改變，智能體對(duì)應(yīng)的是進(jìn)行預(yù)測(cè)和優(yōu)化收益管理系統(tǒng)。傳統(tǒng)收益管理系統(tǒng)的算法，按照狀態(tài)動(dòng)作收益的模型運(yùn)作，該模型預(yù)先定義好，而強(qiáng)化學(xué)習(xí)算法是從歷史經(jīng)驗(yàn)中學(xué)習(xí)。

強(qiáng)化學(xué)習(xí)算法有較大的靈活性，即使修改模型約束條件，強(qiáng)化學(xué)習(xí)算法仍能正確運(yùn)行，并在新的約束條件下盡可能求得最優(yōu)解。目前，對(duì)各個(gè)參數(shù)的選擇是模仿收益管理問題的傳統(tǒng)模型，建立該模型要盡可能合理地選擇輸入輸出參數(shù)，相同的參數(shù)選擇可以方便對(duì)結(jié)果進(jìn)行比較。某些條件是否人為可控等酒店管理學(xué)較深專業(yè)內(nèi)容，是該領(lǐng)域一個(gè)開放性問題。

2基于深度強(qiáng)化學(xué)習(xí)的酒店收益管理模型

2.1MDP模型

馬爾可夫決策過程（markovdecisionprocess，MDP）是序貫決策（sequentialdecision，SD）的數(shù)學(xué)模型，用于在系統(tǒng)狀態(tài)具有馬爾可夫性質(zhì)的環(huán)境中，模擬智能體可實(shí)現(xiàn)的隨機(jī)性策略與回報(bào)。在隨機(jī)過程中，馬爾可夫過程定義為

式中，P{|}表示條件概率;Xtn表示tn時(shí)刻x的分布;x表示入住率。

令顧客在t日預(yù)訂a日房間的入住率為X（t，a），考慮以下統(tǒng)計(jì)獨(dú)立性假設(shè)是否成立，即

根據(jù)以上假設(shè)是否成立，將問題場(chǎng)景分為3種情況。若式（3）不成立，則過去的預(yù)訂情況會(huì)影響將來的預(yù)訂情況，依據(jù)預(yù)訂日或入住日均無法建立馬爾可夫過程，只能建立博弈論模型。若式（3）成立但式（2）不成立，則同一預(yù)訂日的不同入住日Xt，a和Xt，b彼此相關(guān)，可依據(jù)預(yù)訂日Xt建立馬爾可夫過程模型，每個(gè)預(yù)訂日對(duì)應(yīng)一個(gè)狀態(tài)Xt，SymboleB@

若式（2）和式（3）均成立，則可依據(jù)入住日建立馬爾可夫過程模型，每個(gè)預(yù)訂日入住日組合Xt，a對(duì)應(yīng)一個(gè)狀態(tài)，因此可獨(dú)立描述Xt，a的MDP性質(zhì)，即

根據(jù)酒店運(yùn)行的一般經(jīng)驗(yàn)，顧客不會(huì)因?yàn)槟橙站频暧啙M而改變行程，也不會(huì)提前猜測(cè)酒店的打折行為，因此Xt，a具備統(tǒng)計(jì)獨(dú)立性，以上所述假設(shè)基本成立。

在現(xiàn)實(shí)問題中界定收益管理系統(tǒng)，做出決策時(shí)間點(diǎn)。在航空收益管理中，通常每賣出一張票，進(jìn)行一次運(yùn)算，并輸出新的動(dòng)作，決定新的票價(jià)，然而酒店管理無法頻繁地更改房?jī)r(jià)，酒店根據(jù)銷售狀況，每天更改1次房?jī)r(jià)，本文采用這一常用定價(jià)方法。能否利用機(jī)器學(xué)習(xí)方法更頻繁地更改房?jī)r(jià)，屬于開放性問題。假如酒店在固定天數(shù)以前開始房間預(yù)訂，并以固定的時(shí)間間隔更改房?jī)r(jià)，那么總決策次數(shù)固定，該馬爾可夫鏈將是一個(gè)具有固定長(zhǎng)度的分幕式任務(wù)，簡(jiǎn)化了MDP的統(tǒng)計(jì)學(xué)性質(zhì)。

定義狀態(tài)為s，則s是多個(gè)不同變量的連接，其包含以下部分：

1）入住日的日期為te，該參數(shù)在整個(gè)幕中都不變。

2）預(yù)訂日距離入住日期的天數(shù)為ts，該參數(shù)在每個(gè)幕中都以固定次序遞減。

3）在特定日期出現(xiàn)的客觀狀態(tài)，如市場(chǎng)需求的等級(jí)，競(jìng)爭(zhēng)對(duì)手的價(jià)格等統(tǒng)稱為sr。這些客觀狀態(tài)可以看作環(huán)境根據(jù)t參數(shù)從一個(gè)分布中隨機(jī)取值，不受策略動(dòng)作影響，也就是說，sr的分布只由te和ts直接表示，而與MDP性質(zhì)無關(guān)，即

4）受策略動(dòng)作影響的狀態(tài)sm，即剩余房間的數(shù)量，剩余房間的數(shù)量是s中受馬爾可夫性質(zhì)影響的部分，它會(huì)因?yàn)樽龀鰶Q策的不同而變化，這些變量的值域不會(huì)互相影響，因此總的狀態(tài)集合S是它們分別的狀態(tài)集合的外積，即

式中，T表示所有日期的集合。盡管sm已經(jīng)表現(xiàn)出馬爾可夫性質(zhì)，加上統(tǒng)計(jì)獨(dú)立的參數(shù)te、ts和sr，相當(dāng)于正交擴(kuò)展了MDP狀態(tài)空間，其MDP性質(zhì)仍不變，且具有更好的方差。

定義動(dòng)作為a，a包含各個(gè)房型的價(jià)格和可超售的數(shù)量，即

a={a1，a2，a3…}

在每次銷售后，即更新的模型中，可以在賣出最大數(shù)量后，通過將價(jià)格定為非常大來阻止更多的超售，但在每天更新的模型中，無法采取這樣的策略，因此必須預(yù)先設(shè)定好最大允許的超售數(shù)量。由此可見，定時(shí)更新的模型更加粗?；?，需要對(duì)一段時(shí)間內(nèi)的均值作出統(tǒng)計(jì)學(xué)估計(jì)。

定義收益為r，在收益管理問題中，收益就是總營(yíng)業(yè)額，即所有動(dòng)作的和。但值得注意的是，實(shí)際營(yíng)業(yè)額還需要去除去訂了房而沒來入住的訂房數(shù)，并考慮因超額訂房而安排到別的酒店入住的客人，因?yàn)檫@部分客人需要反過來墊付房費(fèi)，所以從強(qiáng)化學(xué)習(xí)的性質(zhì)而言，應(yīng)當(dāng)加上一個(gè)較大的懲罰，以避免出現(xiàn)這種情況。

既然sr是te，ts的隨機(jī)函數(shù)，那么不考慮MDP性質(zhì)sm，可定義某預(yù)訂日對(duì)某入住日的收益先驗(yàn)預(yù)測(cè)值r（te，ts），這個(gè)值互相之間不相關(guān)，該先驗(yàn)預(yù)測(cè)函數(shù)，不考慮強(qiáng)化學(xué)習(xí)過程的傳統(tǒng)預(yù)測(cè)方法所逼近的函數(shù)，應(yīng)與此類傳統(tǒng)方法進(jìn)行比較。

在正確定義s、a和r之后，可得到強(qiáng)化學(xué)習(xí)模型的完整基礎(chǔ)，并可推得狀態(tài)空間S和A的定義及價(jià)值函數(shù)V和Q的定義，即

根據(jù)原問題的性質(zhì)，推論s、a、r的恰當(dāng)取值方式，并選擇合適的擬合函數(shù)。

2.2數(shù)據(jù)模型

根據(jù)具體業(yè)務(wù)，確定具體的狀態(tài)空間S和A，S構(gòu)成如前所述，是多個(gè)部分的外積。其中，所有數(shù)值，即日期、天數(shù)、市場(chǎng)等級(jí)、空房數(shù)都是有限取值的離散參數(shù)。因此，可以方便推論出S是一個(gè)有限集合。

為了深度學(xué)習(xí)模型的穩(wěn)定性，可將其當(dāng)作多個(gè)正則化的連續(xù)值構(gòu)成的狀態(tài)空間。在定義了正交隨機(jī)過程te和ts后，原連續(xù)可達(dá)的MDP過程sm被擴(kuò)大和分割成多個(gè)不可達(dá)的狀態(tài)空間，每個(gè)te規(guī)定了一個(gè)起始點(diǎn)、一個(gè)結(jié)束點(diǎn)和其間的一組狀態(tài)，不同組之間不可達(dá);ts則指導(dǎo)對(duì)不同狀態(tài)下狀態(tài)轉(zhuǎn)移概率p做出更精確計(jì)算。對(duì)于表格方法，不同組之間不可達(dá)，要求必須遍歷所有組的方法，參數(shù)方法盡管可以泛化到其他組，但為了泛化性仍需要盡量多達(dá)到一些組。

定義A。房?jī)r(jià)應(yīng)該是從0到無窮大的一個(gè)連續(xù)取值，然而價(jià)值函數(shù)方法無法處理連續(xù)策略，因此必須提出一個(gè)離散策略方法。從酒店管理的角度考慮，可以定義一些離散的房?jī)r(jià)值，大概5～50個(gè)整值，而不是在連續(xù)分布中取極值。這不僅滿足了價(jià)值函數(shù)方法的需要，而且方便了酒店管理系統(tǒng)的設(shè)計(jì)，可考慮在策略梯度方法中使用連續(xù)策略空間。

更大的問題是按渠道定價(jià)。收益管理學(xué)指出，酒店具有前臺(tái)、協(xié)議客戶、旅行社、在線旅行代理（onlinetravelagency，OTA）等多種銷售渠道。對(duì)每個(gè)銷售渠道制定不同價(jià)格是收益管理的重要部分，而且這些渠道價(jià)格并非互不相干，而是具備各種沒有規(guī)律的關(guān)聯(lián)，例如協(xié)議客戶會(huì)要求在門市價(jià)格上的固定折扣，OTA會(huì)要求全網(wǎng)最低價(jià)等。

另外，商務(wù)酒店經(jīng)常具有過多的房型，還經(jīng)常更改房型。以本文所采用的數(shù)據(jù)為例，當(dāng)前該酒店具有26種房型，歷史上曾經(jīng)使用過的房型高達(dá)100多種，有時(shí)兩種房型其實(shí)是一種（大床房和雙人房可以互相切換），一種房型是兩種（通過早餐、服務(wù)的區(qū)別將同一房間以兩個(gè)價(jià)格出售），這些具體業(yè)務(wù)上的復(fù)雜性，使得為其確立一個(gè)平凡、可靠的狀態(tài)空間變得非常困難。

為解決上述問題，本文對(duì)定價(jià)數(shù)據(jù)進(jìn)行預(yù)處理，通過固定的數(shù)學(xué)公式，得到一個(gè)較為穩(wěn)定的狀態(tài)空間，或者定價(jià)體系。首先建立數(shù)個(gè)價(jià)格標(biāo)準(zhǔn)，每個(gè)標(biāo)準(zhǔn)價(jià)代表一類房型。標(biāo)準(zhǔn)價(jià)是強(qiáng)化學(xué)習(xí)模型中使用的a，同時(shí)，標(biāo)準(zhǔn)價(jià)也定義了區(qū)間和步長(zhǎng)（如果需要離散策略）。將A收縮到有限狀態(tài)空間，對(duì)于標(biāo)準(zhǔn)價(jià)定義的每個(gè)房型，用標(biāo)準(zhǔn)價(jià)乘上一個(gè)固定百分比，得到每個(gè)房型的價(jià)格，然后再對(duì)每個(gè)協(xié)議和OTA等渠道乘上一個(gè)固定的折上折，最終得到實(shí)際需要的房?jī)r(jià)a*及其狀態(tài)空間A*。

令C為計(jì)算實(shí)際房?jī)r(jià)的方法，則Ca=a*，可以將其更廣泛地表示為一個(gè)線性變換C：aC=a*，na*>n（a）

如果該變換選取不當(dāng)，會(huì)嚴(yán)重影響a*的方差，從而降低回報(bào)的期望，由于酒店收益管理人員能準(zhǔn)確擬定定價(jià)體系，降低不同部分間的方差，并記錄和使用a，不能誤將真實(shí)價(jià)格a*輸入強(qiáng)化學(xué)習(xí)算法中，但回報(bào)r需要使用a*求得，在預(yù)處理下，這對(duì)正確獲得現(xiàn)實(shí)中的最大營(yíng)業(yè)額至關(guān)重要。

2.3函數(shù)模型

選取合適的參數(shù)近似方法，逼近尚未定義的、真正想要學(xué)習(xí)的、具體定價(jià)策略π。首先決定是采用同軌策略還是離軌策略，對(duì)于軟件的可用性，同一個(gè)模型最好同時(shí)用兩種方法學(xué)習(xí)。當(dāng)一套收益管理系統(tǒng)應(yīng)用于同一家酒店時(shí)，運(yùn)用其歷史數(shù)據(jù)，學(xué)習(xí)出一套能夠初步應(yīng)用的模型，在該模型運(yùn)行過程中，再不斷根據(jù)環(huán)境變化修正模型持續(xù)學(xué)習(xí)。因此，盡量排除不能同時(shí)應(yīng)用于兩種方法的模型。

在價(jià)值函數(shù)方法和策略空間方法中進(jìn)行選擇，對(duì)于價(jià)值函數(shù)方法，應(yīng)考慮簡(jiǎn)單的能夠進(jìn)行離軌策略學(xué)習(xí)的方法，如Q學(xué)習(xí)及它的深度學(xué)習(xí)版本深度Q網(wǎng)絡(luò)（deepQnetwork，DQN）。

值得注意的是，DQN網(wǎng)絡(luò)對(duì)每個(gè)可能取的動(dòng)作都會(huì)有一個(gè)輸出，這對(duì)動(dòng)作空間A非常大的模型不利。假設(shè)有4個(gè)標(biāo)準(zhǔn)價(jià)，每個(gè)標(biāo)準(zhǔn)價(jià)有20個(gè)取值，則a有160000種取值，不利于神經(jīng)網(wǎng)絡(luò)計(jì)算。另外，也可選擇為每個(gè)標(biāo)準(zhǔn)價(jià)的每種取值得到一個(gè)輸出，這樣DQN就有80個(gè)輸出，再?gòu)拿恳唤M20個(gè)中取最大值作為每個(gè)標(biāo)準(zhǔn)價(jià)的取值，這等同于將80個(gè)取值的向量空間，線性映射到160000個(gè)取值的實(shí)際動(dòng)作空間中，但該映射不正確，由于多個(gè)標(biāo)準(zhǔn)價(jià)之間是非線性關(guān)系，所以該映射也是非線性關(guān)系，這種有少數(shù)輸出的價(jià)值網(wǎng)絡(luò)是真正價(jià)值網(wǎng)絡(luò)的線性近似。由于線性映射對(duì)特定非線性函數(shù)在某一點(diǎn)上的估計(jì)有偏差，對(duì)極值估計(jì)也有偏差，所以對(duì)能取得r極值的a的估計(jì)也有偏差。

假如使用同軌策略方法，可期待讓樣本集中于所需要的極值點(diǎn)的鄰域，可使該線性近似在該點(diǎn)上的估計(jì)變?yōu)闊o偏差，從而正確估計(jì)極值點(diǎn)。此外，還需要離軌策略，而且離軌策略b與目標(biāo)策略π無關(guān)，而是取決于酒店在應(yīng)用本文前所任意選擇的收益管理策略，很難期待該價(jià)值函數(shù)的映射在π的特定點(diǎn)上無偏差，因此應(yīng)避免使用此方法。

既然b同π完全無關(guān)，那穩(wěn)定性問題就必須考慮，這種情況下參數(shù)會(huì)發(fā)散，其解決方案是采取完整的蒙特卡洛方法避免發(fā)散。鑒于MDP的鏈長(zhǎng)完全確定，該問題的分幕式數(shù)學(xué)性質(zhì)和計(jì)算性能都可以得到保證。因此，排除所有時(shí)序差分方法，或者將權(quán)值λ定為1，確保蒙特卡洛性質(zhì)。

若在價(jià)值函數(shù)方法上遇到困難，應(yīng)考慮策略梯度方法。策略梯度方法看起來能給出更優(yōu)秀的性質(zhì)，例如當(dāng)直接用神經(jīng)網(wǎng)絡(luò)替代從價(jià)值函數(shù)中取極值的映射，就可正確表示其中的非線性性質(zhì)，從而避免線性方法的偏差。因此，可直接采取簡(jiǎn)單直觀的蒙特卡洛策略梯度方法REINFORCE，即

該方法可高效處理所面臨的策略向量，用策略梯度向量加速結(jié)果的收斂，并且提供收斂性保證，而所具有的分幕數(shù)據(jù)確保了該方法的高效運(yùn)行，也可采用改進(jìn)的策略梯度方法，如ActorCritic方法，此方法在REINFORCE中加入狀態(tài)價(jià)值函數(shù)，作為基線來改進(jìn)收斂效率。-

3基于強(qiáng)化學(xué)習(xí)的收益管理系統(tǒng)實(shí)現(xiàn)

由于收益管理每一幕要在現(xiàn)實(shí)中經(jīng)歷數(shù)月，因此有必要將中間數(shù)據(jù)保存在數(shù)據(jù)庫中。根據(jù)已定義的s、a、r內(nèi)容，也可定義所需的表結(jié)構(gòu)，表示數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)庫關(guān)系圖如圖1所示。-實(shí)際上，幾乎所有的強(qiáng)化學(xué)習(xí)方法都可被描述為廣義策略迭代（generalizedpolicyiteration，GPI），指代讓策略評(píng)估和策略改進(jìn)相互作用的一般思路。策略總是基于特定的價(jià)值函數(shù)進(jìn)行改進(jìn)，價(jià)值函數(shù)也始終會(huì)向?qū)?yīng)特定策略的真實(shí)價(jià)值函數(shù)收斂，而s，a，r，θ等參數(shù)，則在評(píng)估和改進(jìn)流程之間互相傳遞。鑒于所有參數(shù)都存儲(chǔ)在硬盤上，該流程可分割為兩個(gè)獨(dú)立的程序。

定義所使用的π和V的數(shù)據(jù)結(jié)構(gòu)后，可以據(jù)此分割評(píng)估和改進(jìn)流程，整個(gè)訓(xùn)練循環(huán)流程包含兩個(gè)獨(dú)立

運(yùn)行的程序，整個(gè)訓(xùn)練循環(huán)流程圖如圖2所示。

評(píng)估流程將讀取預(yù)訂日ts為今日tn的所有入住率數(shù)據(jù)sm，并向數(shù)據(jù)庫寫入對(duì)應(yīng)的a，即

而改進(jìn)流程將讀取入住日te為今日tn的所有數(shù)據(jù)s，a，r，并向模型添加相應(yīng)的梯度，即

由于該流程真實(shí)持久地記錄了所有的a，所以可采取蒙特卡洛方法進(jìn)行學(xué)習(xí)。

rte，ts是某酒店某日真實(shí)的營(yíng)業(yè)額，所以必須在真實(shí)的te時(shí)刻，外部程序才會(huì)將真實(shí)的r寫入數(shù)據(jù)庫。同樣，smte，ts是某酒店某日真實(shí)的空置率，所以必須在真實(shí)的ts時(shí)刻，外部程序才會(huì)將真實(shí)的sm寫入數(shù)據(jù)庫?，F(xiàn)實(shí)中的強(qiáng)化學(xué)習(xí)，其流程被真實(shí)業(yè)務(wù)鎖死，必須在動(dòng)作真實(shí)完成后，才能進(jìn)行學(xué)習(xí)，但可以通過歷史記錄進(jìn)行學(xué)習(xí)。進(jìn)行離軌策略學(xué)習(xí)，只需代替評(píng)估流程，將用其他方法決定的房?jī)r(jià)a寫入數(shù)據(jù)庫，就可以在改進(jìn)流程中讀取sm，a，r數(shù)據(jù)，并進(jìn)行訓(xùn)練。-

4實(shí)驗(yàn)結(jié)果與分析

傳統(tǒng)酒店收益管理系統(tǒng)的方法有移動(dòng)平均法和線性回歸法等基于統(tǒng)計(jì)學(xué)的方法，根據(jù)同比等數(shù)據(jù)，對(duì)未來營(yíng)銷結(jié)果進(jìn)行預(yù)測(cè)，將本文方法與某供應(yīng)商采用的傳統(tǒng)預(yù)測(cè)收益管理系統(tǒng)方法進(jìn)行對(duì)比[2]。

由于策略梯度方法無法給出對(duì)離軌策略狀態(tài)價(jià)值的直接預(yù)測(cè)，即無法將計(jì)算結(jié)果同歷史數(shù)據(jù)進(jìn)行對(duì)比，這在模擬環(huán)境中不是問題，直接對(duì)比每幕收益的最終收斂結(jié)果即可，但現(xiàn)實(shí)環(huán)境不允許方法在試探中進(jìn)行收斂。因此，只有在方法完全收斂之后，再與傳統(tǒng)方法進(jìn)行對(duì)比，本文記錄預(yù)訓(xùn)練收斂過程以作參考。

REINFORCE方法在預(yù)訓(xùn)練中損失函數(shù)變化如圖3所示。由圖3可以看出，約在50000次下降后，預(yù)訓(xùn)練模型已基本收斂。

在監(jiān)督條件下，將本文算法在某酒店中試運(yùn)行一段時(shí)間（2021年），并將本文算法與未使用收益管理、或者僅使用少量人工收益管理（2018年）和使用某公司收益管理系統(tǒng)的狀態(tài)（2019年）進(jìn)行對(duì)比分析，其統(tǒng)計(jì)區(qū)間是每年前120d的每日收入，不同收益管理方法的每日收入對(duì)比如圖4所示。圖3REINFORCE方法在預(yù)訓(xùn)練中損失函數(shù)變化圖4不同收益管理方法的每日收入對(duì)比-由圖4可以看出，3列數(shù)據(jù)的中位數(shù)相近，但強(qiáng)化學(xué)習(xí)收益管理方法的最大值顯著高于傳統(tǒng)方法，傳統(tǒng)方法又高于不采用收益管理方法。傳統(tǒng)方法所采用的移動(dòng)平均法和線性回歸法，能較好地預(yù)測(cè)當(dāng)前預(yù)期房?jī)r(jià)，但對(duì)無規(guī)律、不可預(yù)期的突發(fā)事件難以進(jìn)行快速反應(yīng)，因其預(yù)測(cè)采用歷史數(shù)據(jù)，近期數(shù)據(jù)權(quán)重相對(duì)較小。強(qiáng)化學(xué)習(xí)算法則主要根據(jù)近期數(shù)據(jù)進(jìn)行預(yù)測(cè)，因而能抓住機(jī)會(huì)獲取大量收益。值得注意的是，若不采用強(qiáng)化學(xué)習(xí)方法，則難以獲得足夠訓(xùn)練數(shù)據(jù)對(duì)近期數(shù)據(jù)預(yù)測(cè)模型進(jìn)行訓(xùn)練。

另外，傳統(tǒng)收益管理方法成本較高，人工方法需要聘請(qǐng)收益管理經(jīng)理配合數(shù)名員工，專職進(jìn)行收益管理操作，供應(yīng)商的收益管理系統(tǒng)則定價(jià)高，達(dá)到數(shù)萬甚至數(shù)十萬，而數(shù)據(jù)驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)收益管理方法則成本低廉，只要配合酒店管理系統(tǒng)導(dǎo)出酒店數(shù)據(jù)，就能訓(xùn)練出可用的收益管理策略。

不同收益管理方法總收益如表1所示。由表1可以看出，強(qiáng)化學(xué)習(xí)方法與人工收益管理方法相比，總收益約提升了15%，與傳統(tǒng)收益管理系統(tǒng)相比，總收益約提升了5%。這是收益管理一個(gè)非常顯著的提升，充分顯示了深度強(qiáng)化學(xué)習(xí)收益管理方法的優(yōu)秀。-

5結(jié)束語

本文主要對(duì)一種基于深度強(qiáng)化學(xué)習(xí)的酒店收益管理模型與方法進(jìn)行研究。理論分析和實(shí)驗(yàn)表明，強(qiáng)化學(xué)習(xí)模型能夠有效地應(yīng)用于酒店收益管理問題，通過對(duì)酒店收益管理問題的數(shù)學(xué)模型進(jìn)行建模，驗(yàn)證了強(qiáng)化學(xué)習(xí)數(shù)學(xué)模型在收益管理問題中的理論有效性。本文方法已在實(shí)驗(yàn)中表現(xiàn)出顯著的收益，而提出的數(shù)學(xué)模型可啟發(fā)更多類似的后續(xù)研究。但由于相關(guān)領(lǐng)域的深入研究較少，難以對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行更深入的研究。進(jìn)一步研究可在本文的框架下更換數(shù)據(jù)來源和訓(xùn)練方法，附加更多的監(jiān)督學(xué)習(xí)方法，并可期待對(duì)本文的實(shí)驗(yàn)結(jié)果進(jìn)一步改進(jìn)。

參考文獻(xiàn)：

[1]CROSSRG.Launchingtherevenuerocket：howrevenuemanagementcanworkforyourbusiness[J].TheCornellHotelandRestaurantAdministrationQuarterly，1997，38（2）：3243.

[2]GALLEGOG，TOPALOGLUH.Revenuemanagementandpricinganalytics[M].NewYork：Springer，2019.

[3]MCGILLJI，VANRYZINGJ.Revenuemanagement：researchoverviewandprospects[J].TransportationScience，1999，33（2）：233256.

[4]ERDEMM，JIANGL.Anoverviewofhotelrevenuemanagementresearchandemergingkeypatternsinthethirdmillennium[J].JournalofHospitalityandTourismTechnology，2016，7（3）：300312.

[5]SANCHEZ-MEDINAAJ，C-SANCHEZE.Usingmachinelearningandbigdataforefficientforecastingofhotelbookingcancellations[J].InternationalJournalofHospitalityManagement，2020，89：102546102554.

[6]WEATHERFORDLR，KIMESSE.Acomparisonofforecastingmethodsforhotelrevenuemanagement[J].Internationaljournalofforecasting，2003，19（3）：401415.

[7]WEBBT，SCHWARTZZ，XIANGZ，etal.Revenuemanagementforecasting：theresiliencyofadvancedbookingmethodsgivendynamicbookingwindows[J].InternationalJournalofHospitalityManagement，2020，89：102590102598.

[8]ZHANGQ，QIULY，WUHW，etal.Deeplearningbaseddynamicpricingmodelforhotelrevenuemanagement[C]∥2019InternationalConferenceonDataMiningWorkshops.Beijing：IEEE，2019：370375.

[9]FAROUKELGAYARN，SALEHM，ATIYAA，etal.Anintegratedframeworkforadvancedhotelrevenuemanagement[J].InternationalJournalofContemporaryHospitalityManagement，2011，23（1）：8498.

[10]HANW，LIUL，ZHENGH.Dynamicpricingbymultiagentreinforcementlearning[C]∥2008InternationalSymposiumonElectronicCommerceandSecurity.Guangzhou：IEEE，2008：226229.

[11]SUTTONRS，BARTOAG.Reinforcementlearning：Anintroduction[M].Cambridge：MITpress，2018.

[12]HENDERSONP，ISLAMR，BACHMANP，etal.Deepreinforcementlearningthatmatters[C]∥TheThirthy-SecondAAAIConferenceOnArtificialIntelligence.NewOrleans，Lousiana，USA：AAAI，2018.

[13]LIMJ，LIUH，LUOT，etal.Deepreinforcementlearningbasedreliabilitypricingstrategyinelectricityspotmarket[C]∥2020InternationalConferencesonInternetofThings（iThings）andIEEEGreenComputingandCommunications（GreenCom）andIEEECyber，PhysicalandSocialComputing（CPSCom）andIEEESmartData（SmartData）andIEEECongressonCybermatics（Cybermatics）.Rhodes，Greece：IEEE，2020：901909.

[14]JINJH，ZHUXX，WUBW，etal.Adynamicanddeadline-orientedroadpricingmechanismforurbantrafficmanagement[J].TsinghuaScienceandTechnology，2021，27（1）：91102.

[15]SHIB，YUANH，SHIR.Pricingcloudresourcebasedonmulti-agentreinforcementlearninginthecompetingenvironment[C]∥2018IEEEInternationalConferencesonParallelandDistributedProcessingwithApplications，UbiquitousComputingandCommunications，BigDataandCloudComputing，SocialComputingandNetworking，SustainableComputingandCommunications（ISPA/IUCC/BDCloud/SocialCom/SustainCom）.Melbourne（AV）：IEEE，2018：462468.

[16]GOSAVIIA，BANDLAN，DASTK.Areinforcementlearningapproachtoasinglelegairlinerevenuemanagementproblemwithmultiplefareclassesandoverbooking[J].IIEtransactions，2002，34（9）：729742.

[17]LAWHEADRJ，GOSAVIA.Aboundedactor-criticreinforcementlearningalgorithmappliedtoairlinerevenuemanagement[J].EngineeringApplicationsofArtificialIntelligence，2019，82：252262.

[18]GOSAVIIA，BANDLAN，DASTK.Areinforcementlearningapproachtoasinglelegairlinerevenuemanagementproblemwithmultiplefareclassesandoverbooking[J].IIEtransactions，2002，34（9）：729742.

[19]KIMESSE.Thefutureofhotelrevenuemanagement[J].JournalofRevenueandPricingManagement，2011，10（1）：6272.

[20]ISNAENIDR，CHOUSY，PHANKP，etal.Developingacceptancepoliciesforastochasticsingle-resourcerevenuemanagementproblem[C]∥2015IEEE39thAnnualComputerSoftwareandApplicationsConference.Taichung：IEEE，2015：8488.--科技論文中引言的寫作內(nèi)容

引言（也稱前言、序言或概述）經(jīng)常作為科技論文的開端，提出文中要研究的問題，引導(dǎo)讀者閱讀和理解全文。

引言作為論文的開場(chǎng)白，應(yīng)介紹論文的寫作背景和目的，以及相關(guān)領(lǐng)域內(nèi)前人所作的工作和研究的概況，說明本研究與前人工作的關(guān)系，目前研究的熱點(diǎn)、存在的問題及作者工作的意義，引出本文的主題給讀者以引導(dǎo)。

引言也可以點(diǎn)明本文的理論依據(jù)、實(shí)驗(yàn)基礎(chǔ)和研究方法，簡(jiǎn)單闡述其研究?jī)?nèi)容，三言兩語預(yù)示本研究的結(jié)果意義和前景，但不必展開討論。

HotelRevenueManagementMethodBasedonDeepReinforcementLearning

LIUXianfeng，YUZhongqing

（CollegeofComputerScience&Technology，QingdaoUniversity，Qingdao266101，China）

Abstract：Aimingattheapplicationofdeepreinforcementlearninginhotelrevenuemanagement，thispaperbuildsamodelandmethodofrevenuemanagementdecision-makingprocessbasedondeepreinforcementlearning.BydefiningtheMarkovnatureoftherevenuemanagementproblem，thestatisticalnatureofitsmodelandparametersisdescribed.Atthesametime，aprogramiswrittentorealizearevenuemanagementmethodbasedondeepreinforcementlearning，andthroughexperiments，themethodinthisarticleiscomparedwiththetraditionalmethodadoptedbyacertainsupplier.Theanalysisresultsshowthatthetotalrevenueofthereinforcementlearningmethodisincreasedbyabout15%comparedwiththemanualrevenuemanagementmethod，andthetotalrevenueisincreasedbyabout5%comparedwiththetraditionalrevenuemanagementsystem.Thesupervisedlearningmodelputstoomuchemphasisonglobalgeneralization，whichincreasesthevarianceoftheestimationoftheoptimalresult，andtheamountofcalculationistoolarge.Themethodproposedinthispapercandescendtotheoptimalpositionfaster.Thisresearchprovidesatheoreticalbasisforcompaniestoprovideaccuratepricingandmarketingdecisionsdrivenbydata.

Keywords：deeplearning;reinforcementlearning;hotelmanagement;revenuemanagement

收稿日期：20211026;修回日期：20211214

基金項(xiàng)目：山東省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019JZZY020101）

作者簡(jiǎn)介：劉顯峰（1994），男，碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)的工業(yè)應(yīng)用。

通信作者：于忠清（1962），男，博士，研究員，博士生導(dǎo)師，主要研究方向?yàn)閿?shù)據(jù)挖掘和智能制造。Email：yuzq@qdu.edu.cn-