基于稀疏神經(jīng)網(wǎng)絡(luò)的火鍋銷量影響因素分析

摘? 要：神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于目標(biāo)檢測(cè)、優(yōu)化組合等領(lǐng)域，但其往往容易過(guò)擬合。為解決過(guò)擬合問(wèn)題，通常對(duì)神經(jīng)網(wǎng)絡(luò)稀疏化，這類技術(shù)目前較為成熟，如dropout。文章主要考慮在Lasso罰函數(shù)情形下，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)連接的權(quán)重進(jìn)行壓縮，實(shí)現(xiàn)高維非線性情形下的變量選擇，并使用蒙特卡洛模擬驗(yàn)證該稀疏神經(jīng)網(wǎng)絡(luò)的變量選擇結(jié)果具有一致性。最后將該模型應(yīng)用到重慶市火鍋團(tuán)購(gòu)銷量分析中，得到10個(gè)對(duì)火鍋銷量最具影響的因素。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);稀疏神經(jīng)網(wǎng)絡(luò);變量選擇

中圖分類號(hào)：TP399? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）06-0086-04

Analysis of Influencing Factors of Hot Pot Sales Based on Sparse Neural Network

GUO Ping

（School of Mathematics and Statistics， Guangxi Normal University， Guilin? 541006， China）

Abstract： Neural network is widely used in the field such as target detection， optimization and combination and so on. but it is easy to overfit. In order to solve the overfitting problem， neural networks are usually thinned and such techniques are mature， such as dropout. This paper mainly considers the variable selection in the high-dimensional nonlinear case by squeezing the weight of the neural network connection under the Lasso penalty function case. Monte Carlo simulations are also used to verify the consistency of the variable selection results for this sparse neural network. Finally， the model is applied to the sales analysis of Chongqing hot pot group purchase， and 10 factors that have the most influence on the sales of hot pot are obtained.

Keywords： neural network; sparse neural network; variable selection

0? 引? 言

神經(jīng)網(wǎng)絡(luò)（Neural Network）作為受控的、非線性的深度學(xué)習(xí)基礎(chǔ)模型，因其大規(guī)模并行處理、分布式存儲(chǔ)等特點(diǎn)，被應(yīng)用于模式識(shí)別、優(yōu)化組合等領(lǐng)域。但由于它往往容易過(guò)參數(shù)化，對(duì)數(shù)據(jù)產(chǎn)生過(guò)擬合，神經(jīng)元和權(quán)值稀疏技術(shù)得到重視。例如考慮將神經(jīng)網(wǎng)絡(luò)稀疏化，即對(duì)神經(jīng)網(wǎng)絡(luò)的連接的權(quán)重增加懲罰函數(shù)，如Lasso，將權(quán)重系數(shù)壓縮至0，從而實(shí)現(xiàn)變量選擇。

周書(shū)豪使用添加了“dropout”正則技術(shù)的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network）預(yù)測(cè)股票第二天漲跌情況[1]。Krizhevsky等考慮神經(jīng)元稀疏技術(shù)“dropout”，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks），將LSVRC-2010競(jìng)賽圖像進(jìn)行分類[2]。Faming Liang等提出貝葉斯神經(jīng)網(wǎng)絡(luò)（Bayesian Neural Networks），基于腫瘤數(shù)據(jù)，成功應(yīng)用于抗癌藥物敏感性相關(guān)基因的鑒定[3]。Girshick等提出R-CNN算法，該算法結(jié)合CNN應(yīng)用于目標(biāo)定位和對(duì)象分離，并且在標(biāo)準(zhǔn)PASCAL VOC數(shù)據(jù)集對(duì)象檢測(cè)上表現(xiàn)良好[4]。Jean Feng等提出稀疏輸入神經(jīng)網(wǎng)絡(luò)（Sparse-Input Neural Networks），對(duì)輸入神經(jīng)元的權(quán)值添加Group Lasso罰函數(shù)，并驗(yàn)證其優(yōu)于非參數(shù)高維估計(jì)方法[5]。Yan Sun等提出貝葉斯稀疏神經(jīng)網(wǎng)絡(luò)（Bayesian Sparse Deep Neural Network）解決大規(guī)模壓縮和高維非線性變量選擇問(wèn)題，并驗(yàn)證該模型的一致性[6]。周徐達(dá)提出軟硬件結(jié)合，使用剪枝技術(shù)處理不規(guī)則稀疏神經(jīng)網(wǎng)絡(luò)，以有效實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)壓縮[7]。

綜上所述，稀疏神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用成為主流趨勢(shì)。隨新冠肺炎疫情好轉(zhuǎn)，中國(guó)餐飲市場(chǎng)規(guī)模躍遷，火鍋因其廣泛受眾基礎(chǔ)搜索熱度持續(xù)霸榜[8，9]。2020年，火鍋品類收入4 380億元，占整體餐飲收入的11.08%，搜索量漲幅達(dá)到11.6%;同年火鍋連鎖化率達(dá)到18.3%，較2019年，同比增長(zhǎng)3.2%[10]。重慶市是國(guó)內(nèi)目前擁有火鍋店最多的城市。據(jù)窄門(mén)餐眼收錄的數(shù)據(jù)，截止至2021年10月06日，重慶市火鍋品類占比10.96%，僅次于快餐簡(jiǎn)餐排名第二。在品類比拼大賽道，火鍋?zhàn)鳛椤拔鹜酢?，該如何保持“吸金”特質(zhì)？本文將稀疏神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到重慶市火鍋團(tuán)購(gòu)銷量相關(guān)分析中，探索對(duì)火鍋銷量最具影響的因素。

本文其余部分安排如下，在第二部分介紹稀疏神經(jīng)網(wǎng)絡(luò)模型，在第三部分驗(yàn)證稀疏神經(jīng)網(wǎng)絡(luò)變量選擇的一致性，在第四部分爬取某團(tuán)購(gòu)平臺(tái)重慶市火鍋團(tuán)購(gòu)相關(guān)數(shù)據(jù)，通過(guò)對(duì)火鍋半年銷量、店鋪信息、團(tuán)購(gòu)基本信息及使用規(guī)則數(shù)據(jù)建立稀疏神經(jīng)網(wǎng)絡(luò)模型，分析獲取對(duì)火鍋團(tuán)購(gòu)的銷量最具有影響力的因素，為商戶對(duì)于如何設(shè)計(jì)團(tuán)購(gòu)套餐以吸引更多顧客消費(fèi)提供依據(jù)。57BA3E12-9874-42DC-8917-AA60F86E9236

1? 模型與指標(biāo)解釋

神經(jīng)網(wǎng)絡(luò)（Neural Network）往往容易過(guò)擬合，可以使用Lasso（Least absolute shrinkage and selection operater）罰函數(shù)，在反向傳播神經(jīng)網(wǎng)絡(luò)算法不斷調(diào)整迭代權(quán)值時(shí)，對(duì)神經(jīng)網(wǎng)絡(luò)連接的權(quán)值添加懲罰項(xiàng)。通過(guò)將部分不顯著參數(shù)壓縮到0，實(shí)現(xiàn)高維非線性情形的變量選擇，使得神經(jīng)網(wǎng)絡(luò)模型稀疏化，從而可以很好地解決過(guò)擬合的問(wèn)題。

1.1? 神經(jīng)網(wǎng)絡(luò)模型

用表示神經(jīng)網(wǎng)絡(luò)第m層第i個(gè)神經(jīng)元的激活值，用表示第m層第i個(gè)神經(jīng)元和第m-1層第j個(gè)神經(jīng)元的連接的權(quán)值，用表示第m層第i個(gè)神經(jīng)元的偏置。另外，記神經(jīng)網(wǎng)絡(luò)總層數(shù)為L(zhǎng)，并用tm表示第m層神經(jīng)元個(gè)數(shù)。其他符號(hào)，如n表示樣本數(shù)，p表示協(xié)變量個(gè)數(shù)，表示第m層使用的激活函數(shù)。則第二層神經(jīng)網(wǎng)絡(luò)的計(jì)算公式為：

（1）

其中，，，

，

同理，輸出層神經(jīng)網(wǎng)絡(luò)的計(jì)算公式為：

（2）

1.2? 神經(jīng)網(wǎng)絡(luò)稀疏化

記為真實(shí)值y（X;W，b）對(duì)應(yīng)的擬合值，則可定義如下?lián)p失函數(shù)：

（3）

在神經(jīng)網(wǎng)絡(luò)反向傳播不斷迭代調(diào)整權(quán)重參數(shù)時(shí)，對(duì)權(quán)值添加Lasso罰函數(shù)。Lasso在1996年被Tibshirani提出[11]，該方法的參數(shù)估計(jì)是帶約束條件的最小二乘估計(jì)，本質(zhì)上將部分參數(shù)值壓縮至0，實(shí)現(xiàn)模型選擇。因此，求解權(quán)值的Lasso估計(jì)等價(jià)于最小化下述懲罰似然函數(shù)：

（4）

其中，λ表示調(diào)整參數(shù)，或稱Lasso學(xué)習(xí)率。沿用上述符號(hào)，并用作為選取有效變量的依據(jù)指標(biāo)，它表示輸入層第j個(gè)輸入神經(jīng)元與隱藏層每個(gè)神經(jīng)元的連接權(quán)值的絕對(duì)值之和，即。本文提供兩個(gè)思路選取有效變量。一是對(duì)的值進(jìn)行排序，根據(jù)真實(shí)模型的設(shè)置，選取值較大的t個(gè)變量作為入選變量，例如真實(shí)模型中有5個(gè)有效變量則令t=5。二是根據(jù)有效變量的權(quán)值的估計(jì)值應(yīng)比其余非有效變量權(quán)值的估計(jì)值大的原則劃定閾值，若值小于此閾值將該值置為0，否則不采取任何操作，最終被保留的非零連接權(quán)值所對(duì)應(yīng)的輸入神經(jīng)元為入選有效變量。并使用FSR（False Selection Rate）和NSR（Negative Selection Rate）[12]作為變量選擇好壞的評(píng)價(jià)指標(biāo)。

（5）

2? 數(shù)值模擬

本節(jié)利用蒙特卡洛數(shù)值模擬仿真，說(shuō)明稀疏神經(jīng)網(wǎng)絡(luò)變量選擇的一致性，并說(shuō)明本文兩種選取有效變量思路的優(yōu)良性。從以下神經(jīng)網(wǎng)絡(luò)模型中生成數(shù)據(jù)：

y=tanh（0.5tanh（x1-2x2+5x3）-3tanh（-4x1+x2+2x3））+0x4+…+0x1 000+0.1ε

其中，協(xié)變量x1，x2，…，x1 000與隨機(jī)誤差ε都服從標(biāo)準(zhǔn)正態(tài)分布。數(shù)據(jù)的生成參考Yan Sun[6]，但本文僅生成5個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含10 000個(gè)樣本。將生成的每個(gè)數(shù)據(jù)集打亂，并將每個(gè)數(shù)據(jù)集按8：1：1的比例分為訓(xùn)練集、測(cè)試集、驗(yàn)證集。使用1 000-3-1的初始設(shè)置對(duì)訓(xùn)練集進(jìn)行500次迭代訓(xùn)練神經(jīng)網(wǎng)絡(luò)。此時(shí)，選取SGD（Stochastic Gradient Descent）優(yōu)化器更新權(quán)重，Lasso學(xué)習(xí)率λ=0.01，0.05，0.1，設(shè)置批量訓(xùn)練的子集大小為500，并選擇tanh函數(shù)作為激活函數(shù)。由于SGD算法使用隨機(jī)初始值，為避免模擬結(jié)果的隨機(jī)性，本文對(duì)同一組數(shù)據(jù)重復(fù)運(yùn)行10次，以確定最終選入的統(tǒng)計(jì)變量。

依據(jù)真實(shí)模型的設(shè)置，需從1 000個(gè)特征變量當(dāng)中選出3個(gè)有效變量，此3個(gè)有效變量的權(quán)值的估計(jì)值應(yīng)比其余非有效變量權(quán)值的估計(jì)值大。模擬結(jié)果顯示，對(duì)排序與劃定閾值兩種方法入選的有效變量一致。統(tǒng)計(jì)變量錯(cuò)選率（FSR），真實(shí)變量未入選率（NSR），測(cè)試集均方擬合誤差（MSFE）及均方預(yù)測(cè)誤差（MSPE），如表1所示。

如表1，在同一個(gè)模型情形下，選取不同的Lasso學(xué)習(xí)率，劃定閾值與劃定t值，入選的變量個(gè)數(shù)都為3。統(tǒng)計(jì)變量錯(cuò)選率及真實(shí)未入選率皆為0，即FSR=0，NSR=0。稀疏神經(jīng)網(wǎng)絡(luò)可以較好擬合數(shù)據(jù)，逼近真實(shí)模型。在Lasso學(xué)習(xí)率λ=0.05時(shí)模型性能最好，對(duì)應(yīng)的測(cè)試集均方擬合誤差為MSFE=0.021 9，均方預(yù)測(cè)誤差為MSPE=0.021 8。

3? 實(shí)際應(yīng)用

3.1? 實(shí)例數(shù)據(jù)來(lái)源

各種團(tuán)購(gòu)網(wǎng)站自2010年后深入人民生活，成為眾多網(wǎng)民電子商務(wù)網(wǎng)絡(luò)購(gòu)物的選擇。收集采用相關(guān)的團(tuán)購(gòu)平臺(tái)信息進(jìn)行學(xué)習(xí)研究，具有可靠性、受眾普遍性。本文采用截至2021年11月8日，某團(tuán)購(gòu)上重慶市的火鍋團(tuán)購(gòu)數(shù)據(jù)，共計(jì)數(shù)據(jù)3 391條。分析火鍋團(tuán)購(gòu)的半年累計(jì)銷量的原始數(shù)據(jù)，數(shù)值整體波動(dòng)較大，故對(duì)半年銷量取對(duì)數(shù)。以店鋪火鍋團(tuán)購(gòu)的半年銷量的對(duì)數(shù)為自變量，店鋪信息、團(tuán)購(gòu)基本信息及使用規(guī)則數(shù)據(jù)三大類數(shù)據(jù)作為因變量（共18個(gè)），詳細(xì)統(tǒng)計(jì)變量如表2所示。

記xs=（xs，1，xs，2，…，xs，18），由于各特征變量量綱不一致，考慮對(duì)其進(jìn)行歸一化處理：

（6）

將歸一化后的數(shù)據(jù)作為稀疏神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。同時(shí)也對(duì)對(duì)數(shù)半年銷量作上述歸一化處理。為評(píng)估模型，將3 391條火鍋團(tuán)購(gòu)數(shù)據(jù)打亂，再按8：1：1比例將數(shù)據(jù)分為訓(xùn)練集、測(cè)試集、驗(yàn)證集，這三部分分別有2 713、339、339個(gè)樣本。

3.3? 實(shí)證分析

使用18-3-1的初始設(shè)置訓(xùn)練集數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，即三層神經(jīng)網(wǎng)絡(luò)，隱藏層單元個(gè)數(shù)為3。參考數(shù)值模擬，同樣選取SGD優(yōu)化器更新權(quán)重，并令MSE（Mean Squared Error）作為訓(xùn)練模型的損失函數(shù)，激活函數(shù)仍為tanh函數(shù)，設(shè)置批量訓(xùn)練的子集大小為500;不同的是，設(shè)置的Lasso學(xué)習(xí)率為λ=0.07，迭代周期為100。為避免模擬結(jié)果的隨機(jī)性，在實(shí)例分析中對(duì)各層權(quán)值隨機(jī)初始化，并對(duì)同一組訓(xùn)練數(shù)據(jù)重復(fù)運(yùn)行10次，最后確定入選的統(tǒng)計(jì)變量?；诨疱亪F(tuán)購(gòu)數(shù)據(jù)，模擬顯示訓(xùn)練集、驗(yàn)證集損失函數(shù)隨著迭代次數(shù)的增加，而逐漸趨于0。稀疏神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，變量選擇結(jié)果如表3所示。57BA3E12-9874-42DC-8917-AA60F86E9236

圖1中，圓形表示每層的神經(jīng)元，黑線表示連接?；诨疱亪F(tuán)購(gòu)數(shù)據(jù)，這里對(duì)輸入神經(jīng)元使用Lasso正則技術(shù)，得到10個(gè)有效變量，分別是x1，x4，x5，x7，x10，x11，x13，x14，x15，x16，即火鍋套餐的團(tuán)購(gòu)價(jià)、團(tuán)購(gòu)菜品數(shù)量、團(tuán)購(gòu)圖片數(shù)量、是否含餐位費(fèi)、人均消費(fèi)、店鋪內(nèi)團(tuán)購(gòu)項(xiàng)目數(shù)、是否提供免費(fèi)Wi-Fi、是否有停車場(chǎng)、是否需要預(yù)約、周末節(jié)假日是否通用。

在表3的變量選擇結(jié)果中，基于火鍋團(tuán)購(gòu)數(shù)據(jù)，當(dāng)Lasso學(xué)習(xí)率λ=0.07，選定閾值為10-3，重復(fù)模擬試驗(yàn)結(jié)果趨于穩(wěn)定。最終入選的統(tǒng)計(jì)變量集大小為10，此時(shí)對(duì)應(yīng)的訓(xùn)練集的均方擬合誤差為0.033 5，均方預(yù)測(cè)誤差為0.021 8。

基于3 391條樣本數(shù)據(jù)，對(duì)火鍋團(tuán)購(gòu)的對(duì)數(shù)半年銷量值從大到小排序，并選取前60%樣本分析。結(jié)果顯示，該60%樣本數(shù)據(jù)所對(duì)應(yīng)的上述10個(gè)有效變量的值有顯著規(guī)律。在團(tuán)購(gòu)基本信息方面，72.83%的火鍋套餐的團(tuán)購(gòu)價(jià)在200元以下，75.36%的團(tuán)購(gòu)菜品數(shù)量不少于5個(gè)，80.69%的團(tuán)購(gòu)套餐頁(yè)面至少有2張菜品圖片，61.9%的套餐不包含餐位費(fèi);在所在店鋪信息方面，74.45%的店鋪的人均消費(fèi)不超過(guò)60元，84.73%的店鋪團(tuán)購(gòu)項(xiàng)目數(shù)量不少于3個(gè)，95.5%的店鋪提供免費(fèi)Wi-Fi;在使用規(guī)則方面，87%的套餐不需要預(yù)約，90.4%的套餐周末節(jié)假日通用。

4? 結(jié)? 論

在稀疏神經(jīng)網(wǎng)絡(luò)算法被廣泛用的背景下，本文使用對(duì)神經(jīng)網(wǎng)絡(luò)的連接權(quán)重值添加懲罰函數(shù)的神經(jīng)網(wǎng)絡(luò)稀疏化技術(shù)，并用蒙特卡洛數(shù)值模擬驗(yàn)證，在特征變量數(shù)量大但非零連接權(quán)值數(shù)量小的數(shù)據(jù)中，該技術(shù)的變量選擇結(jié)果具有一致性。最后將稀疏神經(jīng)網(wǎng)絡(luò)模型成功的應(yīng)用到火鍋團(tuán)購(gòu)銷量的分析中，火鍋套餐的團(tuán)購(gòu)價(jià)、團(tuán)購(gòu)菜品數(shù)量、團(tuán)購(gòu)圖片數(shù)量等10個(gè)因素對(duì)火鍋團(tuán)購(gòu)銷量最具影響，并且探尋到高銷量團(tuán)購(gòu)套餐這10個(gè)因素的共同規(guī)律。

參考文獻(xiàn)：

[1] 周書(shū)豪.神經(jīng)網(wǎng)絡(luò)在基因型不確定數(shù)據(jù)和經(jīng)濟(jì)數(shù)據(jù)上的研究 [D].桂林：廣西師范大學(xué)，2020.

[2] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural NetworksBy Alex Krizhevsky [C]//Advances in neural information processing systems.2012：1097-1105.

[3] LIANG F，LI Q，ZHOU L. Bayesian Neural Networks for Selection of Drug Sensitive Genes [J].Journal of the American Statistical Association，2018，113（523）：955-972.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation [J].IEEE Computer Society，2013.

[5] FENG J，SIMON N. Sparse-Input Neural Networks for High-dimensional Nonpara-metric Regression and Classification [J].Statistics，2017.

[6] SUN Y，SONG Q F，LIANG F M. Consistent Sparse Deep Learning：Theory and Computation [J].Journal of the American Statistical Association，2021，1-42.https：//doi.org/10.48550/arXiv.2102.13229.

[7] 周徐達(dá).稀疏神經(jīng)網(wǎng)絡(luò)和稀疏神經(jīng)網(wǎng)絡(luò)加速器的研究 [D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2019.

[8] 美團(tuán)，中國(guó)連鎖經(jīng)營(yíng)協(xié)會(huì).2021中國(guó)餐飲加盟行業(yè)白皮書(shū) [EB/OL].[2021-11-08].http：//www.ccfa.org.cn/portal/cn/xiangxi.jsp？id=442768&type=33.

[9] CY373.2020年中國(guó)火鍋餐飲行業(yè)分析：規(guī)模不斷增長(zhǎng)、兩級(jí)分化嚴(yán)重 [EB/OL].[2021-11-08].https：//www.chyxx.com/industry/202108/966439.html.

[10] CY331.2021年中國(guó)火鍋產(chǎn)業(yè)規(guī)模及龍頭企業(yè)對(duì)比分析：海底撈VS呷哺呷哺 [EB/OL].[2021-11-08].https：//www.chyxx.com/industry/202109/975214.html.

[11] ROBERT，TIBSHIRANI. Regression Shrinkage and Selection via the Lasso [J].Journal of the Royal Statistical Society. Series B：Methodological，1996，58（1）：267-288.

[12] MAO Y，YAN S. Variable selection via penalized neural network：a drop-out-one loss approach [C]//in International Conference on Machine Learning，PMLR，2018：5620-5629.

作者簡(jiǎn)介：郭萍（1998—），女，漢族，廣西欽州人，碩士研究生在讀，研究方向：數(shù)理統(tǒng)計(jì)。

收稿日期：2022-02-1057BA3E12-9874-42DC-8917-AA60F86E9236