基于深度神經(jīng)網(wǎng)絡(luò)的中國(guó)移動(dòng)營(yíng)業(yè)廳人流量統(tǒng)計(jì)研究

陳樂 丁戈 肖忠良

摘 ?要：文章提出深度神經(jīng)網(wǎng)絡(luò)的方法，將分治策略引入到人流量統(tǒng)計(jì)問題中。這個(gè)方法以VGG16作為特征編碼網(wǎng)絡(luò)，UNet作為解碼網(wǎng)絡(luò)，將人流量統(tǒng)計(jì)變成一個(gè)可拆解的任務(wù)。在統(tǒng)計(jì)圖片上人數(shù)時(shí)，總可以把圖片分解成多個(gè)子區(qū)域，使得每個(gè)區(qū)域的人流量計(jì)數(shù)都是在之前訓(xùn)練集上所見過(guò)的人數(shù)類別。然后再把每個(gè)子區(qū)域上面的人數(shù)加起來(lái)，就是統(tǒng)計(jì)結(jié)果。在對(duì)廣州某個(gè)中國(guó)移動(dòng)營(yíng)業(yè)廳的人流量統(tǒng)計(jì)的實(shí)驗(yàn)中，預(yù)測(cè)的速度能達(dá)到實(shí)時(shí)監(jiān)測(cè)的速度和高精確度。

關(guān)鍵詞：分治策略;人流量統(tǒng)計(jì);深度神經(jīng)網(wǎng)絡(luò);VGG16;UNet

中圖分類號(hào)：TP18 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）24-0084-05

Abstract： In this paper， the method of deep neural network is proposed， and the divide and conquer strategy is introduced into the problem of people flow statistics. This method takes VGG16 as the feature coding network ?and UNet as decoding network， which turns the people flow statistics into a detachable task. When counting the number of people on the pictures， we can always decompose the picture into multiple sub-regions， so that the people flow count in each area is the number of people seen on the previous training set. Then add up the number of people in each sub-region， which is the result of statistics. In the experiment of people flow statistics in a China mobile business hall in Guangzhou， the predicted speed can reach real-time monitoring speed， and has high accuracy.

Keywords： divide and conquer strategy; people flow statistics; deep neural network; VGG16; UNet

0 ?引 ?言

截止2021年6月底，中國(guó)移動(dòng)客戶達(dá)到9.46億戶，線下營(yíng)業(yè)廳遍布中國(guó)的每個(gè)大大小小的城市。5G套餐客戶達(dá)到2.51億戶，穩(wěn)居三大運(yùn)營(yíng)商之首[1]。面對(duì)如此龐大的客戶群體，營(yíng)業(yè)廳員工在多用戶咨詢和辦理業(yè)務(wù)繁忙的時(shí)候，難免會(huì)出現(xiàn)服務(wù)不周到，工作效率下降的情況。而且在新冠疫情的影響下，每個(gè)營(yíng)業(yè)廳的人數(shù)也要得到相應(yīng)的控制。而且客戶能得到精確的每個(gè)營(yíng)業(yè)廳的人數(shù)，能幫助他們選擇人數(shù)相對(duì)較少的營(yíng)業(yè)廳辦理業(yè)務(wù)。在提高中國(guó)移動(dòng)的員工服務(wù)質(zhì)量和精準(zhǔn)控制營(yíng)業(yè)廳人數(shù)來(lái)更好的進(jìn)行防疫工作的壓力之下，本文章提出了一種基于神經(jīng)網(wǎng)絡(luò)和分治策略的精準(zhǔn)和實(shí)時(shí)的人流量統(tǒng)計(jì)的方法。首先，該方法需要先訓(xùn)練一個(gè)可以計(jì)數(shù)0到10個(gè)人的深度神經(jīng)網(wǎng)絡(luò)模型。然后再利用判別器來(lái)判斷該子區(qū)域是否需要繼續(xù)進(jìn)行切割，若子區(qū)域的人數(shù)大于10人的時(shí)候需要繼續(xù)切割。最后合并不同的子區(qū)域的結(jié)果[2]。該預(yù)測(cè)網(wǎng)絡(luò)的整體結(jié)構(gòu)是以VGG16作為特征編碼器的主干網(wǎng)絡(luò)，參考UNet作為解碼器，一個(gè)計(jì)數(shù)分類器，一個(gè)劃分判別器。網(wǎng)絡(luò)結(jié)構(gòu)的各個(gè)部分各司其職，相互作用，提高了模型的預(yù)測(cè)速度和準(zhǔn)確率。

1 ?人流量統(tǒng)計(jì)算法

1.1 ?人流量統(tǒng)計(jì)算法的結(jié)構(gòu)圖

算法的整體結(jié)構(gòu)如圖1所示，由一個(gè)VGG16特征編碼器，一個(gè)UNet型的解碼器，一個(gè)計(jì)數(shù)分類器和一個(gè)劃分判別器構(gòu)成的。左邊的Conv3，Conv4和Conv5是參考VGG16的網(wǎng)絡(luò)進(jìn)行的下采樣卷積操作。中間有格子劃分的F2和F1是通過(guò)上采樣得到的。F1是通過(guò)F0上采樣的得到的，F(xiàn)2是通過(guò)F1上采樣得到的，它們的步長(zhǎng)都是2。這個(gè)部分是參考UNet型的解碼器得到的。F1和F2劃分出來(lái)的區(qū)域就是子區(qū)域。這時(shí)劃分判別器就需要判斷是否要繼續(xù)進(jìn)行上采樣，讓子區(qū)域劃分得更加小來(lái)滿足子區(qū)域人數(shù)小于10的要求。W1和W2的值就只有（0，1），來(lái)判斷是否需要繼續(xù)進(jìn)行“錯(cuò)誤！未找到索引項(xiàng)?！鄙喜蓸印Ｗ詈笤侔烟卣鲌D中的每個(gè)子區(qū)域讓訓(xùn)練好的計(jì)數(shù)分類器來(lái)判斷里面有多少人，是屬于（0，10）中的哪一個(gè)類別，得到C0，C1和C2[3]。

1.2 ?VGG16的特征編碼器

圖2是原先的VGG16的網(wǎng)絡(luò)結(jié)構(gòu)層圖。由圖結(jié)構(gòu)可知，總共有13個(gè)卷積層和3個(gè)全連接層。其中的池化部分都是用了max pooling，激活函數(shù)是用了ReLU函數(shù)。卷積核的大小都是3×3的[4]。文章人流量統(tǒng)計(jì)算法中的結(jié)構(gòu)，就是去掉了VGG16中所有全連接層，Conv5就是上圖結(jié)構(gòu)中除了全連接層中的最后的輸出特征圖，也就是原圖中的輸入圖片下采樣32倍得到的輸出特征圖。Conv5的結(jié)果直接通過(guò)計(jì)數(shù)分類器，預(yù)測(cè)出C0。C0就是當(dāng)前整體圖片的預(yù)測(cè)輸出結(jié)果，也相當(dāng)于由普通的VGG16網(wǎng)絡(luò)預(yù)測(cè)得到的結(jié)果。

1.3 ?UNet的解碼器

圖3就是UNet網(wǎng)絡(luò)的整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)圖，這個(gè)網(wǎng)絡(luò)的左半部分是由兩個(gè)3×3的卷積層和兩個(gè)最大池化層，步長(zhǎng)為2組成的，激活函數(shù)是ReLU函數(shù)[5]。左邊結(jié)構(gòu)每進(jìn)行一次下采樣，通道數(shù)都會(huì)乘以2。這個(gè)網(wǎng)絡(luò)的右半部分是由一個(gè)2×2的上采樣卷積，激活函數(shù)是ReLU函數(shù)。右邊的網(wǎng)絡(luò)通道，是由左邊對(duì)應(yīng)的特征圖通道和經(jīng)過(guò)上采樣得到的特征圖通道疊加的，最后得到的特征圖，有一半包含了左邊對(duì)應(yīng)特征圖的信息。因?yàn)檫@個(gè)池化的方式是最大池化，所以一定程度上進(jìn)行下采樣，都會(huì)損失了很多圖片中的信息。這里的通道融合的方式，能將淺層低維度的特征圖和在深層高維度的特征圖的信息進(jìn)行融合，讓最終的特征圖中蘊(yùn)含著更加豐富的圖片信息，讓圖像的預(yù)測(cè)更加的全面和準(zhǔn)確。

1.4 ?劃分判別器和計(jì)數(shù)分類器

劃分判別器是用來(lái)判斷經(jīng)過(guò)特征通道融合的特征圖是否需要繼續(xù)進(jìn)行上采樣操作。圖中F1的特征圖就是把64×64像素的原圖分為了四個(gè)子區(qū)間，每個(gè)子區(qū)間對(duì)應(yīng)著16×16，但是它的感受野是整張?jiān)瓐D。如果這個(gè)子區(qū)間的人數(shù)大于10的話，則劃分判別器會(huì)讓該特征圖繼續(xù)進(jìn)行步長(zhǎng)為2的上采樣操作，直到子區(qū)間人數(shù)小于10為止[6]。劃分判別器由一個(gè)2×2的平均池化層（步長(zhǎng)為2），一個(gè)512個(gè)通道的1×1卷積和一個(gè)1個(gè)1×1輸出卷積構(gòu)成的，最后通過(guò)一個(gè)sigmoid函數(shù)輸出0或者1。

計(jì)數(shù)分類器是一個(gè)21個(gè)類別的訓(xùn)練好的分類器，區(qū)間范圍是0到10，間隔是0.5。該分類器是Resnet50，通過(guò)對(duì)21個(gè)類別的2 000張圖片進(jìn)行訓(xùn)練得到的具有權(quán)重的模型。如圖2，F(xiàn)1特征圖所示，里面有4個(gè)區(qū)間，這4個(gè)子區(qū)間分別作為輸入，輸入給計(jì)數(shù)分類器進(jìn)行預(yù)測(cè)。最后將四個(gè)子區(qū)間的預(yù)測(cè)結(jié)果相加，向下取整即為最終的輸出結(jié)果。

1.5 ?人流量統(tǒng)計(jì)算法的損失函數(shù)

這是人流量統(tǒng)計(jì)算法的損失函數(shù)：，由兩個(gè)部分組合而成。左邊部分是多個(gè)交叉熵?fù)p失函數(shù)，是用來(lái)監(jiān)督在對(duì)子區(qū)域人數(shù)統(tǒng)計(jì)的不同級(jí)別的分類問題。右邊部分是用來(lái)監(jiān)督最終劃分輸出的函數(shù)。該網(wǎng)絡(luò)可以支持多任務(wù)網(wǎng)絡(luò)的訓(xùn)練方式，所以才有一個(gè)關(guān)于N次的求和[7]。

2 ?模型算法實(shí)驗(yàn)

2.1 ?中國(guó)移動(dòng)營(yíng)業(yè)廳采集數(shù)據(jù)

歷時(shí)兩個(gè)星期，在廣州天府路中國(guó)移動(dòng)營(yíng)業(yè)廳用手機(jī)采集圖片。采集方式是在營(yíng)業(yè)時(shí)間段，每隔半個(gè)小時(shí)在營(yíng)業(yè)廳的各個(gè)角度采集若干張含有人群信息的圖片。然后總共采集了大概200張左右的有效圖片，人數(shù)范圍在10～70人左右。最后在網(wǎng)上開源的ShanghaiTech的數(shù)據(jù)集中融入了100張左右的圖片，組成了最后400張左右的數(shù)據(jù)集，部分圖片如圖4所示。

2.2 ?生成人群熱力圖的標(biāo)簽方式

人群流量的標(biāo)簽方式一般有兩種，一種是對(duì)人頭進(jìn)行檢測(cè)框的標(biāo)記，另外一種是直接對(duì)圖片生成熱力圖，如圖5所示。對(duì)于采集到的數(shù)據(jù)集，需要標(biāo)記它們的真實(shí)標(biāo)簽即圖片中的真實(shí)人數(shù)。標(biāo)簽方式是生成人群熱力圖，然后人群流量統(tǒng)計(jì)就變成了對(duì)熱力圖的積分計(jì)算，甚至可以計(jì)算每平方米的人數(shù)和聚集程度，來(lái)判斷相應(yīng)的需求[8]。原圖上的標(biāo)注方式是，在人頭所在的像素點(diǎn)上標(biāo)記一個(gè)紅點(diǎn)，然后再根據(jù)紅點(diǎn)生成相應(yīng)的人群熱力圖[9]。

2.3 ?訓(xùn)練網(wǎng)絡(luò)

本文采用深度神經(jīng)網(wǎng)絡(luò)的方法來(lái)預(yù)測(cè)中國(guó)移動(dòng)營(yíng)業(yè)廳的真實(shí)實(shí)時(shí)人數(shù)。采用將原圖區(qū)域進(jìn)行劃分成若干個(gè)子區(qū)域，再在子區(qū)域進(jìn)行預(yù)測(cè)人數(shù)的方式來(lái)預(yù)測(cè)真實(shí)人數(shù)。該方法訓(xùn)練網(wǎng)絡(luò)的步驟如下：步驟一：數(shù)據(jù)預(yù)處理，對(duì)采集好的圖片進(jìn)行降噪和除去黑白噪點(diǎn)的操作。使得圖片更加的平滑，過(guò)濾掉無(wú)效信息的圖片。步驟二：數(shù)據(jù)增強(qiáng)，因?yàn)椴杉臄?shù)據(jù)不是特別的充足，所以對(duì)圖片進(jìn)行隨機(jī)裁剪和翻轉(zhuǎn)的操作增強(qiáng)數(shù)據(jù)集的數(shù)量。步驟三：根據(jù)標(biāo)記好的紅點(diǎn)，生成每一張圖片的人群密度熱力圖。步驟四：模型訓(xùn)練，把數(shù)據(jù)集按照8：1：1的比例，將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。隨機(jī)初始化網(wǎng)絡(luò)中的所有參數(shù)，batch size設(shè)置為64，把每一批的數(shù)據(jù)集喂給模型進(jìn)行正向傳播和反向傳播進(jìn)行參數(shù)的更新。訓(xùn)練次數(shù)設(shè)置為100，最后選取訓(xùn)練了至少50次的損失函數(shù)值最小的模型為最佳的訓(xùn)練模型。

3 ?模型預(yù)測(cè)結(jié)果分析

3.1 ?中國(guó)移動(dòng)營(yíng)業(yè)廳數(shù)據(jù)集的標(biāo)簽人數(shù)分布

從經(jīng)歷半個(gè)月左右的時(shí)間在中國(guó)移動(dòng)營(yíng)業(yè)廳收集到的數(shù)據(jù)，圖6可見，營(yíng)業(yè)廳大部分的人流數(shù)量集中在20人到60人。有時(shí)候比較繁忙的時(shí)候能達(dá)到100人左右。由于這種人數(shù)，所以訓(xùn)練分類網(wǎng)絡(luò)的時(shí)候，把子區(qū)域的人群計(jì)數(shù)分類定為了0-10人的范圍。

3.2 ?損失函數(shù)和預(yù)測(cè)效果評(píng)估

人流量統(tǒng)計(jì)模型的損失函數(shù)由分類的交叉熵?fù)p失和回歸函數(shù)共同組成，所以選用最小二乘法的梯度下降訓(xùn)練方法。損失函數(shù)一般是用來(lái)測(cè)試訓(xùn)練模型的時(shí)候真實(shí)值和預(yù)測(cè)值的差異的，一般來(lái)說(shuō)損失函數(shù)的值越低，模型的預(yù)測(cè)效果越好。但是一般來(lái)說(shuō)會(huì)選擇驗(yàn)證集中，真實(shí)值和預(yù)測(cè)值最小的模型作為最終的模型參數(shù)輸出[10]。圖7就是訓(xùn)練模型時(shí)候的損失函數(shù)和準(zhǔn)確率。

在測(cè)試集中測(cè)試模型性能的方法是平均絕對(duì)誤差，即真實(shí)值和預(yù)測(cè)值的差值的絕對(duì)值和的平均值。平均絕對(duì)誤差的公式：[11]。在測(cè)試集上的結(jié)果是，平均絕對(duì)誤差：0.27即每次預(yù)測(cè)只差了0.27個(gè)人數(shù)的統(tǒng)計(jì)。結(jié)果的準(zhǔn)確率（誤差少于1）為98.87%。從結(jié)果上來(lái)看，模型預(yù)測(cè)的準(zhǔn)確度還是十分可觀的。而且模型在一秒鐘內(nèi)可以預(yù)測(cè)大概30張到40張的圖片，滿足的實(shí)時(shí)監(jiān)測(cè)的需求。

4 ?結(jié) ?論

本文提出一種基于分治策略，將原圖分割成若干個(gè)子區(qū)域進(jìn)行區(qū)域計(jì)數(shù)的人流量統(tǒng)計(jì)的深度神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型參考了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)VGG16作為特征提取的主干網(wǎng)絡(luò)和UNet網(wǎng)絡(luò)作為解碼器。在測(cè)試和預(yù)測(cè)真實(shí)的中國(guó)移動(dòng)營(yíng)業(yè)廳時(shí)，模型的人數(shù)準(zhǔn)確率基本保障不會(huì)出現(xiàn)錯(cuò)誤而且能達(dá)到實(shí)時(shí)更新營(yíng)業(yè)廳人數(shù)的效果。這很好的滿足的讓營(yíng)業(yè)廳的營(yíng)業(yè)員精準(zhǔn)定位服務(wù)，而且能讓客戶根據(jù)每個(gè)營(yíng)業(yè)廳的實(shí)時(shí)人數(shù)來(lái)選擇人數(shù)更少的營(yíng)業(yè)廳辦理業(yè)務(wù)。在疫情管控營(yíng)業(yè)廳的實(shí)時(shí)人數(shù)時(shí)，可以起到監(jiān)督和監(jiān)控的作用。

參考文獻(xiàn)：

[1] 中國(guó)移動(dòng).營(yíng)運(yùn)數(shù)據(jù) [EB/OL].[2021-09-25].https：//www.chinamobileltd.com/sc/ir/operation_q.php.

[2] SAM D B，SAJJAN N N，BABU R V，et al. Divide and Grow：Capturing Huge Diversity in Crowd Images with Incrementally Growing CNN [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE：Salt Lake City，2018：3618-3626.

[3] BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J/OL].arXiv：1511.00561 [cs.CV].（2015-11-02）.https：//arxiv.org/abs/1511.00561.

[4] HE K M，ZHANG X Y，REN S Q，et al. Delving Deep into Rectifiers：Surpassing Human-Level Performance on ImageNet Classification [J/OL].arXiv：1502.01852 [cs.CV].（2015-02-06）.https：//arxiv.org/abs/1502.01852.

[5] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].（2014-09-04）.https：//arxiv.org/abs/1409.1556.

[6] LEMPITSKY C，ZISSERMAN A. Learning To count objects in images [C]//NIPS10：Proceedings of the 23rd International Conference on Neural Information Processing Systems.Red Hook：Curran Associates，2010：1324-1332.

[7] LI R B，XIAN K，SHEN C H，et al. Deep attention-based classification network for robust depth prediction [J/OL].arXiv：1807.03959 [cs.CV].（2018-07-11）.https：//arxiv.org/abs/1807.03959.

[8] NIU Z X，ZHOU M，WANG L，et al. Ordinal Regression with Multiple Output CNN for Age Estimation [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：4920-4928.

[9] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[10] IDREES H，TAYYAB M，ATHREY K，et al. Composition Loss for Counting，Density Map Estimation and Localization in Dense Crowds [J/OL].arXiv：1808.01050 [cs.CV].（2018-08-02）.https：//arxiv.org/abs/1808.01050.

[11] MASKA M，ULMAN V，SVOBODA D，et al. A benchmark for comparison of cell tracking algorithms [J].Bioinformatics，2014，30（11）：1609-1617.

作者簡(jiǎn)介：陳樂（1982—），男，漢族，重慶人，項(xiàng)目總監(jiān)，碩士研究生，研究方向：AIOps、業(yè)務(wù)支撐系統(tǒng)運(yùn)營(yíng)支撐;丁戈（1995—），男，漢族，廣東廣州人，項(xiàng)目經(jīng)理，碩士研究生，研究方向：AIOps算法;肖忠良（1986—），男，漢族，廣東廣州人，項(xiàng)目經(jīng)理，碩士研究生，研究方向：AIOps、業(yè)務(wù)支撐系統(tǒng)運(yùn)營(yíng)支撐。