基于深度學(xué)習(xí)的公共空間人群行為可視化研究——以天津大學(xué)衛(wèi)津路校區(qū)為例

吳韶集 胡一可

公共空間在當(dāng)代城市中扮演了重要的角色，承載了人的自發(fā)性活動(dòng)和社會(huì)性活動(dòng)[1]。公共空間沒有嚴(yán)格而統(tǒng)一的定義，本研究根據(jù)王建國(guó)、徐寧的研究，將公共空間定義為城市建筑實(shí)體空間中具有公共性的開放空間，可通過(guò)人的行為評(píng)估公共空間的質(zhì)量[2-3]。行人軌跡信息可用于量化評(píng)估人群行為[4-6]。當(dāng)前，隨著中國(guó)經(jīng)濟(jì)水平的提升，民眾對(duì)于公共空間質(zhì)量的要求也越來(lái)越高[7]，因此，更為客觀的公共空間評(píng)估方法將有助于構(gòu)建出更合理的公共空間設(shè)計(jì)方法。對(duì)于風(fēng)景園林學(xué)科而言，行人軌跡可作為準(zhǔn)繩來(lái)度量公共空間的實(shí)際使用情況，進(jìn)而作為城市公共空間設(shè)計(jì)的依據(jù)，也為更為理性科學(xué)的風(fēng)景園林設(shè)計(jì)理論奠定基礎(chǔ)。

近年來(lái)，隨著信息化程度的加深，在風(fēng)景園林學(xué)領(lǐng)域，基于計(jì)算機(jī)視覺技術(shù)對(duì)人群行為進(jìn)行分析和可視化的研究開始出現(xiàn)[8-10]。有研究指出，實(shí)時(shí)反饋的評(píng)估信息可有效提升景觀設(shè)計(jì)的優(yōu)化整合能力[12]。但是，實(shí)時(shí)的海量視頻數(shù)據(jù)給數(shù)據(jù)處理帶來(lái)了嚴(yán)峻挑戰(zhàn)，若不能及時(shí)獲取其中的有效、關(guān)鍵信息，則會(huì)造成數(shù)據(jù)浪費(fèi)[11]。而且當(dāng)前基于視頻獲取人群行為軌跡的方法運(yùn)算速度慢，無(wú)法實(shí)時(shí)獲取分析結(jié)果，這極大地限制了該方法在實(shí)際中的應(yīng)用。本研究提出一種基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法來(lái)實(shí)時(shí)獲取公共空間中人群行為路徑數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)人群行為的可視化。

本研究試圖解決3個(gè)研究問題：1）這種基于深度學(xué)習(xí)的實(shí)時(shí)人群行為可視化方法是否有效以及是否存在局限性？2）分析結(jié)果能否表征公共空間的何種空間特性？3）該分析方法在風(fēng)景園林學(xué)科的可能應(yīng)用。

1 既有研究綜述

當(dāng)前，在風(fēng)景園林學(xué)領(lǐng)域中通?；诠饬鞣ㄟ@一計(jì)算機(jī)視覺算法獲取行人軌跡[13]。如胡一可等使用光流法獲得了天津大學(xué)校園內(nèi)街道空間中的行為軌跡[8]；楊柳等以承德避暑山莊入口空間為例，通過(guò)計(jì)算機(jī)視覺技術(shù)提取行人軌跡信息，并用以分析人群行為與空間要素的關(guān)系[14]；侯韞婧等使用無(wú)人機(jī)拍攝的視頻數(shù)據(jù)分析了集體晨練運(yùn)動(dòng)與城市公園空間之間的關(guān)系[15]；胡一可和李晶對(duì)城市型景區(qū)“共處”空間的人群行為進(jìn)行研究，使用軌跡數(shù)據(jù)對(duì)行人的速度進(jìn)行分析[16]。這些既有研究證明了計(jì)算機(jī)視覺技術(shù)在公共空間分析中應(yīng)用的可行性，但其所依賴的光流法具有計(jì)算相對(duì)耗時(shí)、抗噪性差的缺點(diǎn)[17]。

深度學(xué)習(xí)（deep learning）是一類特殊的機(jī)器學(xué)習(xí)算法，該類算法借助計(jì)算機(jī)構(gòu)建了一種多層感知器結(jié)構(gòu)，從而實(shí)現(xiàn)對(duì)非線性數(shù)據(jù)，如視頻數(shù)據(jù)的處理[18]。賽斌、曹自強(qiáng)等基于深度學(xué)習(xí)的算法研究了行人實(shí)時(shí)移動(dòng)數(shù)據(jù)的挖掘方法[19]；李瀚、劉坤華等使用基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法構(gòu)建了實(shí)時(shí)視覺目標(biāo)跟蹤與視頻對(duì)象分割多任務(wù)框架[20]。這些研究證明：利用深度學(xué)習(xí)算法可突破光流法的限制，實(shí)時(shí)獲取人群行為軌跡數(shù)據(jù)[21]。

本研究探究了基于深度學(xué)習(xí)算法獲取人群實(shí)時(shí)軌跡研究的工作流程，以及其在公共空間人群行為可視化方面的潛力。本研究使用了2種基于深度學(xué)習(xí)的算法：1）由Farhadi和Redmon在2018年 提 出 的Yolo-v3（You Only Look Once）算法[22]；2）由Wojke等于2017年提出的DeepSORT（Simple Online and Realtime Tracking with a Deep Association Metric）算法[23]，該算法是對(duì)2016年提出的SORT算法的改進(jìn)[24]。在本研究中，前者用于視頻中行人的目標(biāo)檢測(cè)，后者用于獲取人群行為軌跡。

2 研究方法

本研究采用的技術(shù)路線可分為以下3個(gè)步驟：1）視頻的采集以及從中獲取人群行為軌跡原始數(shù)據(jù)；2）對(duì)獲取的原始軌跡數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；3）將獲取的軌跡數(shù)據(jù)進(jìn)行可視化表達(dá)（圖1）。本研究使用Python語(yǔ)言編寫代碼，以TensorFlow和Keras作為深度學(xué)習(xí)框架，以O(shè)penCV作為視頻處理框架，以pandas和Numpy作為數(shù)據(jù)分析框架，以Matplotlib和Seaborn作為圖像可視化框架。

2.1 從視頻中獲取原始軌跡數(shù)據(jù)

本研究拍攝視頻采用的無(wú)人機(jī)設(shè)備為Dji mini2，每次飛行時(shí)以垂直地面方向進(jìn)行拍攝。操作過(guò)程可細(xì)分為遷移學(xué)習(xí)和計(jì)算原始軌跡數(shù)據(jù)2步。

2.1.1 遷移學(xué)習(xí)

研究中使用Yolo-v3作為檢測(cè)行人行為的工具，因?yàn)轭A(yù)訓(xùn)練模型無(wú)法識(shí)別鳥瞰視角的行人，故需要采用遷移學(xué)習(xí)的方法訓(xùn)練Yolo-v3模型[25]（圖2）。這一方法通過(guò)神經(jīng)網(wǎng)絡(luò)模型參數(shù)共享，將預(yù)訓(xùn)練好的模型嵌入到其他任務(wù)中，這樣就能以較低的成本實(shí)現(xiàn)精度較高且適用于新場(chǎng)景的模型[26]。

圖2 Yolo-v3算法具體流程The process of Yolo-v32-1利用labelImg標(biāo)注圖像中的行人Annotation of pedestrians with labelImg2-2使用Yolo-v3進(jìn)行對(duì)象檢測(cè)Object detection with Yolo-v3

該方法的步驟為：1）標(biāo)注數(shù)據(jù)。本研究采用的數(shù)據(jù)集包含了589張經(jīng)過(guò)標(biāo)注的航拍圖像。2）訓(xùn)練模型。由于數(shù)據(jù)集較小，故在訓(xùn)練模型時(shí)采用隨機(jī)多尺度訓(xùn)練的方法，可提高訓(xùn)練模型的準(zhǔn)確度[27]。在本研究中，設(shè)定模型的訓(xùn)練次數(shù)為500次。而后利用精確率和召回率表征模型識(shí)別行人的能力，其中精確率為正確分類的樣本數(shù)與總樣本數(shù)的比值，即1張訓(xùn)練圖片中被正確識(shí)別出的行人占總行人數(shù)量的比例，用P表示；召回率是分類正確的樣本數(shù)與真正的樣本數(shù)的比值，可用于衡量該模型尋找行人的能力，用R表示[28]。訓(xùn)練后獲得的模型精確率P為96.2%，召回率R為88.1%，可滿足后續(xù)研究的需求。

2.1.2 計(jì)算原始軌跡數(shù)據(jù)

獲取一段視頻中的行人軌跡的方法可分為以下3步（圖3）。

圖3 使用DeepSORT獲取行人軌跡具體流程The process of obtaining pedestrian trajectory with DeepSORT

1）行人檢測(cè)。使用Yolo-v3算法確定視頻每一幀畫面中每個(gè)行人對(duì)應(yīng)的檢測(cè)框。該算法使用4個(gè)參數(shù)，即每個(gè)檢測(cè)框中心點(diǎn)的橫坐標(biāo)u、縱坐標(biāo)v，檢測(cè)框的面積r和其長(zhǎng)寬比h來(lái)描述一個(gè)檢測(cè)框。

2）行人跟蹤及軌跡繪制（圖4）。使用DeepSORT算法對(duì)視頻中的行人進(jìn)行多目標(biāo)跟蹤，從而確定不同幀畫面之間同一個(gè)行人的軌跡。首先使用八維向量（u, v, r, h, u*, v*, r*,h*）來(lái)表征某個(gè)行人在該時(shí)刻的運(yùn)動(dòng)狀態(tài)，其中u*、v*、r*和h*分別為不同幀之間u、v、r和h的運(yùn)動(dòng)速率。而后利用匈牙利算法匹配不同幀畫面之間的檢測(cè)框。最后基于同一個(gè)行人的檢測(cè)框在不同幀畫面中的位置繪制出行為軌跡線。

圖4 使用深度學(xué)習(xí)算法對(duì)3個(gè)研究案例進(jìn)行行人跟蹤及軌跡繪制Pedestrian tracking and trajectory plotting for three study cases using deep learning algorithms

3）數(shù)據(jù)導(dǎo)出。該步驟將每個(gè)行人檢測(cè)框中心點(diǎn)的坐標(biāo)分別以CSV格式導(dǎo)出并存儲(chǔ)，這樣就可實(shí)時(shí)獲得視頻中的軌跡數(shù)據(jù)。這也是后文中數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)。

2.2 數(shù)據(jù)清洗

由于Yolo-v3算法存在行人誤差檢測(cè)的問題，DeepSORT算法存在ID身份轉(zhuǎn)換（identity switches）的問題，故不能直接對(duì)原始軌跡數(shù)據(jù)進(jìn)行可視化處理，而應(yīng)進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)清洗使用了異常值刪除法和箱型圖分析法[29]，用于避免Yolo-v3算法可能出現(xiàn)的行人誤檢測(cè)和DeepSORT算法匹配檢測(cè)框錯(cuò)誤的情況。

2.3 數(shù)據(jù)可視化

本研究采取3種方法對(duì)軌跡數(shù)據(jù)進(jìn)行可視化，分別為行人軌跡圖、人群分布熱力圖和行人速度熱力圖。

1）行人軌跡圖。將經(jīng)過(guò)數(shù)據(jù)清洗的行人軌跡疊加在研究區(qū)域公共空間的航拍圖像上，直觀展示了視頻拍攝期間的行人軌跡及走向。該圖中每一條軌跡的寬度為1個(gè)像素，并為不同軌跡賦予隨機(jī)的顏色以示區(qū)分。

2）人群分布熱力圖?？梢暬诵腥宋恢玫目臻g分布情況。首先將拍攝范圍柵格化，而后統(tǒng)計(jì)每個(gè)柵格中檢測(cè)框中心點(diǎn)的數(shù)量，以該值代表柵格內(nèi)的人群數(shù)量。在該圖中，一個(gè)柵格的顏色越淺，則區(qū)域中行人經(jīng)過(guò)的次數(shù)越多。

3）人群行走速度熱力圖?？梢暬诵腥怂俣鹊目臻g分布情況，采用了與行人分布熱力圖相同的表示方法。在該圖中，一個(gè)柵格的顏色越淺，則經(jīng)過(guò)該區(qū)域的行人的平均速度越快。

3 公共空間人群分布特征

本研究以天津大學(xué)內(nèi)的3個(gè)公共空間為例，使用深度學(xué)習(xí)算法分析人群分布特征并進(jìn)行可視化（圖5）。在3個(gè)研究場(chǎng)地均拍攝5段時(shí)長(zhǎng)約為20 min的視頻（表1），再對(duì)這5段視頻綜合分析并得出結(jié)論。本節(jié)圍繞以下2方面進(jìn)行討論：1）3個(gè)案例中行人軌跡的特點(diǎn)并分析其成因；2）分析該研究方法可表征的空間特性。

圖5 研究案例選取及其位置Study case selection and their locations

表1 視頻數(shù)據(jù)收集情況Tab. 1 Video data collection

3.1 行人軌跡圖像

基于深度學(xué)習(xí)的方法可有效地從視頻中實(shí)時(shí)得出公共空間的行人軌跡數(shù)據(jù)，并對(duì)其進(jìn)行量化分析（圖6）。本節(jié)分別利用行人軌跡圖、人群分布熱力圖和行人速度熱力圖描述人群分布特征。

圖6 實(shí)證研究可視化結(jié)果Visualized results of the empirical study

案例A，行人軌跡主要為連通了出入口以及周邊的建筑入口，其中行人分布最密集的路徑連接了西北與東南處入口，即天津大學(xué)衛(wèi)津路校區(qū)科學(xué)圖書館和第26教學(xué)樓入口，后者是天津大學(xué)衛(wèi)津路校區(qū)主要的教學(xué)樓之一。對(duì)行人速度進(jìn)行分析可發(fā)現(xiàn)，案例A具有明顯的高速度分布區(qū)域，該路徑連接了該公共空間的西北部入口與西南部入口。造成這一情況的原因?yàn)樵摴部臻g的西南角為第26教學(xué)樓的自行車停放點(diǎn)之一，故部分使用該路徑的人會(huì)騎自行車。

案例B周邊建筑為第26教學(xué)樓和學(xué)三食堂，其行人軌跡方向連通了出入口和周邊的建筑入口。高密度行人路徑為南部及西部的路徑，北部的路徑上人流量則較小，這表明該公共空間中26教學(xué)樓A座的使用頻率顯著高于B座。該案例中的行人速度分布相對(duì)較為均勻，快速路徑主要分布于北側(cè)，其連接了26教學(xué)樓的自行車存放點(diǎn)。

案例C以校園東西向中軸線對(duì)稱布局，有3個(gè)出入口和3條路徑。分析結(jié)果顯示，行人軌跡分為2條，一條連接了北部入口和南部入口，該路徑沿敬業(yè)湖和北洋紀(jì)念亭一側(cè)的行人分布密度顯著高于另一側(cè)，這與景觀要素對(duì)行人的吸引有關(guān)；另一條連接了東部入口和北部入口，該路徑在張?zhí)椎袼芤粋?cè)分成了2股人流，其中南側(cè)的人流量顯著高于北側(cè)，南部入口與東部入口之間的路徑行人數(shù)量極少，這說(shuō)明該路徑未發(fā)揮有效的作用。與案例A、B相比，案例C中不存在高速路徑，這一現(xiàn)象的原因?yàn)樵摴部臻g周邊設(shè)置有圍欄，自行車無(wú)法進(jìn)入，行人均為步行，故速度相差不大。

通過(guò)對(duì)3個(gè)研究案例的分析，可發(fā)現(xiàn)獲取人群行為軌跡時(shí)，案例C中的軌跡ID身份轉(zhuǎn)換現(xiàn)象更為嚴(yán)重。這是因?yàn)檐壽E識(shí)別的準(zhǔn)確度與無(wú)人機(jī)采集圖像的高度有關(guān)，具體來(lái)說(shuō)，當(dāng)無(wú)人機(jī)采集視頻時(shí)的高度越低時(shí)，視頻中的行人越清晰，且視頻邊緣的行人畸變程度越低，因此識(shí)別算法的準(zhǔn)確率也越高，識(shí)別出的行人軌跡的完整度也越高。因此在使用本方法時(shí)，應(yīng)當(dāng)為采集視頻的無(wú)人機(jī)設(shè)定適合的飛行高度，過(guò)高的飛行高度可能導(dǎo)致研究結(jié)果不佳。

3.2 空間特性表征

通過(guò)對(duì)比上述3個(gè)案例人群分布特征的分析，可發(fā)現(xiàn)本研究提出的研究方法可以表征以下2類空間特性。

1）可表征公共空間各個(gè)出入口之間的連接強(qiáng)度。通過(guò)使用人群分布熱力圖，可發(fā)現(xiàn)公共空間中2個(gè)出入口之間的路徑上行人分布越密集，這二者之間的連接強(qiáng)度越強(qiáng)。例如在案例A中，其連接強(qiáng)度最強(qiáng)的路徑連接了西北與東南處的入口。在案例C中盡管南側(cè)入口和東側(cè)入口間也具有連通路徑，但是其行人數(shù)量很少，因此可判斷出這2個(gè)入口間的連接強(qiáng)度較弱。通過(guò)這一方法，設(shè)計(jì)師就能夠判斷出不同路徑的使用強(qiáng)度，進(jìn)而在設(shè)計(jì)和改造時(shí)采用不同的設(shè)計(jì)策略。

2）可表征公共空間中速度不同行人的選擇路徑的空間分布差異。在行人速度熱力圖中，若存在平均速度較快的路徑，則騎自行車的人數(shù)比例通常較大；反之，則該路徑通常以步行為主。典型案例為案例A，其中使用自行車的路徑連接了西北部入口與西南部入口。通過(guò)這一方法，設(shè)計(jì)師可對(duì)公共空間行人的交通方式進(jìn)行判斷，使用不同的設(shè)計(jì)策略進(jìn)行應(yīng)對(duì)，如在公共空間中布置合理的自行車道等。

4 討論

當(dāng)前，環(huán)境與人的互動(dòng)關(guān)系得到了越來(lái)越多的關(guān)注[3,30]。利用大數(shù)據(jù)、深度學(xué)習(xí)等新技術(shù)，研究者可以更高效地通過(guò)行人的空間位置信息、速度信息等數(shù)據(jù)感知人與空間之間的關(guān)系[31]。而實(shí)時(shí)數(shù)據(jù)的獲取可極大地提高大數(shù)據(jù)的利用效率。在研究方法上，本研究方法突破了傳統(tǒng)的基于計(jì)算機(jī)視覺算法獲取人群軌跡數(shù)據(jù)方法的局限。基于深度學(xué)習(xí)的算法可實(shí)現(xiàn)對(duì)公共空間行人軌跡的實(shí)時(shí)采集和分析，并獲得精確的公共空間行人分布情況及速度分布情況圖。

在研究方法方面，該方法有其不足之處，主要有以下3點(diǎn)。1）利用無(wú)人機(jī)拍攝視頻時(shí)，由于高空風(fēng)力大，無(wú)人機(jī)無(wú)法保持靜止?fàn)顟B(tài)，這也導(dǎo)致視頻會(huì)有輕微的抖動(dòng)。對(duì)此可使用抗風(fēng)性能更好的無(wú)人機(jī)進(jìn)行改進(jìn)。2）當(dāng)前方法對(duì)無(wú)人機(jī)飛行高度有限制，當(dāng)飛行高度過(guò)高時(shí)其識(shí)別結(jié)果較差。這限制了該方法在大規(guī)?？臻g的應(yīng)用，未來(lái)可探索采用無(wú)人機(jī)多機(jī)位拍攝的方法加以解決。3）本研究采用2種基于深度學(xué)習(xí)的算法，其中Yolo-v3算法存在行人誤識(shí)別問題；DeepSORT算法無(wú)法消除行人ID身份轉(zhuǎn)換的問題。在未來(lái)的研究中，應(yīng)采用魯棒性更強(qiáng)、識(shí)別能力更佳的算法來(lái)取代文中使用的算法，從而擴(kuò)大本研究提出方法的適用范圍。

在設(shè)計(jì)實(shí)踐方面，隨著我國(guó)國(guó)民對(duì)城市公共空間要求的提高，如何科學(xué)有效地評(píng)估既有公共空間質(zhì)量成為風(fēng)景園林學(xué)面臨的重要挑戰(zhàn)[7]。利用基于深度學(xué)習(xí)的方法可實(shí)時(shí)獲取并評(píng)估人群在公共空間中的分布特點(diǎn)，從而解答如公共空間出入口利用率、路徑人群分布情況、行人步行速度快慢等設(shè)計(jì)師關(guān)注的問題。其結(jié)果可輔助設(shè)計(jì)師更客觀地了解公共空間人群行為的空間分布特征，進(jìn)而評(píng)估設(shè)計(jì)質(zhì)量，作為改造設(shè)計(jì)的依據(jù)。

在設(shè)計(jì)理論方面，基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法在風(fēng)景園林學(xué)領(lǐng)域有如下的發(fā)展契機(jī)：1）通過(guò)使用多目標(biāo)檢測(cè)算法，獲得公共空間中不同類型行為的時(shí)空間分布特征[32]，從而發(fā)現(xiàn)人們使用公共空間的普適性規(guī)律；2）通過(guò)更為精細(xì)化地區(qū)分人群類型，得出可分析行人具體類型的模型，例如可依據(jù)年齡、性別等將人群進(jìn)行劃分，進(jìn)而分析不同人群空間行為分布的差異性；3）擴(kuò)展檢測(cè)算法的應(yīng)用范圍，利用圖像分割算法自動(dòng)識(shí)別視頻中除行人外其他的景觀要素[33]，例如樹木、水域等，通過(guò)與使用者行為數(shù)據(jù)的共同分析，可得出景觀要素與人群行為的關(guān)系。在當(dāng)前的風(fēng)景園林學(xué)領(lǐng)域，基于計(jì)算機(jī)視覺的人群行為研究方法尚有進(jìn)一步發(fā)展的潛力，這也是未來(lái)學(xué)科發(fā)展的趨勢(shì)之一。

5 結(jié)語(yǔ)

本研究提出了一種基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法實(shí)時(shí)分析公共空間人群行為的方法，并以天津大學(xué)衛(wèi)津路校區(qū)內(nèi)的3個(gè)公共空間為例進(jìn)行說(shuō)明。

在方法層面上，本研究發(fā)現(xiàn)：1）基于深度學(xué)習(xí)的計(jì)算機(jī)視覺算法可有效地實(shí)時(shí)獲得公共空間中人群行為軌跡，經(jīng)過(guò)處理后這一數(shù)據(jù)可作為評(píng)估公共空間的依據(jù)；2）通過(guò)對(duì)獲取軌跡數(shù)據(jù)的可視化處理，可直觀獲得公共空間出入口連接強(qiáng)度和路徑上行人交通方式的信息；3）使用本方法時(shí)，采集數(shù)據(jù)的無(wú)人機(jī)飛行高度不應(yīng)過(guò)高。

在理論層面上，本研究發(fā)現(xiàn)：1）可使用人群分布熱力圖的方式表征公共空間不同部分的使用強(qiáng)度，使用行人速度熱力圖表征公共空間速度分布情況，這種基于深度學(xué)習(xí)的公共空間人群行為實(shí)時(shí)分析和可視化方法可為未來(lái)的公共空間的設(shè)計(jì)和改造提供數(shù)據(jù)支持；2）展望未來(lái)，隨著信息技術(shù)的發(fā)展，研究者可使用更為精細(xì)化的空間數(shù)據(jù)描摹空間客觀使用狀態(tài)，這種基于數(shù)據(jù)支持的研究方法會(huì)推動(dòng)風(fēng)景園林學(xué)科走上一條更精細(xì)化、科學(xué)化和人本化的道路。

圖表來(lái)源(Sources of Figures and Tables)：

文中圖表均由作者繪制。