基于Python爬蟲技術(shù)的招聘信息數(shù)據(jù)可視化分析

付騰達 李衛(wèi)勇 王士信 許佳 魯春燕

摘要：基于Python爬蟲技術(shù)，實現(xiàn)了從BOSS直聘網(wǎng)爬取南昌市與IT行業(yè)相關(guān)招聘信息的過程。爬蟲程序?qū)OSS直聘網(wǎng)爬取所需信息，并對爬取的數(shù)據(jù)進行清洗、整理、分析等操作，確保數(shù)據(jù)的準(zhǔn)確性和一致性，隨后將數(shù)據(jù)存儲至MySQL數(shù)據(jù)庫中，供后續(xù)分析與使用。該系統(tǒng)后端采用基于Python的輕量級Flask框架，前端使用HTML5、CSS3、JQuery、Bootstrap5等技術(shù)，此外，還結(jié)合了基于JavaScript的Echarts數(shù)據(jù)可視化圖表庫，以實現(xiàn)數(shù)據(jù)到可視化效果的轉(zhuǎn)換。系統(tǒng)可以為廣大應(yīng)聘人員提供有利的決策支持，以幫助他們更輕松地找到合適的崗位信息。

關(guān)鍵詞：BOSS直聘；網(wǎng)絡(luò)爬蟲；Flask；數(shù)據(jù)可視化；Echarts

中圖分類號：TP393.09? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2024）07-0077-06

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

隨著互聯(lián)網(wǎng)進入大數(shù)據(jù)時代，數(shù)據(jù)呈指數(shù)級增長，由于數(shù)據(jù)量龐大使查找信息時間周期長、精準(zhǔn)度差、效率低，以致想通過網(wǎng)絡(luò)快速找到符合自己的崗位信息尤為困難。為此，很多研究者開始對招聘數(shù)據(jù)進行了相關(guān)研究，其中毛遂[1]以51job網(wǎng)為例對崗位占比和企業(yè)類型、薪資同學(xué)歷與地區(qū)之間的關(guān)系進行了分析。丁文浩[2]以前程無憂網(wǎng)為例對城市和崗位平均薪資水平、工作經(jīng)驗、學(xué)歷情況等進行了分析。王福成[3]以拉勾網(wǎng)為例對高校程序設(shè)計語言類的招聘職位地域分布、職位與薪資、學(xué)歷與技能要求等進行了分析；羅燕[4]對人工智能類的招聘崗位、招聘行業(yè)、招聘城市等進行了分析。

本文基于Python爬蟲技術(shù)，從BOSS直聘網(wǎng)采集南昌市IT行業(yè)相關(guān)的招聘信息，通過分析與數(shù)據(jù)可視化圖表的展示，為南昌本地應(yīng)聘者提供決策支持。

1 相關(guān)技術(shù)

1.1 網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲是一種自動化程序或者腳本，用于在互聯(lián)網(wǎng)上自動采集數(shù)據(jù)。原理是通過HTTP協(xié)議向目標(biāo)服務(wù)器發(fā)送URL請求，然后根據(jù)服務(wù)器響應(yīng)提取所需數(shù)據(jù)，通常以HTML或JSON等格式呈現(xiàn)。然后使用Python語言結(jié)合Pycharm集成開發(fā)環(huán)境以及一系列庫，包括BeautifulSoup庫、正則表達式re庫、Jieba分詞庫、WordCloud 模塊、JSON模塊、lxml解析器及xlwt庫，來處理和存儲這些數(shù)據(jù)，以便后續(xù)分析。

1.2 Flask框架

Flask是一款輕量級而強大的Python Web框架，專門用于構(gòu)建Web應(yīng)用程序和RESTful API。盡管被視為是輕量級Web框架，但它卻提供了出色的靈活性和簡潔性。Flask還允許開發(fā)者自定義URL路由，將URL映射到不同的視圖函數(shù)，以便處理各種請求。此外，F(xiàn)lask還內(nèi)置了Jinja2模板引擎，使得HTML模板的渲染變得非常容易，因此備受開發(fā)者青睞。

1.3 ECharts可視化庫

ECharts是一款開源JavaScript庫，專注于創(chuàng)建高級數(shù)據(jù)圖表。它建立在輕量級的Canvas庫ZRender之上，提供了豐富多彩的圖表類型，主要有折線圖、柱狀圖、散點圖、餅圖等多種可視化圖表。ECharts的架構(gòu)分ZRender層和ECharts層，這為開發(fā)者與數(shù)據(jù)分析人員提供了強大的可視化功能，使他們能夠輕松地在Web頁面中創(chuàng)造引人注目的數(shù)據(jù)可視化效果。因其強大的功能和易實用性，目前已被眾多知名公司廣泛采用。

1.4 Jieba分詞庫

Jieba分詞庫是一款流行的Python庫，專用于中文文本分詞。它因高效準(zhǔn)確的分詞性能而著名，支持多種分詞模式，包括精確模式、全模式和搜索引擎模式。此外，Jieba分詞庫還允許用戶自定義詞典，以適應(yīng)不同領(lǐng)域的文本分析需求。因此，它常被廣泛應(yīng)用于中文自然語言處理和文本挖掘任務(wù)中。

2 招聘數(shù)據(jù)爬取與預(yù)處理

2.1 招聘數(shù)據(jù)爬取

設(shè)計招聘數(shù)據(jù)爬蟲系統(tǒng)的流程如下：

步驟1：分析URL。

步驟2：訪問待爬取的招聘數(shù)據(jù)。該模塊使用requests庫請求數(shù)據(jù)，然后通過BeautifulSoup庫下載頁面信息，并利用lxml解析器解析數(shù)據(jù)。

步驟3：將數(shù)據(jù)存儲到CSV文件中。

步驟4：對爬取的數(shù)據(jù)進行清洗、整理、分析等預(yù)處理操作。

步驟5：將經(jīng)過預(yù)處理得到的數(shù)據(jù)存儲到MySQL數(shù)據(jù)庫中。

步驟6：數(shù)據(jù)分析并可視化展示。

招聘信息爬蟲系統(tǒng)流程圖如圖1所示。

2.2 招聘數(shù)據(jù)爬分析頁面結(jié)構(gòu)

在BOSS直聘網(wǎng)的搜索框中輸入“Web前端工程師”職位，頁面顯示與該職位相關(guān)的崗位信息。接著在源代碼調(diào)試界面中使用“審查”選項，發(fā)現(xiàn)待爬取的信息缺失，通過在Network選項界面下的Filter搜索框中輸入“JSON”，發(fā)現(xiàn)存在名為joblist.json格式的條目。經(jīng)查看發(fā)現(xiàn)，崗位數(shù)據(jù)存儲在該條目文件的“jobList”鍵對應(yīng)的值中，其存儲著每一頁30個職位信息，如圖2所示。

2.3 分析URL

通過對頁面結(jié)構(gòu)的分析，發(fā)現(xiàn)存儲真實崗位數(shù)據(jù)的joblist.json文件URL格式為：“https：//www.zhipin.com/wapi/zpgeek/search/joblist.json？scene=1&query=Web%E5%89%8D%E7%AB%AF%E5%B7%A5%E5%85%B7&city=101240100&experience=&payType=&partTime=°ree=&industry=&scale=&stage=&position=&jobType=&salary=&multiBusinessDistrict=&multiSubway=&page=1&pageSize=30”。通過翻頁對比分析，發(fā)現(xiàn)每頁URL中的page參數(shù)值隨頁面變化而變化。

因此，可以構(gòu)建一個循環(huán)來獲取與搜索崗位相關(guān)的不同頁面的URL，并將這些URL地址存儲在一個URL列表中，以便進行網(wǎng)址請求和數(shù)據(jù)爬取操作。

2.4 爬取招聘數(shù)據(jù)

在進行請求URL過程中，為繞開反扒機制，需要在請求的Headers中添加一個“User-Agent”用戶代理，這樣代碼將會偽裝成瀏覽器的形式獲取數(shù)據(jù)。接著通過使用requesrts庫的get（）方法發(fā)送請求并獲取數(shù)據(jù)，然后使用BeautifulSoup庫以及l(fā)xml解析器解析數(shù)據(jù)，進一步使用json.loads（）方法將獲取的數(shù)據(jù)轉(zhuǎn)化成JSON格式。經(jīng)分析發(fā)現(xiàn)，真實數(shù)據(jù)存儲在“jobList”鍵對應(yīng)的值中，通過以訪問字典的方式獲取這些數(shù)據(jù)，即data["zpData"]["jobList"]。然而在“jobList”鍵中所需要待爬取的字段主要有jobName、brandName、cityName、areaDistrict、businessDistrict、jobExperience、jobDegree、salaryDesc、brandStageName、brandIndustry、brandScaleName、skills、welfareList，這些字段分別對應(yīng)為職位、公司名、城市、地區(qū)、商業(yè)區(qū)、工作經(jīng)驗、教育水平、薪水、品牌舞臺、公司行業(yè)、規(guī)模人數(shù)、技能和福利等數(shù)據(jù)信息。

2.5 數(shù)據(jù)保存到CSV文件中

本文將爬取的數(shù)據(jù)存儲到CSV文件中。數(shù)據(jù)存儲過程是先使用xlwt庫中的Workbook（）方法創(chuàng)建一個工作簿，并且在該工作簿對象下使用add_sheet（）方法創(chuàng)建一個工作表，通過使用write（）方法將所需數(shù)據(jù)寫入到該工作表中，最后調(diào)用save（'文件路徑'）將數(shù)據(jù)保存到CSV文件[5]中。存儲在CSV文件中的招聘數(shù)據(jù)如圖3所示。

2.6 預(yù)解析數(shù)據(jù)

由于從BOSS直聘網(wǎng)直接爬取的數(shù)據(jù)可能存在臟數(shù)據(jù)，直接使用會影響后續(xù)數(shù)據(jù)分析的準(zhǔn)確性和數(shù)據(jù)可視化效果。因此，使用前需要對這些數(shù)據(jù)進行預(yù)解析操作，以將其轉(zhuǎn)化為有效可靠的數(shù)據(jù)。預(yù)解析數(shù)據(jù)操作主要包括數(shù)據(jù)去重、處理空值、數(shù)據(jù)變換、屬性格式化等操作，經(jīng)過預(yù)處理操作的數(shù)據(jù)可提高數(shù)據(jù)分析的精確性和可靠性。

1） 數(shù)據(jù)去重。企業(yè)可能會發(fā)布相同職位的招聘信息，因此需對重復(fù)的招聘信息進行去重操作。通常情況下，一般將“公司名”與“職位”相同的數(shù)據(jù)視為重復(fù)數(shù)據(jù)，核心代碼如下：

df.drop_duplicates（inplace=True）

2） 空值處理。爬取的數(shù)據(jù)中存在許多空值（Nan）數(shù)據(jù)，為了確保數(shù)據(jù)的準(zhǔn)確性，采取的處理方法是直接刪除包含空值的行數(shù)據(jù)，核心代碼如下：

df.dropna（axis=0， how=”any”）

3） 數(shù)據(jù)變換。由于數(shù)據(jù)中“薪水”屬性列存在格式不統(tǒng)一的情況，如“***-***K”、“***-***K·***薪”與“***-***/天”。為方便數(shù)據(jù)管理，現(xiàn)對薪水列進行數(shù)據(jù)變換[6-8]，統(tǒng)一成“***×1000/月”的數(shù)據(jù)格式。

原始“薪水”屬性列是以范圍值“a - b”或“a - b·c”的形式存在。因此，可以構(gòu)造三個新的屬性列“最低薪資”“最高薪資”和“平均工資”。在這些范圍值前提下，“最低工資”值為a，“最高工資”為b，其中c表示年底多發(fā)的薪資部分，即12個月工資+年底多發(fā)（c - 12）個月工資，如13薪，表示年底多發(fā)1個月的工資。對于按天計算薪水的情況，以一個月工作21天結(jié)算工資。對于按小時計算薪水的情況，由于數(shù)據(jù)量少且對數(shù)據(jù)分析影響較小，將其刪除。經(jīng)過數(shù)據(jù)變換有助于標(biāo)準(zhǔn)化薪水?dāng)?shù)據(jù)，以便后續(xù)分析。

4） 屬性格式化。在joblist.json文件中， 存在名為“技能”和“福利”的屬性列，它們以列表的方式存儲數(shù)據(jù)。以“福利”屬性列為例，由于不同公司提供不同的福利待遇，導(dǎo)致“福利”長度各不相同，這種不規(guī)則性給數(shù)據(jù)分析帶來了一些挑戰(zhàn)。因此，需要對“福利”屬性列進行數(shù)據(jù)的規(guī)范化處理，以將其轉(zhuǎn)化為更適合進行數(shù)據(jù)分析的數(shù)據(jù)格式。

“福利”列屬性格式化前，形式如下：

lst = ['員工旅游'，'定期體檢'， '餐補'，'年終獎'，'住房補貼'，'節(jié)日福利'，'帶薪年假'， '免費班車'，'交通補助'，'五險一金']

“福利”列屬性格式化后，形式如下：

lst = ['員工旅游、定期體檢、餐補、年終獎、住房補貼、節(jié)日福利、帶薪年假、免費班車、交通補助、五險一金']

預(yù)解析得到的最終數(shù)據(jù)如圖4所示。

5） 數(shù)據(jù)保存到MySQL中。系統(tǒng)使用MySQL數(shù)據(jù)庫存儲預(yù)解析后的數(shù)據(jù)，創(chuàng)建一個名為“boss”的數(shù)據(jù)庫，用于存儲招聘信息，數(shù)據(jù)庫結(jié)構(gòu)見表1。

3 數(shù)據(jù)可視化

系統(tǒng)最后實現(xiàn)了對BOSS直聘網(wǎng)南昌市與IT類招聘數(shù)據(jù)的可視化，并將分析結(jié)果以圖表的形式在前端頁面上進行展示。本系統(tǒng)的主要工具包括基于Python Web框架Flask以及開源可視化庫Echarts，通過該系統(tǒng)觀察招聘數(shù)據(jù)的相關(guān)可視化圖表，應(yīng)聘者可以更加方便瀏覽招聘信息，為求職者提供了更好的招聘信息可視化平臺。

3.1 區(qū)域數(shù)據(jù)分析

通過對南昌市各行政區(qū)和這些行政區(qū)內(nèi)各區(qū)域的公司數(shù)量進行了詳細分析，發(fā)現(xiàn)一些引人注目的趨勢。首先，較為繁華的行政區(qū)往往擁有更多的企業(yè)，反之企業(yè)數(shù)量較少。其次，由于交通便捷程度、距離市中心的遠近等因素，如進賢縣、安義縣的公司數(shù)量相對較少。

基于上述發(fā)現(xiàn)，可以得知，若應(yīng)聘者選擇在繁華的區(qū)域或者離市中心較近區(qū)域的企業(yè)投遞簡歷，擁有更多的機會獲得面試資格，并且被錄用的概率也會大大增加。該分析結(jié)果可以幫助求職者更有針對性地選擇投遞位置，提高他們的就業(yè)機會。如圖5所示。

3.2 學(xué)歷數(shù)據(jù)分析

通過對青山湖區(qū)各個區(qū)學(xué)歷要求的數(shù)量分析，可知青山湖區(qū)企業(yè)對求職者學(xué)歷層次的需求情況。分析結(jié)果顯示，對學(xué)歷要求最多的是大專與本科學(xué)歷，主要原因是大專與本科生的數(shù)量相對較多，企業(yè)有更多的選擇余地。其次，大專與本科生對薪資要求相對較低，企業(yè)可節(jié)約一定的投入成本。

此外，企業(yè)非常重視求職者的專業(yè)技能和實際操作能力，而初中及以下學(xué)歷的人很難滿足相關(guān)需求。對于碩士、博士學(xué)歷的人要求相對較高，企業(yè)難以滿足這些要求，因此，對高學(xué)歷要求的企業(yè)數(shù)量也相對較少。

分析結(jié)果有助于求職者更好地了解企業(yè)對學(xué)歷的要求，從而更有針對性地提升自己的就業(yè)競爭力。具體如圖6所示。

3.3 工資數(shù)據(jù)分析

1） 青山湖區(qū)企業(yè)最低工資統(tǒng)計數(shù)量分析。通過圖7數(shù)據(jù)分析可知，可知在該區(qū)域，提供最低月薪在3K到8K之間的企業(yè)數(shù)量相對較多，而提供10K以上月薪的企業(yè)數(shù)量占比相對較少。其原因可能是企業(yè)控制投入成本考慮、市場因素、行業(yè)標(biāo)準(zhǔn)、經(jīng)濟狀況以及員工的教育和技能水平等因素的影響。這些因素共同作用下，導(dǎo)致不同薪資水平的企業(yè)數(shù)量分布不均。

2） 青山湖區(qū)企業(yè)最高工資統(tǒng)計數(shù)量分析。通過圖8中數(shù)據(jù)分析可知，該區(qū)提供最高月薪在8K到12K之間的企業(yè)數(shù)量占比相對較大。可能是因為這些企業(yè)希望吸引行業(yè)頂級人才，因此愿提供較高的薪資待遇。此外，某些崗位可能需要特定的專業(yè)技能、豐富的經(jīng)驗或高學(xué)歷背景的人才，這些因素也會導(dǎo)致薪資水平相對較高。因此，這些企業(yè)提供了較高薪資的工作機會，吸引了有著較高技能水平和經(jīng)驗的求職者。

3.4 詞云分析

詞云是一種用來展示詞匯出現(xiàn)頻率的圖形，先使用Jieba庫對商業(yè)區(qū)、公司行業(yè)、福利進行分詞，以了解它們在數(shù)據(jù)中的使用頻率。接著使用WordCloud庫創(chuàng)建詞云圖呈現(xiàn)詞匯統(tǒng)計結(jié)果，以更清晰地觀察數(shù)據(jù)。通過對圖9的詞云分析發(fā)現(xiàn)，在求職過程中，應(yīng)聘者特別關(guān)注一些因素，如城市區(qū)域、所屬行業(yè)以及公司待遇。南昌市因其高吸引力而備受青睞，尤其在計算機軟件、集成電路和半導(dǎo)體行業(yè)。此外，一些新興地區(qū)，如艾溪湖、紅角洲和瑤湖也備受關(guān)注。福利待遇也是應(yīng)聘者重點考慮的內(nèi)容，包括節(jié)假日、福利和五險一金等。這些因素在求職中發(fā)揮著重要作用，應(yīng)聘者通過層層篩選，最終找到符合自己需求和興趣的職位。

4 結(jié)論

本文運用Python的Flask框架，構(gòu)建了一個可視化平臺，用于展示從BOSS直聘網(wǎng)獲取南昌市與IT行業(yè)相關(guān)的招聘信息，并進行深入的數(shù)據(jù)分析。這次分析包括了南昌市各個區(qū)域的企業(yè)數(shù)量、青山湖區(qū)各區(qū)對學(xué)歷的要求、最高和最低工資水平、企業(yè)所屬行業(yè)以及提供的福利待遇等多個方面。最終，通過可視化手段將這些分析結(jié)果生動地展示，為南昌市IT行業(yè)的求職者提供了一個便捷的平臺，以幫助他們更輕松地找到適合自己的職位。

參考文獻：

[1] 毛遂，毛紅霞.基于51job網(wǎng)站招聘信息的爬取與分析——以Python技術(shù)崗位為例[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（4）：47-49.

[2] 丁文浩，朱齊亮.基于Python的招聘數(shù)據(jù)爬取與分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2022（1）：43-45.

[3] 王福成，齊平.基于招聘數(shù)據(jù)的高校程序設(shè)計語言類教育研究[J].池州學(xué)院學(xué)報，2020，34（6）：147-149.

[4] 羅燕.基于Python對人工智能類招聘信息的爬取與分析[J].石家莊職業(yè)技術(shù)學(xué)院學(xué)報，2022，34（6）：9-17.

[5] 馬寧，陳曦，張李銘.基于Selenium與Openpyxl的Web腳本自動化設(shè)計研究[J].電腦知識與術(shù)，2020，16（1）：51-53，70.

[6] 殷麗鳳，張浩然.基于Python網(wǎng)上招聘信息的爬取和分析[J].電子設(shè)計工程，2019，27（20）：22-26.

[7] 張嘉威，關(guān)成斌.基于Python和Selenium的智聯(lián)招聘數(shù)據(jù)的爬取與分析[J].軟件，2022，43（8）：170-175.

[8] 程俊英.基于Python語言的數(shù)據(jù)分析處理研究[J].電子技術(shù)與軟件工程，2022（15）：236-239.

【通聯(lián)編輯：王 力】