金昌錦
(福州職業(yè)技術學院 福建省福州市 350108)
伴隨著國家經(jīng)濟的快速發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整升級需求,大學及職業(yè)教育涌現(xiàn)出一大批新興的符合國家發(fā)展方向需求的新專業(yè)。這些專業(yè)也提供了大量新興的崗位需求,不同類型的崗位需求差異明顯。特別是一些專業(yè)崗位,社會認知度不高,學生自身了解就業(yè)信息的難度較大,了解相關崗位信息的積極性不高,不利于學生樹立正確的職業(yè)觀念,不利于學生對自身未來職業(yè)生涯進行規(guī)劃。大部分就業(yè)信息都是互聯(lián)網(wǎng)上收集到的零散信息,或是身邊家人朋友和老師等的宣傳推介,難以形成明晰的職業(yè)認知。與此同時,新興領域崗位的任職要求日新月異,以上渠道和方式都不能夠滿足學生對新專業(yè)新崗位,老專業(yè)新崗位的就業(yè)信息與任職要求的信息獲取要求。為了讓學生能夠在學校就讀期間就能夠緊跟本專業(yè)崗位發(fā)展情況,明確目標就業(yè)崗位的任職條件,做好職業(yè)生涯規(guī)劃的同時有針對性的培養(yǎng)自身職業(yè)素養(yǎng),迫切需要一個崗位信息實時更新的就業(yè)信息查詢系統(tǒng)來幫助學生及時的了解就業(yè)信息,幫助大中專院校師生明確學習目標。
就業(yè)問題一直是社會關注的熱點問題,目前此類針對就業(yè)信息的網(wǎng)絡爬取工作,前人已經(jīng)做了較多研究。例如:太原科技大學的王芳采用基于Python 的Scrapy 框架設計了某招聘網(wǎng)站的爬蟲系統(tǒng)并實現(xiàn)數(shù)據(jù)清洗及分析,但是沒有考慮多個招聘網(wǎng)站作為數(shù)據(jù)源的情況[1];淮陰師范學院的常逢佳采用Python 的requests 庫針獲取拉勾網(wǎng)招聘數(shù)據(jù),通過Ajax 異步請求的Json 數(shù)據(jù)獲取了職位信息簡介,并對獲取的薪資、工作年限等做了簡單數(shù)據(jù)清洗和分析,但沒有獲取崗位的詳情信息[2]。福州職業(yè)技術學院的金昌錦實現(xiàn)了多數(shù)據(jù)源的招聘信息的數(shù)據(jù)采集,針對復雜的數(shù)據(jù)采用Python 的matplotlib 庫進行了圖表化,最后使用中文分詞庫jieba 進行分詞操作,再用wordcloud 形成圖云展示[3]。根據(jù)以上的研究情況分析,目前相關爬蟲爬取的就業(yè)信息大多僅作為研究目的,沒有真正實際的開放給高校中的教師和學生使用和參考。本文開發(fā)了一個系統(tǒng)能夠定期爬取最新的就業(yè)崗位信息,對數(shù)據(jù)進行整理清洗后可供高校師生參考。也可以根據(jù)教師和學生的需求新增新的就業(yè)崗位進行數(shù)據(jù)采集,并實現(xiàn)了基本的畢業(yè)生就業(yè)情況管理功能。
不同類型爬蟲爬取網(wǎng)頁內(nèi)容的方式的不同,根據(jù)其爬取特點,一般將其分為分為通用型爬蟲和聚焦型爬蟲兩類[4]。通用型爬蟲通常是指類似百度、必應和谷歌搜索這樣的面對整個互聯(lián)網(wǎng)內(nèi)容進行爬取檢索的方式。而針對某個某類爬取者指定的網(wǎng)頁信息內(nèi)容進行爬取的方式,即稱為聚焦型爬蟲。本文所需采集的數(shù)據(jù)為就業(yè)崗位信息數(shù)據(jù),采用的是聚焦型網(wǎng)絡爬蟲進行抓取。
B/S 架構(gòu)即瀏覽器和服務器結(jié)構(gòu)模式,是隨著Internet 技術的興起,對C/S 架構(gòu)的一種變化或者改進的架構(gòu)[5]。B/S 構(gòu)架的優(yōu)點如下:
(1)表現(xiàn)層、業(yè)務邏輯層和數(shù)據(jù)訪問層是相互獨立的,互不影響,可以降低各層之間的依賴,系統(tǒng)維護和升級方式簡單,開發(fā)人員能夠集中精力關注某一層。
(2)在計算機技術發(fā)展的背景下,B/S 構(gòu)架采用當前標準的網(wǎng)絡協(xié)議,具有良好的兼容性。
(3)B/S 構(gòu)架操作方便快捷,無需安裝任何應用程序,用戶只需通過瀏覽器即可與后臺的服務器和數(shù)據(jù)庫進行數(shù)據(jù)信息交換[6]。
Django 是一個開放源代碼的Web 應用框架,由Python 寫成。具有功能完善、要素齊全、文檔完善、強大的數(shù)據(jù)庫訪問、靈活的URL 映射等優(yōu)點[7]。
本系統(tǒng)主要使用者為學院內(nèi)各個專業(yè)的學生、相應的專業(yè)教師和各班級輔導員三類參與者。
(1)主要為學生提供就業(yè)崗位信息的查詢,畢業(yè)生就業(yè)信息的上報等服務;
(2)為專業(yè)教師提供最新的就業(yè)崗位信息數(shù)據(jù),及時了解行業(yè)崗位任職要求的更新與變化,根據(jù)學生提交的申請及崗位的變化的情況及時更新本專業(yè)就業(yè)崗位信息及其任職要求;
(3)為輔導員提供學生畢業(yè)前后就業(yè)情況信息審查及報送功能。
總體設計要實現(xiàn)系統(tǒng)易于使用,操作便捷,有較強的易用性,較低的學習成本。二要能根據(jù)用戶需求爬取跟蹤最新的崗位信息,及時將信息提供給教師處理,并提供給學生了解。三是解決目前學生畢業(yè)前后就業(yè)信息報送渠道不通暢,輔導員工作量大,信息報送緩慢不及時等問題。
本系統(tǒng)根據(jù)設計目標,主要分為5 大模塊,總體的模塊設計參見圖1。
圖1:就業(yè)崗位跟蹤與就業(yè)管理系統(tǒng)功能模塊圖
3.2.1 崗位信息查詢模塊
本模塊可以加深學生對于所學專業(yè)相關崗位的任職要求的了解,實時掌握最新的崗位技能與知識要求。學生可以查詢了解各個專業(yè)主要崗位的就業(yè)區(qū)域,薪資分布,任職要求等就業(yè)信息,也可提交新興崗位信息采集的申請;教師角色除了可以實現(xiàn)學生角色的功能以外,還可以對學生提交的申請進行審核,審核通過后提交崗位信息爬取模塊獲得相關信息并審核,最終實現(xiàn)就業(yè)崗位信息的更新。
3.2.2 就業(yè)崗位信息采集更新模塊
本模塊定期對數(shù)據(jù)庫內(nèi)已存在的就業(yè)崗位在相關招聘網(wǎng)站進行數(shù)據(jù)抓取并清理,歸集后由專業(yè)教師進行人工審核修改后存入數(shù)據(jù)庫中。由教師審核后提交的新增的崗位加入下一次的爬取過程。爬蟲采用基于Python 語言編寫的網(wǎng)絡爬蟲進行數(shù)據(jù)采集,利用成熟的Scrapy 框架配合Mysql 數(shù)據(jù)庫進行爬取及存儲任務,最后使用Re 正則表達式庫和Jieba 中文分詞庫對數(shù)據(jù)進行清洗,提取出有效的就業(yè)崗位信息內(nèi)容。
3.2.3 畢業(yè)生基本信息管理模塊
本模塊可直接導入現(xiàn)有學校教務系統(tǒng)學生基本信息數(shù)據(jù)表,同時提供修改更正的功能。
3.2.4 畢業(yè)生就業(yè)情況管理模塊
以往畢業(yè)生就業(yè)信息都是通過學生上報材料給輔導員,輔導員人工收集材料整理后統(tǒng)一上報。本模塊實現(xiàn)畢業(yè)生就業(yè)情況自主上傳,輔導員角色可進行審核及管理,自動生成就業(yè)信息情況報表。
3.2.5 系統(tǒng)管理模塊
系統(tǒng)管理模塊可以由管理員進行用戶的增減、查詢,進行用戶基本信息維護,權限設置及修改等。
本系統(tǒng)采用的是Mysql 數(shù)據(jù)管理系統(tǒng),主要有以下數(shù)據(jù)結(jié)構(gòu)表,見以下表格:
(1)用戶信息表:如表1所示。
表1:用戶信息表
(2)畢業(yè)生基本信息表:如表2所示。
表2:畢業(yè)生基本信息表
(3)崗位信息表:如表3所示。
表3:崗位信息表
(4)畢業(yè)生就業(yè)情況表:如表4所示。
表4:畢業(yè)生就業(yè)情況表
本系統(tǒng)測試時服務器端采用的是Windows Server2003 操作系統(tǒng),客戶端采用Windows10 操作系統(tǒng),使用Chrome 和360 極速瀏覽器進行系統(tǒng)運行驗證。
用戶登陸模塊是面向用戶的第一道窗口,必須確保該模塊運行穩(wěn)定,操作編輯,安全性高。實際測試中本界面運行情況達到預期要求,如圖2所示。
圖2:用戶登陸界面實現(xiàn)
系統(tǒng)主界面如圖3所示。
圖3:系統(tǒng)主界面(學生用戶)
隨著國家產(chǎn)業(yè)升級的步伐逐步加快,在教育部的統(tǒng)一規(guī)劃下,大中專院校緊跟時代發(fā)展設立了眾多新興的就業(yè)崗位,舊有的專業(yè)及崗位也融合了新的知識和技能。通過本系統(tǒng)實時的跟蹤最新就業(yè)崗位信息,收集整理后呈現(xiàn)給專業(yè)教師和學生參考,不僅讓學生對自己未來可能的就業(yè)崗位有更清晰的認識,更可以讓學生提前規(guī)劃自身學習方向和目標。對于教師而言也可以隨時緊跟行業(yè)發(fā)展情況,及時調(diào)整教學方向,提高教學的針對性。同時本系統(tǒng)還實現(xiàn)了基本的就業(yè)生畢業(yè)情況的管理功能,學生提交就業(yè)情況證明材料更加便捷,輔導員審核就業(yè)情況的效率和上報的準確性有效性得到提升,可以很好的服務于本學院的就業(yè)引導及就業(yè)管理工作,系統(tǒng)總體上實現(xiàn)了設計目標。