基于網(wǎng)絡(luò)爬蟲的住宅型房地產(chǎn)評估測評系統(tǒng)

陳思宏 劉紫儀

[摘 要] 針對傳統(tǒng)房地產(chǎn)評估行業(yè)存在的問題構(gòu)建了新的流程優(yōu)化方案，基于該流程方案設(shè)計了利用python網(wǎng)絡(luò)爬蟲獲取互聯(lián)網(wǎng)大量住宅型房地產(chǎn)數(shù)據(jù)的測評系統(tǒng)。同時闡述了該測評系統(tǒng)通過大數(shù)據(jù)和資產(chǎn)評估市場法得出比準(zhǔn)價格，該價格作為依據(jù)為評估師的執(zhí)業(yè)結(jié)果進(jìn)行判斷評分，有助于降低評估誤差，進(jìn)一步規(guī)范評估市場。

[關(guān)鍵詞] python爬蟲;住宅型房地產(chǎn)評估測評系統(tǒng);評估價值測評

[中圖分類號] F293.33[文獻(xiàn)標(biāo)識碼] A[文章編號] 1009-6043（2020）05-0139-03

一、引言

在傳統(tǒng)房產(chǎn)評估過程中，委托方和評估機構(gòu)可能會存在利益共謀，從而損害第三方利益。單個評估企業(yè)對資產(chǎn)評估所得到的結(jié)果也難免存在失誤。如果評估公司的評估結(jié)果與委托方預(yù)期差距較大時，委托方會選擇重復(fù)評估，浪費人力和物力。這些問題都不利于評估行業(yè)的健康發(fā)展。

隨著大數(shù)據(jù)時代的到來，評估行業(yè)如何在大數(shù)據(jù)環(huán)境下獲得所需要的評估數(shù)據(jù)變得日益重要。近年來，我國資產(chǎn)評估行業(yè)努力推進(jìn)評估行業(yè)大數(shù)據(jù)建設(shè)，很多學(xué)者積極探索資產(chǎn)評估信息化。吳穎（2016）認(rèn)為房地產(chǎn)的三種評估方法由于過分依賴資產(chǎn)評估師的經(jīng)驗，從而對評估結(jié)果的公信力存在一定的影響。鑒于此，本文引入第三方監(jiān)督機構(gòu)，借助房地產(chǎn)價值評估測評系統(tǒng)，提高評估結(jié)果的準(zhǔn)確性和評估行業(yè)的公信力。胡蘭，段禾青（2018）提出了在資產(chǎn)評估行業(yè)利用大數(shù)據(jù)與云計算相結(jié)合，用以彌補分析階段人工信息處理出錯的可能，并提出構(gòu)建評估大數(shù)據(jù)智能化平臺，不足之處在于尚未闡述如何構(gòu)建評估大數(shù)據(jù)智能化平臺以及如何獲得平臺的數(shù)據(jù)。為了彌補這一不足，本文融合政府、房產(chǎn)交易市場、互聯(lián)網(wǎng)和財務(wù)軟件四個層面數(shù)據(jù)來源，經(jīng)過數(shù)據(jù)清洗后組成了數(shù)據(jù)倉庫，為構(gòu)建評估大數(shù)據(jù)智能化平臺提供了思路。董睿琳，董楠（2019）提出了利用網(wǎng)絡(luò)爬蟲技術(shù)獲取數(shù)據(jù)資源和利用大數(shù)據(jù)進(jìn)行自動估價系統(tǒng)。在此基礎(chǔ)上本文提出了利用python構(gòu)建網(wǎng)絡(luò)爬蟲以及如何利用爬蟲獲取數(shù)據(jù)、獲取互聯(lián)網(wǎng)上哪部分?jǐn)?shù)據(jù)等內(nèi)容，以實現(xiàn)快速、高效、大面積的爬取數(shù)據(jù)。

本文利用基于python的網(wǎng)絡(luò)爬蟲技術(shù)將互聯(lián)網(wǎng)大數(shù)據(jù)資源與住宅型房地產(chǎn)價值評估測評系統(tǒng)結(jié)合，自動進(jìn)行分析計算，為評估結(jié)果提供了一定的參考依據(jù)，有助于降低評估誤差，進(jìn)一步規(guī)范了評估市場。

二、評估流程優(yōu)化

住宅型房地產(chǎn)評估流程優(yōu)化是指轉(zhuǎn)變傳統(tǒng)價值評估觀念，引入獨立的第三方監(jiān)督機構(gòu)，利用大數(shù)據(jù)技術(shù)介入結(jié)果檢查，同時管理評估行業(yè)的信用評級，從信譽方面把控評估公司的評估資質(zhì)，淘汰掉不符合要求的評估公司，促進(jìn)市場的良性競爭。監(jiān)管部門的引入，不僅保證了評估結(jié)果的可靠性，還可降低評估風(fēng)險，減少重復(fù)評估對資源的浪費，有利促進(jìn)評估行業(yè)的發(fā)展。

委托方在市場上發(fā)布評估需求，以公開招標(biāo)的形式吸引合格的評估公司，并依據(jù)評估公司信譽評級進(jìn)行業(yè)務(wù)委托。監(jiān)管部門對評估公司評估過程介入監(jiān)管，首先對資產(chǎn)評估師現(xiàn)場采集的照片及底稿進(jìn)行審計審核，若審核不符合要求則對評估公司進(jìn)行評級扣分，若信息無誤則將數(shù)據(jù)錄入測評系統(tǒng)中進(jìn)行下一步的分析。測評系統(tǒng)的分析階段利用市場法、收益法或成本法對數(shù)據(jù)進(jìn)行處理，得出比準(zhǔn)價格，并將其與評估公司的結(jié)果進(jìn)行比較，若評估公司的結(jié)果與該價格偏離度較低，說明評估公司評估質(zhì)量良好，委托方可接受該結(jié)果無需重復(fù)評估。最后監(jiān)管部門會依據(jù)結(jié)果的準(zhǔn)確性對評估公司信譽進(jìn)行評分，并更新公司信譽評級。該信譽將會影響委托方對評估公司的選擇。

三、住宅型房地產(chǎn)評估測評系統(tǒng)設(shè)計

依據(jù)評估房產(chǎn)優(yōu)化后的流程設(shè)計針對監(jiān)管方的測評系統(tǒng)。該系統(tǒng)特色之處在于數(shù)據(jù)采集除利用財務(wù)報表等結(jié)構(gòu)化數(shù)據(jù)外，還通過基于python的網(wǎng)絡(luò)爬蟲技術(shù)采集互聯(lián)網(wǎng)上龐大的非結(jié)構(gòu)數(shù)據(jù)信息。系統(tǒng)采集的基礎(chǔ)數(shù)據(jù)是房產(chǎn)評估的整體依據(jù)，因此本系統(tǒng)利用互聯(lián)網(wǎng)大數(shù)據(jù)資源，全面的獲取住宅型房地產(chǎn)行業(yè)的數(shù)據(jù)信息，有助于提高評估公正性和真實性。

住宅型房地產(chǎn)價值評估測評系統(tǒng)擁有三個功能模塊：數(shù)據(jù)采集、價值評估以及信譽反饋，下面分別對其進(jìn)行介紹。

（一）基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集

下面將對數(shù)據(jù)的主要來源進(jìn)行闡述，并利用python語言設(shè)計網(wǎng)絡(luò)爬蟲對住宅型房地產(chǎn)的基本信息進(jìn)行抓取。

1.數(shù)據(jù)采集來源

數(shù)據(jù)的獲取主要來自以下幾個方面：

（1）政府層面信息來源。獲取資產(chǎn)評估協(xié)會發(fā)布的行業(yè)指導(dǎo)、評估案例，以及政府部門在相關(guān)網(wǎng)站上發(fā)布的相關(guān)評估標(biāo)準(zhǔn)、細(xì)則，如土地級別圖、基準(zhǔn)地價表等，這是利用基準(zhǔn)地價系數(shù)修正法得到評估范圍的前提。

（2）從房地產(chǎn)中介獲取數(shù)據(jù)信息。房地產(chǎn)中介掌握大量的買賣雙方的交易信息，因此能夠很好地反映市場需求和房地產(chǎn)價格，為測評系統(tǒng)的價值評估范圍提供較大的參考依據(jù)。

（3）財務(wù)報表數(shù)據(jù)。在使用收益法對房地產(chǎn)進(jìn)行評估時，需要利用財務(wù)報表的相關(guān)信息。使用企業(yè)普及度較高的財務(wù)軟件，可實現(xiàn)對財務(wù)報表數(shù)據(jù)的收集。

（4）運用爬蟲獲取網(wǎng)頁數(shù)據(jù)?；ヂ?lián)網(wǎng)是一個巨大的信息庫，它提供了實時、快捷的海量信息?；趐ython技術(shù)的網(wǎng)絡(luò)爬蟲能夠穩(wěn)定高效的從大型網(wǎng)站中進(jìn)行大規(guī)模的數(shù)據(jù)爬取，為得出評估價值區(qū)間提供保障。

通過上述四種主要渠道獲取并存儲數(shù)據(jù)，利用數(shù)據(jù)倉庫加工這些異構(gòu)的數(shù)據(jù)源，消除掉數(shù)據(jù)源中的不一致，最終得到一個數(shù)據(jù)源的有效集成，從而構(gòu)建一個包含完整數(shù)據(jù)信息的評估大數(shù)據(jù)智能化平臺。

網(wǎng)頁下存在的大量非結(jié)構(gòu)數(shù)據(jù)信息雖然價值高，但因數(shù)量龐大、結(jié)構(gòu)復(fù)雜而采集較為困難，因此下面主要介紹利用網(wǎng)絡(luò)爬蟲技術(shù)獲取互聯(lián)網(wǎng)下房產(chǎn)市場上大量數(shù)據(jù)的過程。

2.網(wǎng)絡(luò)爬蟲爬取互聯(lián)網(wǎng)數(shù)據(jù)資源

本系統(tǒng)設(shè)計數(shù)據(jù)采集模塊，通過python的語言編寫網(wǎng)絡(luò)爬蟲，抓取的內(nèi)容包括：

（1）互聯(lián)網(wǎng)上的住宅房地產(chǎn)信息。具體包括某一地區(qū)房產(chǎn)位置、交易價格、建筑面積、房屋戶型、裝修情況、產(chǎn)權(quán)年限、所在樓層、戶型結(jié)構(gòu)、建筑類型、建筑結(jié)構(gòu)、配套電梯等。

（2）政府部門在相關(guān)網(wǎng)站上發(fā)布的相關(guān)評估標(biāo)準(zhǔn)、細(xì)則。

由于互聯(lián)網(wǎng)上的房產(chǎn)數(shù)據(jù)內(nèi)容龐大，并且信息往往不集中，數(shù)據(jù)的獲取存在一定的難度，因此下面主要闡述從互聯(lián)網(wǎng)上獲取的房地產(chǎn)基本信息。

首先系統(tǒng)根據(jù)一定的網(wǎng)頁分析算法過濾掉與住宅型房地產(chǎn)主題無關(guān)的鏈接，保留有用的鏈接，然后對這些連接下的網(wǎng)頁進(jìn)行下載并對網(wǎng)頁結(jié)構(gòu)進(jìn)行分析，最后利用一定的算法獲取網(wǎng)頁下的房產(chǎn)基本信息并完成數(shù)據(jù)存儲。

以鏈家房地產(chǎn)網(wǎng)站為例，在該網(wǎng)站搜索某市住房信息，可得到該市不同地區(qū)住房情況，點擊具體某一房源，在二級網(wǎng)站中查閱到該房源詳細(xì)的信息，因此需要獲取的房產(chǎn)詳細(xì)信息存儲在二級界面中。對房地產(chǎn)網(wǎng)站進(jìn)行元素審查發(fā)現(xiàn)，首先需要對主頁面進(jìn)行爬蟲設(shè)計，對該主網(wǎng)站樹形結(jié)構(gòu)下載后進(jìn)行DOM樹遍歷，并利用正則表達(dá)式提取其中包含的二級網(wǎng)站url。對于抓取到的第二層網(wǎng)站鏈接，繼續(xù)對其網(wǎng)頁結(jié)構(gòu)進(jìn)行分析，確認(rèn)好需要的數(shù)據(jù)所存在的位置后，對該網(wǎng)頁下的房產(chǎn)基本信息解析和數(shù)據(jù)的提取，最后將抓取到的信息經(jīng)過數(shù)據(jù)清洗，刪除掉一些空行、錯誤的數(shù)據(jù)后保存在數(shù)據(jù)庫中，以保證數(shù)據(jù)的有效性和可用性。二級鏈接中的數(shù)據(jù)可以讓采集到的數(shù)據(jù)更加充實完善，從而提高資產(chǎn)評估的準(zhǔn)確性。

（二）基于市場法的價值評估

由于大數(shù)據(jù)資產(chǎn)的交易市場越來越活躍，市場法評估大數(shù)據(jù)資產(chǎn)價值具有明顯優(yōu)勢，因此下面主要介紹利用市場法得出住宅型房地產(chǎn)的比準(zhǔn)價格。

在基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集模塊中，網(wǎng)絡(luò)爬蟲已將從互聯(lián)網(wǎng)上爬取到的大數(shù)據(jù)信息存入數(shù)據(jù)庫，方便后續(xù)數(shù)據(jù)的查詢與調(diào)用。對評估人員現(xiàn)場勘察記錄底稿進(jìn)行審計后，將住房基礎(chǔ)數(shù)據(jù)錄入測評系統(tǒng)中。錄入的基礎(chǔ)數(shù)據(jù)是測評系統(tǒng)分析匹配相似房地產(chǎn)的基礎(chǔ)。測評系統(tǒng)通過對錄入的數(shù)據(jù)進(jìn)行模糊查詢，從數(shù)據(jù)庫中調(diào)用出全部與目標(biāo)房產(chǎn)具有相似度的樓房參照物，利用計算機內(nèi)部算法對參照物屬性進(jìn)行區(qū)域修正和個別因素修正等計算后，根據(jù)參照物的相應(yīng)權(quán)重，采用加權(quán)平均法計算得出評估對象的比準(zhǔn)價格。該測評系統(tǒng)在分析階段還可以與評估專家模塊相結(jié)合，利用其包含的專業(yè)知識解決在分析房地產(chǎn)價值的過程中存在的特殊、專業(yè)性的問題，有利于提高評估的規(guī)范性和工作效率，降低業(yè)務(wù)成本。

大數(shù)據(jù)數(shù)據(jù)庫的優(yōu)勢在于可以將全部既有較高相似度的房產(chǎn)數(shù)據(jù)匹配出來進(jìn)行計算，彌補了因人工精力有限，難以對全部具有相似屬性的房產(chǎn)進(jìn)行因素修正的缺陷。最后對結(jié)果求取加權(quán)平均值計算得出的結(jié)果區(qū)間。與人工相比利用大數(shù)據(jù)信息化所得到的結(jié)果正確率與準(zhǔn)確性更高。

另外，由于大數(shù)據(jù)常與可視化工具組合完成對相關(guān)數(shù)據(jù)的分析，因此還可利用本系統(tǒng)中存在的房地產(chǎn)大數(shù)據(jù)進(jìn)行可視化分析，通過對可視化的分析結(jié)果進(jìn)行觀察，可以發(fā)現(xiàn)評估行業(yè)中普遍存在的問題，對政府的決策、評估政策的制定等都具有一定的幫助作用。

（三）信譽反饋

評估測評系統(tǒng)的信譽反饋機制是指利用系統(tǒng)價值評估階段計算得到的比準(zhǔn)價格與評估公司報告中的評估結(jié)果進(jìn)行比較，根據(jù)偏離度對評估公司進(jìn)行打分。若評估結(jié)果符合比準(zhǔn)價格或與比準(zhǔn)價格偏離度較小，則說明評估公司的評估結(jié)果與該系統(tǒng)差異度較小，準(zhǔn)確度較高，該公司展開評估工作較為有效，委托方可放心使用該評估結(jié)果無需重復(fù)評估。若評估結(jié)果與該比準(zhǔn)價格偏離度較大，說明該公司的評估結(jié)果可信度較低，則監(jiān)管部門應(yīng)該對該公司的信用評級進(jìn)行扣分。由于委托方對評估公司的委托主要依據(jù)該公司評估的信用評級，當(dāng)公司的信用評級降低到一定程度后，該公司將會失去大部分的評估市場，只能通過降低服務(wù)價格或提高評估質(zhì)量來轉(zhuǎn)型，否則將會被市場淘汰。這一定程度上幫助市場篩選掉不符合要求的公司，從而促進(jìn)評估產(chǎn)業(yè)的可持續(xù)發(fā)展。

綜上，針對監(jiān)管部門的住宅型房地產(chǎn)價值評估測評系統(tǒng)的設(shè)計，利用互聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)相結(jié)合，通過網(wǎng)絡(luò)爬蟲獲得的數(shù)據(jù)為后續(xù)分析打下了基礎(chǔ)，使得價值評估階段擁有價值較高的參考依據(jù)。計算機相較人工能夠處理更多的數(shù)據(jù)信息，得出的評估價格更精確，從而為評估公司的結(jié)果提供了參考依據(jù)。

[參考文獻(xiàn)]

[1]劉琦，童洋，魏永長，等.市場法評估大數(shù)據(jù)資產(chǎn)的應(yīng)用[J].中國資產(chǎn)評估，2016（11）：33-37.

[2]陳偉，孫夢蝶.基于網(wǎng)絡(luò)爬蟲技術(shù)的大數(shù)據(jù)審計方法研究[J].中國注冊會計師，2018（14）：76-79.

[3]周云.一種基于大數(shù)據(jù)的品牌資產(chǎn)評估方法及系統(tǒng)[P].權(quán)力要求書，2016.

[4]胡蘭，段禾青.大數(shù)據(jù)時代資產(chǎn)評估行業(yè)現(xiàn)狀及發(fā)展分析[J].綠色科技，2018（23）：41-42.

[5]董睿琳，董楠.基于房地產(chǎn)大數(shù)據(jù)的自動股價系統(tǒng)研究[J].智能計算機與應(yīng)用，2019，9（3）：276-280.

[6]姜楠，王景升.資產(chǎn)評估[M].大連：東北財經(jīng)大學(xué)出版社，2018：94-112.

[責(zé)任編輯：王鳳娟]