FME和VSFTP相結(jié)合的不動產(chǎn)數(shù)據(jù)模式探討

焦道振，曾 銘，高照忠，廖樂林

(1. 廣東省地質(zhì)測繪院，廣東 廣州 510080； 2. 肇慶市自然資源局，廣東 肇慶 526040； 3. 廣東工貿(mào)職業(yè)技術(shù)學(xué)院，廣東 廣州 510510)

不動產(chǎn)數(shù)據(jù)整合是不動產(chǎn)統(tǒng)一登記中一項極為重要的數(shù)據(jù)建設(shè)工作，是一項關(guān)乎國計民生的基礎(chǔ)性工作。數(shù)據(jù)質(zhì)量的好壞直接影響到不動產(chǎn)登記效率和地方政府不動產(chǎn)精細(xì)化管理，影響到地區(qū)的經(jīng)濟(jì)統(tǒng)計和宏觀調(diào)控政策方略。自2007年3月，第十屆全國人大第五次會議通過《物權(quán)法》以來，不動產(chǎn)統(tǒng)一登記制度逐步建立，國家從法律、制度等方面入手，明確了全國土地、房屋、林地、海域等不動產(chǎn)統(tǒng)一登記職責(zé)，并基本做到登記機(jī)構(gòu)、登記簿冊、登記依據(jù)和信息平臺“四統(tǒng)一”。但由于登記機(jī)構(gòu)、地方做法、歷史遺留問題等諸多原因，造成了不動產(chǎn)數(shù)據(jù)數(shù)據(jù)存儲格式多樣，數(shù)據(jù)質(zhì)量差異明顯。不動產(chǎn)數(shù)據(jù)整合需要對不動產(chǎn)數(shù)據(jù)分散存放、格式不一、存儲介質(zhì)不同等進(jìn)行統(tǒng)一梳理、規(guī)范，依據(jù)不動產(chǎn)登記數(shù)據(jù)庫標(biāo)準(zhǔn)進(jìn)行整合[1]，建設(shè)不動產(chǎn)登記信息數(shù)據(jù)庫[2]。選擇合適的數(shù)據(jù)整合處理工具，可以快速篩選出有缺陷的數(shù)據(jù)，有側(cè)重地進(jìn)行數(shù)據(jù)處理，大大提高不動產(chǎn)數(shù)據(jù)成果質(zhì)量和數(shù)據(jù)整合效率。

1 技術(shù)路線

通過調(diào)研摸底，不動產(chǎn)登記信息主要有Oracle、SQL Server、Excel、MDB等類型，空間數(shù)據(jù)主要有DWG、SHP、MDB、GDB、TIF、坐標(biāo)串文本文件等格式。因而，不動產(chǎn)數(shù)據(jù)整合需要采用支持眾多數(shù)據(jù)格式的ETL工具，對不動產(chǎn)資料進(jìn)行分析、轉(zhuǎn)換、處理、檢查、更新、輸出等操作，通過與同類軟件的對比，選擇FME作為數(shù)據(jù)處理軟件。FME是一個支持多源異構(gòu)數(shù)據(jù)融合[3]的ETL工具，支持的數(shù)據(jù)格式覆蓋GIS、CAD、柵格、數(shù)據(jù)庫等，超過300種，涵蓋了不動產(chǎn)數(shù)據(jù)現(xiàn)有的類型和格式，常用于處理地理信息數(shù)據(jù)[4]。此外，F(xiàn)ME內(nèi)置大量轉(zhuǎn)換器，可以完成絕大部分常規(guī)數(shù)據(jù)處理，是一種較為理想的不動產(chǎn)數(shù)據(jù)整合與建庫工具[5]。

本文采用FME和VSFTP[6]相結(jié)合的方式實現(xiàn)團(tuán)隊數(shù)據(jù)整理步驟的相互協(xié)作[7]，整個工作環(huán)境部署在同一個與外網(wǎng)物理隔離的局域網(wǎng)內(nèi)，作業(yè)模式如圖1所示。

FME處理模板制作完成后，部署于服務(wù)器端，可供數(shù)據(jù)整合人員、質(zhì)檢人員按需運行，也可以部署定時任務(wù)，由服務(wù)器自動執(zhí)行數(shù)據(jù)檢查和處理；將不合格的數(shù)據(jù)輸出到指定位置，由各作業(yè)小組自行下載并繼續(xù)處理，直至完成后再通過作業(yè)組質(zhì)檢上傳至服務(wù)器，最后由數(shù)據(jù)整合人員或質(zhì)檢人員執(zhí)行FME數(shù)據(jù)處理模板，如此迭代，使數(shù)據(jù)不斷趨于完善。

2 作業(yè)流程

依據(jù)《不動產(chǎn)登記數(shù)據(jù)整合建庫技術(shù)規(guī)范(試行)》的相關(guān)規(guī)定，不動產(chǎn)數(shù)據(jù)整合建庫分為工作準(zhǔn)備、規(guī)范化整理、整合關(guān)聯(lián)、數(shù)據(jù)入庫4個階段。但在實際的不動產(chǎn)數(shù)據(jù)整合與建庫過程中，這幾個階段并不是孤立的，而是不斷地處理、更新、質(zhì)檢，再處理、更新、質(zhì)檢，不斷迭代以致數(shù)據(jù)趨于完善。基于以上操作，不動產(chǎn)數(shù)據(jù)整合建庫工作有資料收集、轉(zhuǎn)入中間庫、規(guī)范化整理、檢查及分類、核檔及補錄、外業(yè)調(diào)查測繪、整合關(guān)聯(lián)、成果驗收等環(huán)節(jié)，作業(yè)流程設(shè)計如圖2所示。

資料收集人員負(fù)責(zé)與業(yè)主方溝通，收集整理不動產(chǎn)資料，并將收集到的資料提交給規(guī)范化整理人員。

規(guī)范化整理的工作人員通過FME，將不動產(chǎn)信息從收集到的資料中抽取、轉(zhuǎn)換導(dǎo)入中間庫，轉(zhuǎn)換進(jìn)入中間庫時，對每一條數(shù)據(jù)編制唯一的標(biāo)識碼，字段為BSM。中間庫可使用任意支持SQL處理或存放空間數(shù)據(jù)的數(shù)據(jù)格式，如Access、GDB或Oracle等。

規(guī)范化整理的工作人員對數(shù)據(jù)進(jìn)行分析，依據(jù)不動產(chǎn)相關(guān)處理辦法對能批量處理的信息進(jìn)行批量處理，如字段值規(guī)范化、不允許為空的字段填入規(guī)定的缺省值等。

質(zhì)檢人員對中間庫數(shù)據(jù)進(jìn)行檢查，分類導(dǎo)出不合格數(shù)據(jù)，導(dǎo)出不合格數(shù)據(jù)時帶出BSM字段,并新增3個附加字段(修訂更新標(biāo)識:XDGXBS,修訂處理人:XDCLR,修訂處理時間:XDCLSJ)。

數(shù)據(jù)修復(fù)整理人員對不合格數(shù)據(jù)進(jìn)行核檔、人工修復(fù)、補錄、刪除冗余等操作，處理后在修訂更新標(biāo)識處標(biāo)記該記錄是新增、更新或邏輯刪除，并注明處理人、更新時間，成果交規(guī)范化整理人員，迭代轉(zhuǎn)換進(jìn)中間庫、數(shù)據(jù)整理、質(zhì)檢輸出不合格數(shù)據(jù)過程。

各類數(shù)據(jù)通過FME進(jìn)行關(guān)聯(lián)整合[8]，導(dǎo)出無法關(guān)聯(lián)的數(shù)據(jù)，供數(shù)據(jù)修復(fù)整理人員核檔補錄或供外業(yè)補充調(diào)查、測繪人員補充測繪數(shù)據(jù)。

外業(yè)補充調(diào)查、測繪人員對無圖的信息進(jìn)行補充調(diào)查測繪[9]，依據(jù)導(dǎo)出信息的檔案號核查檔案。檔案中有坐標(biāo)信息則以檔案中的坐標(biāo)直接成圖，對少量缺地形的區(qū)域采用傾斜攝影測量補充自然幢基底圖等要素[10]，并進(jìn)行現(xiàn)場調(diào)查測繪，獲取大致圖斑，注明為預(yù)權(quán)籍調(diào)查圖斑，供將來正式權(quán)籍調(diào)查定位使用。外業(yè)組成果交規(guī)范化整理人員，迭代轉(zhuǎn)換進(jìn)中間庫、數(shù)據(jù)整理、質(zhì)檢輸出不合格數(shù)據(jù)過程。

檢查分類及整合關(guān)聯(lián)過程輸出的不合格數(shù)據(jù)所占的比例達(dá)到質(zhì)量控制所允許的范圍時，可通過FME轉(zhuǎn)換輸出指定格式的整合成果。

在數(shù)據(jù)整合過程中，每個重要工作環(huán)節(jié)都需要設(shè)置質(zhì)量風(fēng)險控制點[11]，以保證不動產(chǎn)數(shù)據(jù)整合成果的質(zhì)量，在目前技術(shù)條件下，部分環(huán)節(jié)的質(zhì)檢只能通過人工方式核查(如核對檔案)，電子數(shù)據(jù)的規(guī)則性檢查，如數(shù)據(jù)比對、合格性檢查、關(guān)聯(lián)分析、冗余檢查等，都可以通過運行FME模板自動化進(jìn)行，并輸出不合格數(shù)據(jù)，如果使用人工處理，則耗時耗力，無法達(dá)到快速響應(yīng)的目的。

3 關(guān)鍵技術(shù)與步驟

3.1 數(shù)據(jù)屬性快速檢查技術(shù)

數(shù)據(jù)屬性檢查主要是對登記信息的屬性或圖層中的屬性進(jìn)行檢查[12]，包括數(shù)據(jù)是否為空、值是否在字典范圍內(nèi)、值是否在有效值范圍內(nèi)等。這些是必填字段，如權(quán)利人的必填字段有：不動產(chǎn)單元號、業(yè)務(wù)號、權(quán)利類型、權(quán)屬狀態(tài)、權(quán)利人名稱、不動產(chǎn)權(quán)證號、國籍、權(quán)利人類型、權(quán)利比例、證件號等；建設(shè)用地、宅基地使用權(quán)的必填字段有：不動產(chǎn)單元號、業(yè)務(wù)號、權(quán)利類型、權(quán)屬狀態(tài)、宗地代碼、登記類型、不動產(chǎn)權(quán)證號、使用權(quán)面積等。在FME中，有針對屬性值進(jìn)行判斷的轉(zhuǎn)換器，包括TestFilter、AttributeFilter、AttributeValidator等。使用FME進(jìn)行不動產(chǎn)數(shù)據(jù)質(zhì)檢時，將不滿足檢查條件的數(shù)據(jù)分流到待處理數(shù)據(jù)，并輸出這些數(shù)據(jù)，提交給核檔及補錄人員依據(jù)檔案補錄或修正數(shù)據(jù)。

如宗地代碼不是19位的數(shù)據(jù)一定是需要提取出來進(jìn)行處理的數(shù)據(jù)，可以通過TestFilter轉(zhuǎn)換器將這些數(shù)據(jù)提取出來。通過FME的TestFilter轉(zhuǎn)換器，將宗地代碼不是19位的數(shù)據(jù)提取出來，供數(shù)據(jù)整合人員處理落圖，其他不合格數(shù)據(jù)的復(fù)查，也可作類似的處理。

3.2 圖上落宗的算法

根據(jù)自然幢基底圖斑，找出對應(yīng)的宗地代碼，即實現(xiàn)圖上落宗，可使用FME進(jìn)行批量落宗，考慮到自然幢會有跨宗的情況，圖上落宗算法需要作一部分調(diào)整，以免自然幢落在兩宗地。算法如下：計算自然幢內(nèi)部點,將此內(nèi)部點與宗地圖斑疊加,得到帶宗地代碼的內(nèi)部點,再以此內(nèi)部的宗地代碼更新自然幢所在的宗地代碼。

3.3 DWG數(shù)據(jù)擴(kuò)展屬性轉(zhuǎn)換入庫

DWG數(shù)據(jù)的擴(kuò)展屬性主要存放在實體的xData里面，一般以xData的AppName來進(jìn)行數(shù)據(jù)組織,FME支持讀取DWG文件的擴(kuò)展數(shù)據(jù),卻不支持AppName定位讀取。因此，需要在CAD中先對DWG文件的屬性進(jìn)行歸整[13]，形成固定順序的xData屬性信息，再通過FME進(jìn)行轉(zhuǎn)換入庫。

3.4 自動排不動產(chǎn)單元號

可以使用FME的統(tǒng)計轉(zhuǎn)換器排不動產(chǎn)單元號，以排自然幢不動產(chǎn)單元號為例，指定宗內(nèi)排自然幢不動產(chǎn)單元號的最小值(也可以通過遍歷宗地最大自然幢號加1得到，但這種算法耗時)，排宗地自然幢的序號，并以此序號得到自然幢的不動產(chǎn)單元號，若以自然幢坐落排序，在對自然幢有規(guī)律編制坐落時，自然幢號也將是有規(guī)律的排號。

3.5 自動輸出成果

中間庫成果處理達(dá)標(biāo)合格后，可以自動輸出指定格式的最終成果，以輸出與系統(tǒng)對接成果為例，F(xiàn)ME以對接數(shù)據(jù)模板輸出整合成果，由于權(quán)利人等表是由多類權(quán)利人合并成的一張表，故標(biāo)識碼需要重新排列，算法(部分)如圖3所示。

3.6 自動執(zhí)行

定義好數(shù)據(jù)標(biāo)準(zhǔn)并配置好處理模型后，輸出FME格式的處理模板文件[14]，并在需要時使用命令行執(zhí)行數(shù)據(jù)處理任務(wù)。Windows下直接執(zhí)行批處理文件，或使用計劃任務(wù)按需要執(zhí)行數(shù)據(jù)處理任務(wù)；Linux下可編寫Shell腳本人工執(zhí)行或使用crond執(zhí)行定時任務(wù)。

4 應(yīng)用效果

研究區(qū)為南方某區(qū)縣，原落宗落圖率約為65%，以FME作為數(shù)據(jù)處理工具建立團(tuán)隊協(xié)作機(jī)制，通過內(nèi)外業(yè)相結(jié)合的方式，快速反應(yīng)，更新數(shù)據(jù)，以50余人的團(tuán)隊，歷時兩個月左右，完成該區(qū)縣絕大部分不動產(chǎn)數(shù)據(jù)的落圖落宗。通過團(tuán)隊協(xié)助數(shù)據(jù)整合，該地區(qū)數(shù)據(jù)整合落宗落圖關(guān)聯(lián)率均達(dá)到90%以上。

這些數(shù)據(jù)更新進(jìn)入業(yè)務(wù)系統(tǒng)后，該區(qū)縣不動產(chǎn)登記速度明顯加快[15]，基本緩和了該地區(qū)不動產(chǎn)登記流程不暢的問題。

5 結(jié) 語

本文在FME和VSFTP的輔助下建立了一種高效安全的不動產(chǎn)數(shù)據(jù)整合作業(yè)模式。FME數(shù)據(jù)處理模板可以快速整合各作業(yè)小組成果，并輸出不合格數(shù)據(jù)，供作業(yè)小組迭代更新，寶貴的人力資源則集中于核對檔案、不動產(chǎn)信息修復(fù)與補錄、外業(yè)補充調(diào)查測繪等實質(zhì)性不動產(chǎn)數(shù)據(jù)整合工作之上， 從而提高了不動產(chǎn)數(shù)據(jù)整合的工作效率和成果質(zhì)量。