浙江省歷史地面氣象報表數(shù)字化處理和應(yīng)用

劉熔熔 封秀燕 馬仙妹 錢惠文

(浙江省氣象信息網(wǎng)絡(luò)中心,浙江杭州310017)

浙江省歷史地面氣象報表數(shù)字化處理和應(yīng)用

劉熔熔 封秀燕 馬仙妹 錢惠文

(浙江省氣象信息網(wǎng)絡(luò)中心,浙江杭州310017)

介紹歷史地面氣象報表數(shù)字化處理項目建設(shè)內(nèi)容,紙質(zhì)報表掃描、數(shù)據(jù)錄入、數(shù)據(jù)文件轉(zhuǎn)換、質(zhì)量檢查,數(shù)據(jù)集制作等報表數(shù)字化技術(shù)方法,針對質(zhì)量檢查中遇到的一些問題及處理方法,進一步提高氣象數(shù)據(jù)的準(zhǔn)確性。獲取時間序列長、空間和時間分辨率更高的氣象資料,尤其逐小時風(fēng)、降水和日照資料,對浙江省精細化預(yù)報服務(wù)和氣象能源開發(fā)取得較大的推進作用,提升了氣象數(shù)據(jù)共享服務(wù)能力。

歷史地面氣象報表;數(shù)字化;處理;應(yīng)用

0 引 言

我國地面氣象記錄報表的數(shù)字化處理工作始于上世紀(jì)70年代末,目前全國2400個國家基本(準(zhǔn))站和一般站已基本完成建站至2008年地面氣象月報表中基本定時觀測資料的信息化(A0/A1文件),680個國家基本(準(zhǔn))站已完成1991—2008年風(fēng)向風(fēng)速、降水和日照自記月報表的信息化(A6/A7文件),560個國家基本(準(zhǔn))站已完成1961—2000年降水自記紙圖像掃描和數(shù)字化處理工作,這些數(shù)據(jù)在氣象業(yè)務(wù)、科研和其它社會部門中得到廣泛應(yīng)用,發(fā)揮了重要作用。

浙江省共68個國家基本(準(zhǔn))站和一般站已基本完成建站至2008年地面氣象月報表中基本定時觀測資料的信息化(A0/A1文件),19個國家基本(準(zhǔn))站已完成1995—2008年(部分站1997—2008年)風(fēng)向風(fēng)速、降水和日照自記月報表的信息化(A6/A7文件),19個國家基本(準(zhǔn))站已完成1961—2000年降水自記紙圖像掃描和數(shù)字化處理工作,這些已經(jīng)信息化的資料為浙江省氣象預(yù)報、科研、氣候應(yīng)用發(fā)揮了重要作用。地面歷史報表數(shù)字化項目的完成,將會為浙江省氣象業(yè)務(wù)、科研和服務(wù)提供更多的信息化數(shù)據(jù)資料,為進一步提升歷史氣象資料共享能力提供良好的基礎(chǔ)。

1 歷史地面氣象報表數(shù)字化處理重要性及意義

歷史地面氣象報表是記載氣象資料十分寶貴的財富,早期的大量地面觀測資料都停留在紙質(zhì)報表上,雖然在氣象業(yè)務(wù)和科研中發(fā)揮了重要作用,隨著現(xiàn)代氣象業(yè)務(wù)的快速發(fā)展,氣象紙質(zhì)報表檔案資料不再適應(yīng)現(xiàn)代氣象業(yè)務(wù)需求,迫切需要開展未信息化的報表資料數(shù)字化。

隨著氣象業(yè)務(wù)和社會的發(fā)展,需要時間序列長、空間和時間分辨率更高的氣象資料,特別是精細化預(yù)報服務(wù)和氣象能源開發(fā),對逐小時風(fēng)、降水和日照資料的需求尤為突出,這些資料大多以紙質(zhì)報表和圖紙的形式保存,無法被有效利用。另一方面由于年代長、保存條件差,許多紙張已經(jīng)出現(xiàn)不同程度的變質(zhì)、字跡變淡等現(xiàn)象,急需盡快地拯救和保護。現(xiàn)代化設(shè)備的發(fā)展與更新,信息技術(shù)的提高與逐漸完善,為以紙質(zhì)為載體的大批量氣象資料進行數(shù)字化處理提供了可行的基礎(chǔ)。歷史地面氣象報表數(shù)字化對保護歷史氣象記錄檔案,提高氣象資料資源應(yīng)用共享水平有重要的作用。

2 歷史地面氣象報表數(shù)字化處理

歷史地面報表數(shù)字化主要是對1951—2000年的氣表-4、氣表-5、氣表-6和相關(guān)氣表月總薄、氣表-1進行數(shù)字化處理。制定相應(yīng)的業(yè)務(wù)流程,建立數(shù)據(jù)質(zhì)量保障體系,對歷史地面氣象報表進行圖像掃描及處理,開發(fā)專用軟件進行數(shù)據(jù)錄入、數(shù)據(jù)文件轉(zhuǎn)換、質(zhì)量檢查等工作,最后進行數(shù)據(jù)集制作。

2.1 浙江省歷史地面氣象報表數(shù)字化處理內(nèi)容

將浙江省所有沒有信息化處理的1951—2000年氣表-4、氣表-5、氣表-6、氣表-8圖像掃描和資料錄入以及1961年后的氣表-1日照、1980年后的降水和風(fēng)向風(fēng)速資料的圖像掃描和數(shù)字錄入,建立逐時氣壓、氣溫、相對濕度、降水、風(fēng)向風(fēng)速、日照和逐日電線積冰報表圖像文件數(shù)據(jù)集和降水、風(fēng)向風(fēng)速、日照數(shù)字化文件數(shù)據(jù)集。

2.1.1 歷史地面氣象報表資料圖像掃描

按照館藏報表的卷冊詳細登記報表種類、站名、區(qū)站號、年、月、版面規(guī)格和數(shù)量,填寫臺站信息說明表,對破損或脆化厲害的應(yīng)進行備注,提醒掃描時注意保護。圖像掃描格式為標(biāo)準(zhǔn)型.jpg圖像文件,對每頁圖像文件建立名稱和日期索引。掃描幅面大小為A3或16開,掃描設(shè)備可選用A3幅面平板掃描儀或非接觸式書刊掃描儀。掃描參數(shù)根據(jù)資料原件的質(zhì)量狀況和應(yīng)用需求來確定,主要包括掃描分辨率和色彩模式。字跡清晰可辨的,建議采用黑白二值掃描,掃描分辨率不低于300dpi;紙張和字跡狀況不良或有多種顏色字跡的,建議采用彩色方式掃描,掃描分辨率不低于150dpi。掃描后圖像要求進行后期處理,利用軟件去除掃描過程中造成的圖像雜點和臟點;進行圖像糾偏處理,圖像偏度不得大于3°,以達到視覺上基本不感覺偏斜為準(zhǔn),應(yīng)避免重張、傾斜、模糊等圖像質(zhì)量問題,確保報表不重復(fù)掃描、不漏掃,保證文檔順序準(zhǔn)確。

2.1.2 歷史地面氣象報表資料的錄入和轉(zhuǎn)換

按照中國氣象局項目技術(shù)組統(tǒng)一制定和下發(fā)專用的歷史地面氣象報表數(shù)字化錄入格式,包括氣表-4錄入格式、氣表-5錄入格式、氣表-6錄入格式、氣表-8錄入格式,采取“兩錄、兩校、兩驗”的方式,按照相應(yīng)資料錄入格式,原則上確保錄入數(shù)據(jù)與報表數(shù)據(jù)排列格式保持一致。

開發(fā)編制軟件,將錄入氣表-4、氣表-5、氣表-6、氣表-8錄入格式文件數(shù)據(jù)轉(zhuǎn)化為歷史沿用的歷史地面月報表信息化文件格式,即地面氣象月報表A6文件格式數(shù)據(jù),形成統(tǒng)一長序列數(shù)據(jù)集,便于數(shù)據(jù)應(yīng)用。

2.2 數(shù)字化成果質(zhì)量檢查

2.2.1 圖像文件質(zhì)量檢查

掃描圖像的質(zhì)量直接影響到資料數(shù)字化錄入的效果,因此必須對掃描形成的圖像文件進行嚴(yán)格的質(zhì)量把關(guān)。質(zhì)量檢查的要求是保證本次數(shù)字化掃描圖片的清晰、完整和有序。

2.2.2 錄入數(shù)據(jù)文件質(zhì)量檢查

錄入數(shù)據(jù)文件的質(zhì)量直接影響到最終數(shù)據(jù)集的質(zhì)量,錄入數(shù)據(jù)文件進行嚴(yán)格的質(zhì)量檢查。針對數(shù)據(jù)特點開發(fā)格式檢查軟件和質(zhì)量檢查軟件,分別進行文件首部檢查、數(shù)據(jù)天數(shù)檢查、數(shù)據(jù)組數(shù)檢查、數(shù)據(jù)正確性檢查、合計值檢查、界限值檢查等。對于檢查程序提示的錯情,逐條人工審核、修改,并形成錯情說明文檔保存?zhèn)洳椤?/p>

2.2.3 A6格式數(shù)據(jù)文件質(zhì)量控制

研制專門質(zhì)量檢查軟件,對A6格式數(shù)據(jù)文件進行質(zhì)量檢查。對于檢查程序提示的錯情,需逐條人工審核,并給出錯情說明。

2.2.4 圖像文件和數(shù)據(jù)文件綜合質(zhì)量檢查報告

基于質(zhì)量控制檢查結(jié)果,認(rèn)真編寫圖像和數(shù)據(jù)文件綜合質(zhì)量檢查報告,作為最終數(shù)據(jù)集質(zhì)量檢查和評估的重要參考文件。將數(shù)字化圖像和數(shù)據(jù)文件進行質(zhì)量檢查的結(jié)果、數(shù)字化錄入數(shù)據(jù)文件和A6格式數(shù)據(jù)文件質(zhì)量檢查錯情說明和處理等情況,綜合制作數(shù)據(jù)質(zhì)量檢查報告。

2.3 數(shù)據(jù)集制作

按照中國氣象局氣象數(shù)據(jù)集制作統(tǒng)一標(biāo)準(zhǔn),嚴(yán)格按照有關(guān)標(biāo)準(zhǔn)和要求,統(tǒng)一的氣象數(shù)據(jù)集元數(shù)據(jù)模版,氣象數(shù)據(jù)集說明文檔模版,建立浙江省國家基本(準(zhǔn))站和國家一般站1951—2000年自記記錄逐小時降水、風(fēng)向風(fēng)速、日照和逐日電線積冰報表圖像文件數(shù)據(jù)集和數(shù)字化文件數(shù)據(jù)集。

圖像文件數(shù)據(jù)集包括數(shù)據(jù)集實體文件、資料的元數(shù)據(jù)文檔、數(shù)據(jù)集說明文檔、臺站信息說明文檔和readme;數(shù)字化文件數(shù)據(jù)集包括數(shù)據(jù)集實體文件、資料的元數(shù)據(jù)文檔、數(shù)據(jù)集說明文檔、所有原始報表的錯誤信息文件、數(shù)據(jù)集質(zhì)量評估報告、質(zhì)量控制方案說明文件、臺站信息說明文檔、原始報表錯誤信息說明文件、文件格式說明文件和readme。

3 質(zhì)量檢查中出現(xiàn)的問題及處理方法

3.1 日照自記記錄出現(xiàn)的問題及處理

3.1.1 日照時數(shù)與小時日照不相符

早年代的原始報表一般采用手工抄寫,這樣就存在一些抄錯和合計計算錯的現(xiàn)象。

(1)上下行抄錯,一行小時日照為空,但合計欄卻有數(shù)字,而在下一行剛好相反,小時日照有相應(yīng)的值,合計欄卻為0.0,兩天的合計值剛好對調(diào)。這種情況先從臺站查看原始日照自記紙,在日照自記紙銷毀,無從查證的情況下再對這兩天的日照時數(shù)進行判斷,先從天氣現(xiàn)象和降水量去判斷,查看當(dāng)天有小時日照的時間段是否有降水量,確定哪一天真正有日照,如果兩天的天氣現(xiàn)象差不多,再從云量和氣溫去判斷,前后兩天一般云少,氣溫高的有日照的可能性大。

(2)小時日照和合計不一致,這種情況只要通過重新計算小時值就可以重新統(tǒng)計正確的日合計值以及月合計值。如果是行合計和列合計都與計算值不一致,那就要去查自記紙,很可能是報表抄寫的時候抄錯。

3.1.2 出現(xiàn)莫名的日照時數(shù)

(1)有日合計值,但沒有對應(yīng)的小時值。這種情況一般通過查看本月報表的備注欄,是否有對該記錄進行備注。本項目碰到以下兩種情況為正常值:一是該日的日照缺測,根據(jù)當(dāng)時觀測員記錄前后兩天的天氣情況相似,故用前一天或者是后一天的記錄代替;二是該日的日照缺測,用臨近站該日的日照合計值代替。

(2)在小時日照值里出現(xiàn)大于1.0的值。小時日照值的最大值就是1.0,出現(xiàn)大于1.0的小時值理論上肯定是錯的,但是在報表備注中也會有特殊情況的說明,例如58653站1972年8月14日的日照,在18—19時出現(xiàn)了3.3,在備注中注明下午日照計被人轉(zhuǎn)動,13時后的各時日照總量3.3記在18—19時,對日合計值不影響。

3.2 降水自記記錄錯誤的處理方法

降水自記記錄錯誤常見情況有2種:一是降水自記日合計值統(tǒng)計錯誤,一般通過重新統(tǒng)計計算小時值、日合計值及月合計值即可解決;二是因自記儀器故障導(dǎo)致小時降水量缺測,日合計值用相應(yīng)時段的定時降水記錄代替,一般在查看報表備注欄就可以確定記錄是否正常。

3.3 風(fēng)向風(fēng)速自記記錄錯誤的處理方法

風(fēng)向風(fēng)速自記記錄錯誤常見情況有3種:一是日合計值統(tǒng)計錯誤,一般通過重新統(tǒng)計計算小時值、日合計值及月合計值即可;二是早年代的風(fēng)向風(fēng)速自記記錄月報表中存在靜風(fēng)C,但風(fēng)速大于0.3m/s,這種情況只能采取與原始報表一致的原則處理;三是風(fēng)速自記儀器故障用實測值代替時是取整數(shù)的,與自記記錄保留一位小數(shù)不同,在日合計值容易出現(xiàn)錯誤,這就需要認(rèn)真的校對來避免這種錯誤的存在。

4 歷史地面氣象報表數(shù)字化成果應(yīng)用

歷史地面報表數(shù)字化,將本省70個國家基本(準(zhǔn))站和一般站已基本完成建站至2000年地面氣象月報表圖像文件數(shù)據(jù)集,完成建站至1995年地面氣象月報表中風(fēng)向風(fēng)速、降水和日照自記月報表的信息化(A6文件),形成建站至今逐小時風(fēng)向風(fēng)速、降水和日照長序列數(shù)據(jù)集,這些數(shù)據(jù)將在氣象預(yù)報預(yù)測、氣象公共服務(wù)、氣候業(yè)務(wù)、氣象科研和其它社會部門中得到廣泛應(yīng)用,在氣象資料服務(wù)和防災(zāi)減災(zāi)中發(fā)揮重要的作用。

4.1 圖像數(shù)據(jù)集的應(yīng)用

圖像文件數(shù)據(jù)集包含了浙江省1951—2000年地面氣象月報表圖像,含氣表-1、氣表-2、氣表-4、氣表-5、氣表-6、氣表-8。隨著圖像文件數(shù)據(jù)集的建成,可以為用戶提供地面氣象報表圖像的電子化查閱,并且實現(xiàn)多用戶同時查閱服務(wù),提高效率。例如:在校對檢查歷史資料、制作臺站歷史沿革以及服務(wù)資料的數(shù)據(jù)查詢上,實現(xiàn)多用戶同時查閱地面氣象報表圖像數(shù)據(jù)資料,提高了效率。此外,較大豐富電子信息化檔案數(shù)據(jù),為實現(xiàn)氣象檔案信息現(xiàn)代化管理平臺建設(shè)奠定了基礎(chǔ)。

4.2 數(shù)字化文件數(shù)據(jù)集的應(yīng)用

歷史地面報表數(shù)字化,將本省70個國家基本(準(zhǔn))站和一般站形成建站至今逐小時風(fēng)向風(fēng)速、降水和日照長序列數(shù)據(jù)集,在氣象業(yè)務(wù)、氣象科研、氣象服務(wù)發(fā)揮重要作用,具有廣泛的應(yīng)用前景。遍布全省長序列的逐小時降水量數(shù)據(jù)集,對研究1h,3h,12h降水、暴雨預(yù)報,為短時臨近精細化降水預(yù)報研究提供重要的數(shù)據(jù)基礎(chǔ),尤其暴雨研究可改變傳統(tǒng)以日界(24h)固定時間段,提高暴雨預(yù)報準(zhǔn)確率。遍布全省長序列的逐小時風(fēng)向風(fēng)速數(shù)據(jù)集,對研究大風(fēng)歷史分布規(guī)律,提高大風(fēng)預(yù)報能力,特別是風(fēng)能發(fā)電,海島風(fēng)能開發(fā)應(yīng)用研究提供更豐富的歷史數(shù)據(jù)。全省長序列逐小時日照數(shù)據(jù)集為太陽能開發(fā)應(yīng)用研究提供基礎(chǔ)數(shù)據(jù),提升全省清潔能源開發(fā)利用能力,推進生態(tài)省建設(shè)具有重要意義。

5 結(jié) 語

通過歷史地面報表數(shù)字化,建立浙江省國家基本(準(zhǔn))站和國家一般站1951—2000年自記記錄逐小時降水、風(fēng)向風(fēng)速、日照時間序列長、空間和時間分辨率更高的氣象資料。方便業(yè)務(wù)科研人員快速檢索查閱,為氣象業(yè)務(wù)和科研工作提供更好的服務(wù),對浙江省精細化預(yù)報服務(wù)和氣象能源開發(fā)取得較大的推進作用,提升了氣象數(shù)據(jù)共享服務(wù)能力。同時為其它氣象記錄檔案數(shù)字化開展積累了豐富的經(jīng)驗,為氣象檔案現(xiàn)代化管理建設(shè)提供信息化數(shù)據(jù)基礎(chǔ)。

[1] 闕東蘭,王金平,涂 明.談黑龍江省林業(yè)、農(nóng)墾氣象站歷史資料的信息化處理和審核分析[J].林業(yè)勘查設(shè)計, 2009(3):73-75.

[2] 中國氣象局預(yù)報與網(wǎng)絡(luò)司.歷史地面氣象報表數(shù)字化項目材料匯編[G].2009.

2010-10-27