計算機批量數據處理方法

◎趙明

?

計算機批量數據處理方法

◎趙明

在信息時代快速發(fā)展的當下，計算機技術廣泛應用于各個不同的領域，各類形式的計算機數據處理也就相應的隨之出現。批量數據處理比較集中地反映了各類形式的計算機數據處理過程中可能遇到的多種問題,本文著重討論其過程特征,程序系統(tǒng)、處理流程、操作標準化和質量控制等主要問題。

在工作和生活中，我們有各類數據要進行處理，這都需要用到計算機。而計算機的作用主要就是數據處理。數據處理是指對數據的采集、存儲、檢索、加工以及變換和運輸。數據處理廣泛在于社會生活生產中，對人類社會發(fā)展有重大的作用。對數據進行處理時有兩種方式，分別是人工處理和自動化裝置處理。計算機應用的很大一部分中都有數據處理，在它的基礎上也可以對其他計算機應用進行開發(fā)。由于要處理的數據規(guī)模不同，并且根據數據來源、類型、結構和時效不同，在進行計算機數據處理的時候，其采用的處理方式和方法也有多種選擇。批量數據處理能夠對計算機數據處理過程中出現的多種問題進行反映。此文章對計算機批量數據處理的問題進行了系統(tǒng)的介紹。

數據處理的特征以及系統(tǒng)設計要考慮的問題

計算機運算速度快，精度高，數據處理的好與壞受系統(tǒng)設計優(yōu)劣的直接的影響關系。對于一個批量數據處理項目而言，其系統(tǒng)總體方案就要考慮數據處理實現的功能目標、工作量估算和效率效益分析、處理流程和程序系統(tǒng)以及操作標準化和現場管理的問題。

數據處理的硬件軟件環(huán)境考慮。數據處理需要什么樣的機器設備和程序軟件，主要由數據處理對技術提出的要求來考慮。原始數據量、錄入員的錄入速度以及限定的時間都決定著數據輸入設備的數量。而鍵盤部分、顯示器、主頻頻率都影響著機器的性能。輸入機器與主機機器類型必須保持一致，如果用終端主機輸入，則只要考慮主機性能。主機不僅需要數據處理程序系統(tǒng)需要的系統(tǒng)軟件環(huán)境支持，還應注意硬件和軟件的兼容性。

程序系統(tǒng)設計。計算機系統(tǒng)設計有四個定量原理：以經常性事件為重點（對經常發(fā)生的情況采用優(yōu)化方法的原則進行選擇，以得到更多的總體上的改進），Amdahl定律（加快某部件執(zhí)行速度所能獲得的系統(tǒng)性能加速比，受限于該部件的執(zhí)行時間占系統(tǒng)中總執(zhí)行時間的百分比），CPU性能公式（執(zhí)行一個程序所需的CPU時間），程序的局部性原理（程序執(zhí)行時所訪問的存儲器地址分布不是隨機的，而是相對地簇聚）。系統(tǒng)研究、系統(tǒng)設計、系統(tǒng)發(fā)展以及系統(tǒng)操作構成了一個應用系統(tǒng)的開發(fā)。而數據處理技術過程實現最主要的部分就是程序系統(tǒng)，輸入、編輯、處理、輸出幾部分。根據數據處理的用途不同，還可能有查詢檢索、更新、連接、數據庫等部分。

錄入程序設計。數據錄入程序要綜合考慮原始數據的結構和主機處理的要求，設計時要在方便操縱、提高錄入質量，有效地控制數據的重錄、漏錄、數據項錯位等方面尋找對策，以減輕主機編輯、差錯的壓力；主機處理程序設計。由于主機程序設計方法受主機處理實現功能的影響有許多不同的選擇，而適合使用的語言也非常廣泛。程序設計另一個要考慮的問題是數據的安全問題，其被引起破壞的原因可能是硬件故障、系統(tǒng)故障、計算機病毒侵襲等，易造成數據丟失、或被非法修改失效等，針對這些問題，只要在程序系統(tǒng)設計時采取有效預防措施，當系統(tǒng)或數據遭到破壞時，就能及時得到修復。

數據處理流程和現場管理

整個計算機處理過程中各個環(huán)節(jié)的工作程序和實現他們之間的先后次序構成了其工作流程。數據收集工作完成后，就可以進入計算機處理階段，一般包括數據錄入、編輯凈化、查錯改錯、數據加載運行和輸出結果過程。當大批量數據輸入時，一定是在標準化文件的統(tǒng)一要求下對現場進行實時監(jiān)控。要求現場主管必須了解掌握許多不確定的情況，并做好處理。在人工環(huán)節(jié)部分，要找經驗性強的人來擔任職務，比如，怎樣快速有效地查錯、審核和修改，現場的組織調度等，這些工作的質量對處理工作速度和效率有非常大的關系。

數據處理的質量控制與分析

數據處理就像工廠中的生產過程一樣，其產品稱為信息產品。信息產品的質量優(yōu)劣極其重要。因為信息產品非同一般產品，它具有反映現實，指導決策，引導市場，可反復使用等獨有的特性，在某些情況下信息產品還會被作為制定政策的依據，從某種意義上來說是具有權威性的。

數據質量受多種因素控制，數據處理過程中出現的不同程度的差錯都會對其產生影響。所以必須降低錯誤率，比如在縱向方面，根據實際情況把項目所允許的最大錯誤率分配到數據處理各階段，然后再在各處理階段所允許的最大差錯進行限制，從而制定具體的工作細節(jié)。

成果應用效益

更過效益分析有助于方案的總體設計，可以使方案更全面，更合理，克服主觀盲動性。無論是設備、技術還是管理等，都有可能影響到數據的處理效率。因此效率分析要做到定量定性相結合。

應急指揮處置更加高效。應急指揮微信平臺提供的新型載體可將配網故障的實時圖片、視頻、損失數據等信息實現“零時差”傳遞，有效的提高了主管部門對一般故障情況的掌握程度。在應急狀態(tài)下，指揮機構能第一時間掌握受災現場的各種動態(tài)，不僅能抓住先機，而且在搶修過程中能及時調配指令，使整個應急指揮及處置過程更加有效。

應急資源調用更加便捷。利用網絡平臺使應急工作更迅速，傳達工作任務僅需幾秒鐘，并且應急指揮機構及相關管理人員在應急狀態(tài)下無需攜帶或者查閱書面版的應急預案，工作效率顯著提高。

現代社會計算機飛速發(fā)展，我們必須借助網絡力量通過二次功能開發(fā)，突破傳統(tǒng)的單一框架，設計更加嚴密的程序系統(tǒng)，嚴格監(jiān)管數據處理流程和現場管理，加強數據處理的質量控制，使得應急指揮處置更加高效，應急資源調用更加便捷。利用微信平臺提高工作效率，科學利用網絡資源及前沿通信科技，推動企業(yè)安全生產。

(作者單位：廣東省潮州市75240部隊)