海量數(shù)據(jù)
- 基于客戶分類的海量數(shù)據(jù)動態(tài)路由存儲策略研究
電商行業(yè)的海量數(shù)據(jù)存儲，多采用以客戶為切分鍵進行分庫分表的策略，但由于大客戶和普通客戶數(shù)據(jù)體量差距巨大，往往會導致數(shù)據(jù)在各庫表中分布嚴重不均。本文基于分布式數(shù)據(jù)庫存儲，設計了區(qū)分大客戶和普通客戶的分庫分表策略、能夠及時識別客戶數(shù)據(jù)變化的實時數(shù)據(jù)監(jiān)控，以及基于客戶分類動態(tài)選擇存儲策略的動態(tài)路由組件，可有效保障數(shù)據(jù)的均勻分布。關(guān)鍵詞： 客戶分類； 海量數(shù)據(jù)； 分庫分表； 動態(tài)路由策略； 實時數(shù)據(jù)監(jiān)控中圖分類號：TP311.1? ? ? ? ? 文獻標識碼：A
計算機時代 2023年6期2023-06-15
- 基于云計算技術(shù)的分布式網(wǎng)絡海量數(shù)據(jù)處理系統(tǒng)構(gòu)建
于分布式網(wǎng)絡海量數(shù)據(jù)處理系統(tǒng)的構(gòu)建中，能充分發(fā)揮云計算技術(shù)與分布式網(wǎng)絡的優(yōu)勢，從而提高海量數(shù)據(jù)的處理效率。關(guān)鍵詞：云計算技術(shù)；分布式網(wǎng)絡；海量數(shù)據(jù);處理系統(tǒng)中圖分類號：TM73中圖分類號? 文獻標志碼：A文獻標志碼0 引言隨著我國互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，截止到2020年，我國的互聯(lián)網(wǎng)用戶已經(jīng)超過了10億，互聯(lián)網(wǎng)技術(shù)進入千家萬戶，成為人們?nèi)粘Ｉ畹谋貍涔ぞ?，這也為網(wǎng)絡技術(shù)的發(fā)展帶來了新的機遇［1］。龐大的互聯(lián)網(wǎng)用戶中的大部分會參與到網(wǎng)絡購物中，以淘寶、拼多多、
無線互聯(lián)科技 2023年2期2023-06-15
- 基于HHS的離線數(shù)據(jù)分析平臺的設計與實現(xiàn)
adopp；海量數(shù)據(jù)；離線業(yè)務分析中圖分類號：TP311 文獻標識碼：A文章編號：1009-3044（2023）10-0075-030 引言如今，計算機和信息技術(shù)發(fā)展迅猛，并且得到了普遍應用，各大行業(yè)的數(shù)據(jù)量都在以爆炸性的速度增長，全球已經(jīng)進入了“大數(shù)據(jù)”時代[1]。在大數(shù)據(jù)時代下，企業(yè)可以從龐大繁雜的數(shù)據(jù)背后挖掘和分析用戶的行為習慣和愛好，其創(chuàng)造的價值和人們的生活息息相關(guān)。在實際的商業(yè)案例，信用卡公司VISA需要處理兩年中730億單的交易，由于采用了Ha
電腦知識與技術(shù) 2023年10期2023-06-03
- 一種分布式數(shù)據(jù)存儲方案設計與實現(xiàn)
可以有效實現(xiàn)海量數(shù)據(jù)的分布式存儲。關(guān)鍵詞：關(guān)系型數(shù)據(jù)庫；分布式存儲；分布式ID；海量數(shù)據(jù)中圖分類號：TP311? ? ? ? 文獻標識碼：A文章編號：1009-3044（2022）33-0068-031 引言目前比較常用的分布式數(shù)據(jù)存儲[1]方案，主要是在關(guān)系型數(shù)據(jù)庫中間加一層數(shù)據(jù)庫分庫中間件，通過將查詢鍵值作為拆分字段，用一定的路由算法，將原始SQL進行解析后構(gòu)建出新的SQL路由到指定的分節(jié)點，最后對結(jié)果集進行歸并。比較常用的中間件有dble[2]、Sh
電腦知識與技術(shù) 2022年33期2022-04-02
- 人工智能數(shù)據(jù)恢復關(guān)鍵技術(shù)研究
法有效地處理海量數(shù)據(jù)集合中發(fā)生的數(shù)據(jù)災難。本文探索以人工智能數(shù)據(jù)技術(shù)應用于數(shù)據(jù)恢復領(lǐng)域，提升傳統(tǒng)數(shù)據(jù)恢復算法的計算能力，對海量數(shù)據(jù)進行實時、高效、準確地處理，實現(xiàn)數(shù)據(jù)準確、高效的重構(gòu)和恢復。關(guān)鍵詞：人工智能; 數(shù)據(jù)恢復; 海量數(shù)據(jù); 重構(gòu);0 引言大數(shù)據(jù)時代的到來，標志著數(shù)據(jù)將成為人類發(fā)展的關(guān)鍵。隨著大數(shù)據(jù)、5G技術(shù)、互聯(lián)網(wǎng)技術(shù)、人工智能技術(shù)、區(qū)塊鏈技術(shù)的不斷完善和發(fā)展，對傳統(tǒng)的數(shù)據(jù)恢復技術(shù)帶來了變革和挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)恢復技術(shù)已經(jīng)無法有效地處理海量數(shù)據(jù)集合
科學與生活 2021年20期2021-11-18
- 基于Kubernetes的海量網(wǎng)絡數(shù)據(jù)存儲方法研究
，從而實現(xiàn)對海量數(shù)據(jù)的存儲。對比實驗結(jié)果顯示，該存儲方法相比能夠減少約62%的運算內(nèi)存占用，并且存儲操作速度快，更能滿足實際需求。關(guān)鍵詞：Kubernetes;海量數(shù)據(jù);網(wǎng)絡數(shù)據(jù);數(shù)據(jù)存儲中圖分類號：TP392? ? ? 文獻標識碼：A文章編號：1009-3044（2021）27-0028-02Kubernetes是用于管理云平臺中多個主機上的容器應用部署方式[1]。相比于傳統(tǒng)系統(tǒng)綁定并通過插件、腳本或者沉重的虛擬機來安裝應用的應用部署方式，Kuberne
電腦知識與技術(shù) 2021年27期2021-11-08
- 基于VS的FTP文件傳輸設計與實現(xiàn)
宋毅摘要：海量數(shù)據(jù)時代，文件傳輸需要解決準確率與傳輸速度問題，通常的網(wǎng)絡下載速度有些不能滿足用戶需求，為適應用戶海量下載需求，為此開發(fā)FTP文件傳輸系統(tǒng)，該系統(tǒng)基于Visual Studio環(huán)境開發(fā)，功能具有訪問ftp、文件上傳、文件下載、刪除、顯示目錄等功能，給用戶提供方便快捷的文件傳輸下載。關(guān)鍵詞：海量數(shù)據(jù);FTP;文件傳輸中圖分類號：TP311? ? ? ? 文獻標識碼：A文章編號：1009-3044（2020）32-0232-03Abstract：
電腦知識與技術(shù) 2020年32期2020-12-29
- 用電檢查與反竊電在線智能分析系統(tǒng)設計
;智能分析;海量數(shù)據(jù)引言在我國經(jīng)濟高速增長，科學技術(shù)飛速發(fā)展的同時，一些不法分子利用先進的技術(shù)手段，巧妙、隱蔽地減少表計計算量，從而少繳納電費，不僅使供電企業(yè)的合法權(quán)益受到損害，還擾亂了正常供電秩序，造成電力故障和安全事故。針對竊電問題，供電企業(yè)需采取科學有效的對策，提高用電安全和反竊電能力。1用電檢查的重要性用電檢查是指根據(jù)電力公司的規(guī)定，主要對電力系統(tǒng)計量、設施性能、安全等進行監(jiān)測和評價。這可以保證電力系統(tǒng)用電正常，也可以查處違章用電、節(jié)電或盜竊等一系
錦繡·下旬刊 2020年7期2020-12-23
- 基于大數(shù)據(jù)背景下的貴州旅游數(shù)據(jù)分析與研究
;數(shù)據(jù)倉庫;海量數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);旅游發(fā)展1旅游業(yè)格局在近幾年中國經(jīng)濟的高速發(fā)展，國民生活水平的提高，人們的物資生活得到了滿足的背景下，逐步開始了建立精神生活。開始尋找放松與緩解壓力的方式，而到國內(nèi)各地旅行，看國內(nèi)各處的美麗風景與體驗國內(nèi)各地的風土人情不僅能開闊自身的眼界，更是緩解自身精神壓力與疲勞的放松方式，尤其是近幾年來，隨著國內(nèi)旅游業(yè)的發(fā)展，國內(nèi)各省對旅游行業(yè)越來越重視。由于旅游行業(yè)所具備的三大動力效應，使得旅游行業(yè)在發(fā)展的過程中，促使當?shù)氐囊幌盗?/div>
科學與信息化 2020年30期2020-11-30
- 面向電力電纜狀態(tài)監(jiān)測綜合云計算平臺架構(gòu)設計
理方式在應對海量數(shù)據(jù)增長時也暴露出很多不足，本文在傳統(tǒng)數(shù)據(jù)處理分析方法的基礎上，面向電力電纜的故障數(shù)據(jù)監(jiān)測的應用場景，設計出一種能夠滿足全方位實時需求的綜合云平臺架構(gòu)，能夠滿足海量數(shù)據(jù)的處理和存儲要求，為故障的及時發(fā)現(xiàn)與處理提供支持。關(guān)鍵詞：電力安全;海量數(shù)據(jù);云平臺1、引言電力電纜作為電力傳輸?shù)闹匾d體，一旦出故障，對于人民的生產(chǎn)生活將造成極大影響。為了保障電力傳輸?shù)陌踩?，對電纜的狀態(tài)信息進行實時監(jiān)測分析，及時發(fā)現(xiàn)電纜故障意義十分重大。隨著網(wǎng)絡技術(shù)和傳感裝備維修技術(shù) 2020年15期2020-11-28
- 基于大數(shù)據(jù)背景下的食堂服務平臺研究
服務系統(tǒng)中的海量數(shù)據(jù)為研究對象，基于大數(shù)據(jù)背景下的食堂服務平臺的研究展開討論。該系統(tǒng)應用HTML5，JavaScript，MySQL，Hadoop集群數(shù)據(jù)處理等技術(shù)，實現(xiàn)了在線訂餐功能并生成數(shù)據(jù)分析。實驗結(jié)果表明：該平臺方便了師生訂餐的同時也減少了食堂管理成本，解決了學生就餐難，排隊久的難題;系統(tǒng)通過大數(shù)據(jù)分析來了解消費者的需求，從而更好地提高食堂服務水平。關(guān)鍵詞：大數(shù)據(jù);線上訂餐;校園食堂;Hadoop集群;海量數(shù)據(jù);數(shù)據(jù)處理中圖分類號：TP391.7文物聯(lián)網(wǎng)技術(shù) 2020年9期2020-10-09
- 一種考慮句子結(jié)構(gòu)的移動客服對話文本建模方法
法。關(guān)鍵詞：海量數(shù)據(jù);智能化;建模方法中圖分類號：TP391.1? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）03-0033-03Abstract：With the development and application of machine learning and deep learning methods in various fields，more and more industries begin to explore th現(xiàn)代信息科技 2020年3期2020-07-04
- 基于海量數(shù)據(jù)優(yōu)化管理的分布式文件存儲系統(tǒng)應用研究
的優(yōu)勢實現(xiàn)對海量數(shù)據(jù)資源處理的水平和能力，讓企業(yè)數(shù)據(jù)資源發(fā)揮了最有效的價值。關(guān)鍵詞：海量數(shù)據(jù);分布式文件存儲;優(yōu)化管理中圖分類號：TP311.1? ? ? ? 文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）18-0181-02Abstract： The data of big data era has become a very valuable resource for enterprises， and it has becom科技創(chuàng)新與應用 2020年18期2020-06-22
- 新能源汽車充電樁海量數(shù)據(jù)分析研究
車;充電樁;海量數(shù)據(jù);數(shù)據(jù)分析【中圖分類號】F426.61 【文獻標識碼】A 【文章編號】1674-0688（2020）01-0040-040 引言隨著新能源汽車使用人數(shù)的增長，電動汽車充電需求迅速提升，截至2019年4月，全國充電基礎設施累計數(shù)量已達到95.3萬臺。然而，由于布局不合理、維護不到位、缺乏平臺管理等問題，可充電設施的利用率卻長期偏低。2015年10月9日，國家發(fā)展改革委、國家能源局、工業(yè)和信息化部、住房城鄉(xiāng)建設部共同印發(fā)了《電動汽車充電基礎企業(yè)科技與發(fā)展 2020年1期2020-05-22
- 協(xié)同過濾算法在位置推薦上的運用
據(jù)時代。面對海量數(shù)據(jù)，如何尋找感興趣的信息已經(jīng)成為困擾用戶的問題。由于每個人的興趣愛好不太相同，使用一個大眾版的排行榜并不能滿足每個人的需求。位置推薦算法就是在大量數(shù)據(jù)作為支撐的情況下，對用戶進行相似性計算，最后根據(jù)相似用戶的簽到地點做出推薦。本文主要通過經(jīng)典的協(xié)同過濾方式實現(xiàn)一個位置推薦算法。關(guān)鍵詞：海量數(shù)據(jù);位置推薦;協(xié)同過濾隨著移動互聯(lián)網(wǎng)的興起，用戶可以方便快捷地記錄當前的位置坐標，產(chǎn)生了許多有名的軟件，比如微博、forsqure、ins等。Four發(fā)明與創(chuàng)新·職業(yè)教育 2020年2期2020-04-07
- 基于Elasticsearch的HBase海量數(shù)據(jù)二級索引方案
器）不穩(wěn)定及海量數(shù)據(jù)檢索速度較慢等問題，設計了一種新的基于Elasticsearch的HBase二級索引方案ELHBase（ElasticsearchIndexing HBase）。該方案借助Flume、Kafka、HBase及Elastic-search搭建了一套數(shù)據(jù)采集、高速解析和錄入大數(shù)據(jù)處理框架，使用Flume自定義Sink采集數(shù)據(jù)同時生成相應ID存入到Kafka，通過解析技術(shù)分別把數(shù)據(jù)存儲到HBase，相應ID作為索引存儲到ElasticSear電腦知識與技術(shù) 2020年1期2020-03-30
- 應用Hbase高效存儲海量數(shù)據(jù)的實現(xiàn)
基礎有效解決海量數(shù)據(jù)存儲過程中服務器均衡負載問題，并通過構(gòu)建文件索引二進制碼序列的方式實現(xiàn)數(shù)據(jù)信息的高效存儲效果，應用Hbase協(xié)處理器實現(xiàn)分布式序列記錄單提交多表插入等功能效率，最終多種方式結(jié)合實現(xiàn)分布式多格式高效存儲?！娟P(guān)鍵詞】Hbase;分布式序列;高效存儲;海量數(shù)據(jù)引言Hbase作為一種開源的非關(guān)系型分布式數(shù)據(jù)庫，其模型參考了谷歌的BigTable建模，因此Hbase不僅具有分布式、版本化、可拓展等特性，而且還與MapReduce、Spark等分布理論與創(chuàng)新 2020年23期2020-03-08
- 基于pHash分塊局部探測的海量圖像查重算法
復圖片檢測;海量數(shù)據(jù);感知Hash;局部探測;傳遞性中圖分類號：TP391文獻標志碼：ADeduplication for massive images based on pHash block detectionDuplicate detection algorithm for massive images based on pHash block detectionTANG Linchuan， DENG Siyu， WU Yanxue， WEN Liu計算機應用 2019年9期2019-10-31
- 基于Hadoop的海量數(shù)據(jù)處理平臺的架構(gòu)與研究
來臨，成就了海量數(shù)據(jù)的衍生，但如何快速聚類高價值數(shù)據(jù)，深度挖掘電商行業(yè)客戶和服務數(shù)據(jù)，搭建海量數(shù)據(jù)服務著陸平臺，監(jiān)測行業(yè)數(shù)據(jù)輿情，提升公共服務水平，拓寬數(shù)據(jù)資源應用市場是“互聯(lián)網(wǎng)+”行業(yè)轉(zhuǎn)型的關(guān)鍵。借助Hadoop分布式存儲與計算平臺，以高效、可靠、可伸縮的方式維護數(shù)據(jù)精確度、緩解數(shù)據(jù)冷啟動問題，增強數(shù)據(jù)多樣化推薦?！娟P(guān)鍵詞】Hadoop平臺;海量數(shù)據(jù);服務處理平臺;HDFS架構(gòu)中圖分類號： TP391 文獻標識碼： A 文章編號： 2095-2457（2科技視界 2019年20期2019-08-29
- 基于海量數(shù)據(jù)的HBase寫入性能測試與優(yōu)化
，實驗表明在海量數(shù)據(jù)應用條件下采用MapReduce計算框架能夠利用HBase集群的計算性能，相比傳統(tǒng)的單線程和多線程數(shù)據(jù)寫入方式具有更好的實用性和有效性，同時結(jié)合這三類數(shù)據(jù)寫入方式的性能特征提出了以寫入數(shù)據(jù)量為依據(jù)的選擇策略。關(guān)鍵詞：MapReduce，Hadoop，HBase，海量數(shù)據(jù)中圖分類號：TP392 文獻標識碼：A 文章編號：1009-3044（2019）06-0009-05Testing and optimization of HBase w電腦知識與技術(shù) 2019年6期2019-05-22
- 基于海量數(shù)據(jù)的企業(yè)營銷資源優(yōu)化研究與分析
于此，本文對海量數(shù)據(jù)視角下企業(yè)單位營銷資源優(yōu)化進行研究分析，期望能夠為我國企業(yè)單位提供借鑒。關(guān)鍵詞：海量數(shù)據(jù);企業(yè);營銷資源優(yōu)化信息技術(shù)以及網(wǎng)絡技術(shù)的廣泛應用使得我國企業(yè)單位的信息環(huán)境發(fā)生了根本上的轉(zhuǎn)變，企業(yè)單位營銷資源繼續(xù)進行整合優(yōu)化，借此有效改善企業(yè)單位營銷資源未能得到充分利用的問題，同時有效加快信息資源效用的實現(xiàn)。雖然傳統(tǒng)資源整合平臺為企業(yè)單位提供了許多資源整合引擎，但是由于檢索渠道比較單一，耗費時間較長以及被動相應企業(yè)單位需求等多方面的不足之處，導商場現(xiàn)代化 2019年2期2019-03-21
- 大數(shù)據(jù)時代下企業(yè)管理模式創(chuàng)新研究
；管理模式；海量數(shù)據(jù)；創(chuàng)新思考互聯(lián)網(wǎng)的高速發(fā)展改變?nèi)藗儏⑴c信息交流的方式，也對企業(yè)整體管理帶來不一樣的挑戰(zhàn)，需要對其發(fā)展進行思考。大數(shù)據(jù)給企業(yè)發(fā)展帶來更多的智能終端以及視頻監(jiān)控等數(shù)據(jù)，讓人們感受到不同的發(fā)展數(shù)據(jù)?？梢哉f，大數(shù)據(jù)給企業(yè)發(fā)展提供更多的發(fā)展空間，也帶來更多的發(fā)展?jié)撃埽o企業(yè)帶來更多的洞察力。但是，大數(shù)據(jù)也給企業(yè)發(fā)展帶來數(shù)據(jù)整合以及保障海量數(shù)據(jù)安全等挑戰(zhàn)。企業(yè)要想在該時代下實現(xiàn)更好地發(fā)展，就應該改變之前的管理思維，運用全新的視角對其進行思考，促使企商場現(xiàn)代化 2018年19期2018-12-26
- 基于VBA的石油地質(zhì)數(shù)據(jù)處理
利摘 要： 海量數(shù)據(jù)處理是石油地質(zhì)項目開展過程中的重要工作，若依靠純手工處理工作量巨大。文章提出了基于VBA數(shù)據(jù)批量處理方法，以氣藏數(shù)值模擬工藝改造數(shù)據(jù)的處理為例，在EXCEL中運用VBA進行編程，實現(xiàn)海量射孔數(shù)據(jù)的提取與標準化處理。首先從井史數(shù)據(jù)出發(fā)，借助文件對象打開對應井單的射孔數(shù)據(jù)文件，然后循環(huán)提取射孔數(shù)據(jù)中的相關(guān)數(shù)據(jù)信息，進行標準化處理后寫入工藝改造數(shù)據(jù)表格中，生成氣藏數(shù)值模擬的基礎數(shù)據(jù)體。針對示范工區(qū)數(shù)據(jù)處理表明，該方法不但極大地提高了氣藏數(shù)值模計算機時代 2018年9期2018-10-25
- 淺談數(shù)據(jù)挖掘技術(shù)及其應用
據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過程。數(shù)據(jù)挖掘技術(shù)現(xiàn)已廣泛應用于零售業(yè)、金融業(yè)、電信、網(wǎng)絡安全分析、農(nóng)業(yè)、醫(yī)療衛(wèi)生等領(lǐng)域，研究十分廣泛。關(guān)鍵詞： 海量數(shù)據(jù)；數(shù)據(jù)挖掘；應用研究【中圖分類號】 TP311.1 【文獻標識碼】 A【文章編號】 2236-1879（2018）14-0178-01一、數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘比較公認的定義是由U.M.Fayyad等人提出的：數(shù)據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過程[1]。還有一些術(shù)語，具有和數(shù)據(jù)挖掘類似但稍科學導報·學術(shù) 2018年14期2018-10-21
- 煙支重量反饋控制系統(tǒng)相關(guān)參數(shù)的海量數(shù)據(jù)分析
的多項指標的海量數(shù)據(jù)。首先，對海量數(shù)據(jù)進行預處理，并通過假設檢驗得出數(shù)據(jù)服從正態(tài)分布。其次，計算各項指標間的灰關(guān)聯(lián)度，得到各項指標間的關(guān)聯(lián)度矩陣。最后，通過逐步回歸分析得到各項指標間具有顯著相關(guān)性的最優(yōu)回歸方程，并給出能夠根據(jù)各監(jiān)測指標的變化對煙支重量進行反饋調(diào)節(jié)的控制系統(tǒng)模型。關(guān)鍵詞：海量數(shù)據(jù)；正態(tài)分布；灰關(guān)聯(lián)度分析；逐步回歸分析中圖分類號：TS47 文獻標志碼：A 文章編號：2095-2945（2018）21-0012-04Abstract： In t科技創(chuàng)新與應用 2018年21期2018-09-14
- 大型輸水工程網(wǎng)絡三維場景建設關(guān)鍵技術(shù)研究
的無縫集成及海量數(shù)據(jù)的流暢加載問題，實現(xiàn)了大型輸水工程三維場景的網(wǎng)絡在線快速瀏覽和三維分析應用。該技術(shù)在南水北調(diào)中線一期工程三維場景建設中取得良好應用效果，為類似長距離大范圍輸水工程網(wǎng)絡三維場景建設及分析應用提供參考。關(guān)鍵詞：長距離輸水工程：三維場景；Skyline；海量數(shù)據(jù)；無縫集成；南水北調(diào)中線工程中圖分類號：TV68；TV222.1文獻標志碼：Adoi：10.3969/j.issn. 1000- 1379.2018.06.031水資源分布不均勻性和人人民黃河 2018年6期2018-09-10
- 基于Spark的數(shù)據(jù)抽取整合決策分析系統(tǒng)設計
層無法快速從海量數(shù)據(jù)中獲得有效的決策數(shù)據(jù)支持。因此如何有效的數(shù)據(jù)收集，數(shù)據(jù)存儲，數(shù)據(jù)抽取，整合不同來源的基礎數(shù)據(jù)是當前我們需要解決的主要問題。關(guān)鍵詞：海量數(shù)據(jù)；決策；spark；數(shù)據(jù)抽取背景隨著數(shù)據(jù)量的不斷增加各企業(yè)對如何實現(xiàn)海量數(shù)據(jù)的收集存儲抽取整合為一體系統(tǒng)需求比較強烈，因為海量的數(shù)據(jù)只有合理有效的被利用才能發(fā)揮出數(shù)據(jù)本身的最大價值，為了能夠準確快速高效的為企業(yè)管理者提供決策支撐，解決數(shù)據(jù)源分散、數(shù)據(jù)冗雜等特點，并對海量數(shù)據(jù)集整合，實現(xiàn)數(shù)據(jù)實時可視化查信息技術(shù)時代·下旬刊 2018年4期2018-09-10
- 大數(shù)據(jù)視域下的高校英語教學模式創(chuàng)新分析
。【關(guān)鍵詞】海量數(shù)據(jù)；英語教學；模式創(chuàng)新；云計算【作者簡介】程啟榮，廊坊師范學院。大數(shù)據(jù)時代下帶來的影響已經(jīng)滲透在國內(nèi)的高等教育中，使其面臨著全面信息化的發(fā)展機遇。而在當下，高校現(xiàn)有的英語課程教學開始融入了大數(shù)據(jù)技術(shù)的運用，使其教學模式必須得到優(yōu)化與創(chuàng)新，才能充分發(fā)揮大數(shù)據(jù)技術(shù)的支撐性優(yōu)勢作用。一、大數(shù)據(jù)背景下的教學變化分析大數(shù)據(jù)融入到教學工作中，其帶來的教學變化可以歸結(jié)為三點。其一，大數(shù)據(jù)背景下的教學模式呈現(xiàn)出靈活性的特點，強調(diào)開放學生的思維，利于鍛煉其校園英語·中旬 2018年8期2018-09-08
- 大數(shù)據(jù)技術(shù)在電網(wǎng)運營管理中的應用研究
智能電網(wǎng) 海量數(shù)據(jù)1 引言智能電網(wǎng)的理念是通過獲取更多電能信息，來優(yōu)化電的生產(chǎn)、傳輸、調(diào)度、分配以及消費。未來智能電網(wǎng)將承載電力流、信息流、業(yè)務流，在傳輸能源的同時實現(xiàn)數(shù)據(jù)的采集、深度挖掘和分析，最終實現(xiàn)清潔發(fā)電、高效輸電、動態(tài)配電、合理用電的智慧電力的目標。在本質(zhì)上，智能電網(wǎng)是大數(shù)據(jù)在電力上的應用。隨著堅強智能電網(wǎng)的建設，電力行業(yè)產(chǎn)生了一大批面向電力各個領(lǐng)域的信息采集與管理系統(tǒng)，包括：用電信息采集系統(tǒng)、營銷系統(tǒng)、電網(wǎng)運營管理系統(tǒng)等。這些系統(tǒng)構(gòu)成了電力大電子技術(shù)與軟件工程 2018年5期2018-04-09
- 基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)
，特別是在對海量數(shù)據(jù)進行繁雜處理期間，部分無序信息的智能化分析及就顯得尤為重要，通過智能化分析能了解到網(wǎng)絡海量數(shù)據(jù)信息的高度異構(gòu)性特點，在多項海量數(shù)據(jù)信息異構(gòu)結(jié)構(gòu)使用中，提出新的云計算數(shù)據(jù)存儲管理模式。根據(jù)對其研究，能初步獲悉，系統(tǒng)開設的海量數(shù)據(jù)管理任務分析能讓整個管理的效率更高、安全性更好、維護性更強?！娟P(guān)鍵詞】海量數(shù)據(jù) 平臺設計 開發(fā)由于數(shù)據(jù)信息開始從GB、TB持續(xù)到PB的量級爆炸式模式進行增長，所以數(shù)據(jù)的整體變化具有多樣性，特別是地理上分散性極好，能電子技術(shù)與軟件工程 2017年16期2018-03-30
- 海量數(shù)據(jù)的支持向量機優(yōu)化挖掘方法
度較大。提出海量數(shù)據(jù)的支持向量機優(yōu)化挖掘方法，構(gòu)造靜態(tài)粒子空間，局限海量數(shù)據(jù)挖掘離散程度，形成小規(guī)模的、多簇團的粒子挖掘數(shù)據(jù)集；將單粒子挖掘數(shù)據(jù)進行離散性擬合，以多簇團粒子整合離散運算，保證挖掘計算進行周期性運行；對同軌挖掘計算進行條件約束，實現(xiàn)小離散程度的數(shù)據(jù)挖掘。仿真實驗驗證結(jié)果表明，支持向量機優(yōu)化挖掘方法在復雜多變環(huán)境下具有較高的穩(wěn)定性，并且挖掘離散度小、挖掘信息精度較高。關(guān)鍵詞： 海量數(shù)據(jù)； 支持向量機； 多簇團粒子； 數(shù)據(jù)擬合； 整合運算； 挖掘現(xiàn)代電子技術(shù) 2018年6期2018-03-13
- 海量數(shù)據(jù)挖掘過程相關(guān)技術(shù)研究進展
平不斷提升，海量數(shù)據(jù)的復雜性與多樣性對數(shù)據(jù)挖掘形成了較大困難。基于大數(shù)據(jù)環(huán)境下，為了更深入、充分地掌握是數(shù)據(jù)挖掘相關(guān)技術(shù)的研究進展與應用，可以從海量數(shù)據(jù)挖掘過程的技術(shù)框架、算法、理論、模式等方面進行嘗試。綜上所述，該文將對海量數(shù)據(jù)挖掘過程相關(guān)技術(shù)研究進展進行分析。關(guān)鍵詞：海量數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);研究進展;討論中圖分類號：TP311? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2018）36-0001-02數(shù)據(jù)挖掘的過程是在海量電腦知識與技術(shù) 2018年36期2018-03-04
- 大數(shù)據(jù)時代的計算機信息處理技術(shù)
生了待處理的海量數(shù)據(jù)信息，目前計算機信息處理水平難以達到對大數(shù)據(jù)處理的要求，這對于計算機技術(shù)革新具有一定的促進作用。本研究針對計算機信息處理技術(shù)在大數(shù)據(jù)時代的發(fā)展及計算機信息處理技術(shù)有關(guān)問題進行初步探討，并分析了計算機信息處理技術(shù)在大數(shù)據(jù)時代的的機遇與挑戰(zhàn)?！娟P(guān)鍵詞】信息處理 海量數(shù)據(jù) 大數(shù)據(jù)時代1 前言大規(guī)模的數(shù)據(jù)共享隨著計算機技術(shù)的日益普及而成為一項重要的信息處理工作，數(shù)據(jù)總量近年來高速增長，增大了數(shù)據(jù)信息處理的難度。高效應用數(shù)據(jù)的基礎就是不斷發(fā)展的計電子技術(shù)與軟件工程 2018年15期2018-02-26
- 城市海量數(shù)據(jù)實時流通技術(shù)框架
。[關(guān)鍵詞]海量數(shù)據(jù) 技術(shù)框架 共享交換 智慧城市智慧城市建設涉及規(guī)模龐大的數(shù)據(jù)交換與共享，面對如此海量的數(shù)據(jù)，如何做到實時流通已經(jīng)成為了智慧城市建設的關(guān)鍵。就我國對城市海量數(shù)據(jù)實時流通的處理現(xiàn)狀來看，眾多數(shù)據(jù)、信息與資源未得到充分的開發(fā)，在數(shù)據(jù)利用與資源共享等各方面都受到了不同程度的限制，由此也浪費了大量資源大量浪費，這給智慧城市的建設和發(fā)展帶來了嚴重的阻礙。本文結(jié)合城市級海量數(shù)據(jù)實時共享交換的背景和總體需求，就城市海量數(shù)據(jù)實時流通技術(shù)框架進行了深入研究電子技術(shù)與軟件工程 2018年11期2018-02-25
- 基于海量數(shù)據(jù)消息隊列的性能比較及其優(yōu)化
速發(fā)展促進了海量數(shù)據(jù)的產(chǎn)生，而實時處理海量數(shù)據(jù)離不開具有良好性能的分布式消息隊列，可明顯提高數(shù)據(jù)處理的效率，海量數(shù)據(jù)采用何種消息隊列進行傳輸是關(guān)鍵問題之一。分析研究應用最頻繁的Apache Kafka、Rocket-MQ及Rabbit-MQ三種消息隊列特點及實現(xiàn)原理，在實時大數(shù)據(jù)計算場景下基于此對消息隊列分別搭建集群測試環(huán)境，比較有關(guān)結(jié)果后實現(xiàn)對消息隊列的性能設計優(yōu)化。關(guān)鍵詞 海量數(shù)據(jù)；消息隊列；大數(shù)據(jù)時代中圖分類號 G2 文獻標識碼 A 文章編號 167科技傳播 2018年3期2018-02-09
- 物聯(lián)網(wǎng)海量異構(gòu)傳感器采樣數(shù)據(jù)存儲與查詢處理
詞：物聯(lián)網(wǎng)；海量數(shù)據(jù)；異構(gòu)數(shù)據(jù)；海量數(shù)據(jù)；數(shù)據(jù)查詢DOIDOI：10.11907/rjdk.172023中圖分類號：TP392文獻標識碼：A 文章編號：1672-7800（2017）012-0182-02Abstract：The datas in the IoT are massive and heterogeneous， the good storage strategy has been a research hotspot. The storage軟件導刊 2017年12期2018-01-09
- 基于Spark的大數(shù)據(jù)分析工具Hive的研究
數(shù)據(jù)倉庫為海量數(shù)據(jù)分析提供了方便的操作。隨著實時查詢需求的增加，基于Spark的Hive操作得到了很好的應用。文章主要介紹了Hive on Spark的整合步驟以及與Hadoop運行模式的比較。對 MovieLens 數(shù)據(jù)集的實驗測試顯示，新模式的執(zhí)行速度提高了17.42-46.35倍，這對進一步了解Hive的運行機制及海量數(shù)據(jù)的實時分析具有重要的意義。關(guān)鍵詞： Hadoop； Hive； Spark； 海量數(shù)據(jù)； 實時分析中圖分類號：TP399 文獻標計算機時代 2018年11期2018-01-04
- 海量數(shù)據(jù)環(huán)境下可破壞性數(shù)據(jù)定位算法研究
提出一種新的海量數(shù)據(jù)環(huán)境下可破壞性數(shù)據(jù)定位算法。在不同信道NAV任務的優(yōu)先排隊模型狀態(tài)空間中，針對局部性交叉項信息量，在計算吞吐量下，建立信道數(shù)據(jù)傳輸模型。構(gòu)造可破壞性數(shù)據(jù)信號模型，將相空間重構(gòu)與非線性時間序列分析法結(jié)合在一起，對可破壞性數(shù)據(jù)產(chǎn)生的原因進行分析，完成可破壞性數(shù)據(jù)特征提取。把數(shù)據(jù)符號屬性值映射為數(shù)字值，完成對所有數(shù)字特征的歸一化處理。對原始可破壞性數(shù)據(jù)特征進行改進，通過Fisher線性分析法在改進后特征空間中對可破壞性數(shù)據(jù)特征進行分類，實現(xiàn)可計算機時代 2018年11期2018-01-04
- 基于知識圖譜的人員關(guān)系預測方法研究
技術(shù)路線，在海量數(shù)據(jù)中，實現(xiàn)實體的顯性關(guān)系和隱性關(guān)系的深度挖掘和關(guān)系拓展。關(guān)鍵詞：知識圖譜；公安業(yè)務；海量數(shù)據(jù)；關(guān)系預測中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2018）28-0176-03Research on Prediction Method of Personnel Relationship Based on Knowledge MapZHU Zhen-hua， YU Xiao-yun，LI Chao（The First電腦知識與技術(shù) 2018年28期2018-01-04
- “分布式”存儲結(jié)構(gòu)存儲方法研究
分布式存儲；海量數(shù)據(jù)；存儲算法中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2017）198-0142-021 常見的分布式存儲算法1.1 NFS網(wǎng)絡文件系統(tǒng)早期的分布式文件系統(tǒng)，多數(shù)都是基于NFS的[1]。NFS的設計，主要是對硬件和操作系統(tǒng)提供異構(gòu)支持，即容許不同操作系統(tǒng)的終端接入NFS系統(tǒng)，訪問同一個共享存儲區(qū)，進行文件的共享。它的適用范圍包括局域網(wǎng)和廣域網(wǎng)，而且NFS還形成了Internet標準-NFS協(xié)議。被大多數(shù)企業(yè)構(gòu)建局域科技傳播 2017年21期2017-11-27
- 大數(shù)據(jù)下的安防存儲研究
防；非結(jié)構(gòu)；海量數(shù)據(jù)；云存儲；智慧中圖分類號：TP309 文獻標識碼：A0.概述視頻監(jiān)控安防其主要特點是圖像信息量大，所以對存儲空間需求明顯。視頻監(jiān)控步入高清化時代，存儲與安防的存在著緊密結(jié)合，存儲容量的有限與信息容量的巨大， 而海量的非結(jié)構(gòu)化視頻、特征數(shù)據(jù)，帶動了大數(shù)據(jù)的存儲、管理、分析等一系列問題，存在不少的矛盾需要解決，吸引著更多人的關(guān)注與研究。1.當前存儲存在的問題1.1后端存儲技術(shù)當前，在安防監(jiān)控中，后端存儲系統(tǒng)從“模擬時代”到”數(shù)字時代”到如今中國新技術(shù)新產(chǎn)品 2017年22期2017-10-30
- 基于WebGIS的暴雨災害決策系統(tǒng)設計與應用
；暴雨災害；海量數(shù)據(jù)；GP；及時率中圖分類號：S422 文獻標志碼：A 文章編號：2095-2945（2017）24-0111-021 概述近年來，暴雨災害頻繁發(fā)生，造成嚴重的經(jīng)濟損失和社會影響，成為各界普遍關(guān)注的自然災害問題。政府各級防汛部門高度重視暴雨及其引發(fā)的山洪地質(zhì)災害防御工作，為了有效地預測災害并減少造成的損失，迫切需要建立一個科學合理的暴雨決策服務指揮系統(tǒng)。隨著氣象監(jiān)測與預報技術(shù)的發(fā)展、應急部門對各防汛部門的統(tǒng)一組織協(xié)調(diào)的力度加強，對暴雨災害的科技創(chuàng)新與應用 2017年24期2017-09-08
- 基于神經(jīng)網(wǎng)絡與MapReduce的科技云數(shù)據(jù)清洗模型
。關(guān)鍵詞： 海量數(shù)據(jù)； 數(shù)據(jù)清洗； 神經(jīng)網(wǎng)絡模型； 多任務優(yōu)化； MapReduce中圖分類號：TP399 文獻標志碼：A 文章編號：1006-8228（2017）07-06-03Data cleaning model of the science and technology cloud based onneural networks and MapReduceYang Shuo， Yang Wei， Tao Li， Jin Fengfei（Zhejia計算機時代 2017年7期2017-07-20
- 在線地圖服務中的地理信息價值提升研究
求。關(guān)鍵詞：海量數(shù)據(jù) 在線地圖 提升價值 不切片 司南超擎中圖分類號：TP701 文獻標識碼：A 文章編號：1672-3791（2017）06（c）-0028-03在線方式提供的地理信息數(shù)據(jù)主要是通過WMTS提供地圖服務、通過WFS提供矢量服務，響應速度和數(shù)據(jù)量、服務器、網(wǎng)絡環(huán)境相關(guān)性大，而且地圖服務還存在事先切片費時費力，切片后屬性信息缺失而無法支持空間分析和在線編輯兩個主要問題，嚴重制約了地理信息數(shù)據(jù)價值的共享與應用。因此，發(fā)展快速、有效的海量地理信息科技資訊 2017年18期2017-07-19
- 基于云計算的大數(shù)據(jù)處理技術(shù)研究
作都會接觸到海量數(shù)據(jù)，已然進入了大數(shù)據(jù)時代。對于海量數(shù)據(jù)信息，如果采用傳統(tǒng)的數(shù)據(jù)處理辦法，很難保證數(shù)據(jù)信息傳輸?shù)陌踩?、快速性。云計算的出現(xiàn)為大數(shù)據(jù)存儲、傳輸提供了便利，也為數(shù)據(jù)處理提供了重要保障。文中首先對大數(shù)據(jù)與云計算之間的關(guān)系進行分析，然后探討了云計算及其關(guān)鍵技術(shù)，最后提出云計算背景下的大數(shù)據(jù)處理技術(shù)，希望能夠為相關(guān)人員提供參考。關(guān)鍵詞：云計算；大數(shù)據(jù)；處理技術(shù)；海量數(shù)據(jù)中圖分類號：TP274 文獻標識碼：A 文章編號：2095-1302（2017）物聯(lián)網(wǎng)技術(shù) 2017年6期2017-06-23
- 云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺設計
設計云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺，其由海量數(shù)據(jù)采集模塊、云平臺模塊和可視化調(diào)度模塊組成。海量數(shù)據(jù)采集模塊中的天線開始對海量數(shù)據(jù)進行采集和調(diào)頻，并傳遞給數(shù)字信號處理器進行處理，其處理結(jié)果將傳遞給云平臺模塊。云平臺模塊利用Hadoop分布式計算技術(shù)，對海量數(shù)據(jù)采集模塊的處理結(jié)果進行分析和計算，給出調(diào)度方案。調(diào)度方案將傳遞給可視化調(diào)度模塊進行調(diào)度方案的可視化，以及調(diào)度工作的具體實施。平臺軟件對云平臺模塊中調(diào)度方案的產(chǎn)生流程進行設計。實驗結(jié)果表明，所設計現(xiàn)代電子技術(shù) 2017年8期2017-05-09
- 海量教育多媒體數(shù)據(jù)高效分類存儲技術(shù)研究
。關(guān)鍵詞： 海量數(shù)據(jù)； 教育多媒體數(shù)據(jù)庫； 分類存儲； 數(shù)據(jù)檢索中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）08?0042?04Research on efficient classification and storage technology of mass datain educational multimediaYUAN Yanxing1， GUO Xianzhou2（1. Guangd現(xiàn)代電子技術(shù) 2017年8期2017-05-09
- 函數(shù)局部掃描解決在線題庫海量數(shù)據(jù)讀取
析了局部掃描海量數(shù)據(jù)庫方法，實現(xiàn)了基于函數(shù)局部掃描解決在線題庫海量數(shù)據(jù)讀取的問題。給出了不同類型利用函數(shù)實現(xiàn)局部范圍掃描的SQL語句寫法，總結(jié)了函數(shù)使用需要注意的問題。關(guān)鍵詞：函數(shù)；局部掃描；SOL；海量數(shù)據(jù)中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）29-0014-031概述在數(shù)據(jù)處理過程中，最苦悶的事情是，很難找到提高大范圍數(shù)據(jù)處理執(zhí)行速度的對策，處理少量數(shù)據(jù)時，不論怎樣都能夠輕易地獲得較快的執(zhí)行速度；但對于大范圍的電腦知識與技術(shù) 2016年29期2017-04-27
- 基于云計算的海量高校體育數(shù)據(jù)建模與分析
云計算； 海量數(shù)據(jù)； 數(shù)據(jù)挖掘； K均值中圖分類號： TN911.1?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）07?0105?04Mass college sports data modeling and analysis based on cloud computingWANG Ningtao（Zhongzhou University， Zhengzhou 450044， China）Abstract： In o現(xiàn)代電子技術(shù) 2017年7期2017-04-14
- 海量數(shù)據(jù)機器單詞中關(guān)鍵語義篩選方法研究
義信息抽取的海量數(shù)據(jù)機器單詞中關(guān)鍵語義篩選方法。首先構(gòu)建海量數(shù)據(jù)機器單詞的文本語義主題詞概念決策樹模型，采用語義信息轉(zhuǎn)換方式計算機器單詞中關(guān)鍵語義的利用規(guī)則、聚類中心等信息參量；然后采用主題詞表自然語義信息抽取方法進行語義評估和翻譯可靠性測試，實現(xiàn)關(guān)鍵語義自動篩選控制；最后進行仿真測試。結(jié)果表明，采用該方法進行機器單詞中關(guān)鍵語義篩選， 提高了文本機器翻譯的自適應配準能力，翻譯的準確性得到有效提高。關(guān)鍵詞： 海量數(shù)據(jù)； 機器翻譯； 單詞； 語義篩選中圖分類號現(xiàn)代電子技術(shù) 2017年6期2017-04-10
- 云存儲服務端海量數(shù)據(jù)安全存儲的加密解決方案
儲服務端； 海量數(shù)據(jù)； 安全存儲； 數(shù)據(jù)加密解決方案中圖分類號： TN915.08?34 文獻標識碼： A 文章編號： 1004?373X（2017）03?0079?03Encryption solution for mass data secure storage of cloud storage serverZHU Rong1， ZHOU Cailan2， GAO Rui1（1. Hanjiang Normal University， Shiyan 4現(xiàn)代電子技術(shù) 2017年3期2017-03-04
- 基于海量數(shù)據(jù)的校園公共安全管理研究
術(shù)逐漸成熟使海量數(shù)據(jù)應用成為可能，也為校園公共安全管理提供了新思路。校園公共安全管理應在海量數(shù)據(jù)新技術(shù)應用基礎上，解決數(shù)據(jù)收集、加工處理難題，轉(zhuǎn)變事后“應對”模式，具有公共安全“預防”思維，從各部門的協(xié)同聯(lián)動構(gòu)建公共安全管理機制。[關(guān)鍵詞]海量數(shù)據(jù)；“預防”思維；校園；公共安全管理機制doi：10.3969/j.issn.1673 - 0194.2016.24.154[中圖分類號]G647 [文獻標識碼]A [文章編號]1673-0194（2016）24-中國管理信息化 2016年24期2017-02-04
- 基于HADOOP集群的數(shù)據(jù)采集和清洗
果。關(guān)鍵詞：海量數(shù)據(jù)；Hadoop；hive；數(shù)據(jù)采集；數(shù)據(jù)清洗中圖分類號：TP311 文獻標識碼：A1 引言（Introduction）Hadoop框架本身大多是用Java編程語言編寫的，一些本地代碼是使用C語言編寫的，命令行實用程序?qū)懗蓅hell腳本，同時隨著不同公司的工作需要，隨之產(chǎn)生了許多不同的版本，極大的豐富了Hadoop的內(nèi)容，如同后續(xù)出現(xiàn)的Hive、Zookeeper。截至2013年，已經(jīng)有超過一半的世界500強企業(yè)采用Hadoop。Hado軟件工程 2016年11期2017-01-17
- 商業(yè)銀行海量金融數(shù)據(jù)分析中數(shù)據(jù)分析技術(shù)的實踐探究
商業(yè)銀行 海量數(shù)據(jù) 數(shù)據(jù)分析技術(shù) 實踐應用當前計算機技術(shù)已經(jīng)滲透到生產(chǎn)生活中的方方面面，并且隨著計算機技術(shù)的發(fā)展和成熟，出現(xiàn)了越來越多的新型計算機技術(shù)，推動社會進入了大數(shù)據(jù)時代。大數(shù)據(jù)時代的到來，對商業(yè)銀行來說是把雙刃劍，在帶來發(fā)展機遇的同時，使得商業(yè)銀行面臨著更大的挑戰(zhàn)。多種網(wǎng)絡平臺的出現(xiàn)，極大地豐富了商業(yè)銀行的在線支付方式，催生了虛擬交易體系，在這個過程中所產(chǎn)生的金融數(shù)據(jù)量是非常龐大的。為了更好地迎接發(fā)展機遇和挑戰(zhàn)，就需要充分發(fā)揮數(shù)據(jù)分析技術(shù)優(yōu)勢，快經(jīng)營者 2016年19期2016-12-23
- 海量數(shù)據(jù)庫的設計與優(yōu)化
的高速發(fā)展，海量數(shù)據(jù)庫的設計成為大型軟件系統(tǒng)不得不面對的棘手難題。在一個每天數(shù)千萬甚至數(shù)億條數(shù)據(jù)量的軟件系統(tǒng)中，海量的數(shù)據(jù)對于系統(tǒng)的平穩(wěn)運行造成了非常大的問題。關(guān)鍵詞：海量數(shù)據(jù)；設計；優(yōu)化中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）28-0024-01數(shù)據(jù)庫技術(shù)是信息技術(shù)的基礎和核心，隨著各種應用的數(shù)據(jù)量飛速增長，海量數(shù)據(jù)不斷產(chǎn)生，在對穩(wěn)定性，實時性要求高的系統(tǒng)中，良好的數(shù)據(jù)庫設計變得非常迫切。1 數(shù)據(jù)庫設計在軟件系統(tǒng)處電腦知識與技術(shù) 2016年28期2016-12-21
- 太湖流域水資源信息管理系統(tǒng)設計與實現(xiàn)
的工作，存在海量數(shù)據(jù)存儲、查詢和處理的問題，針對這些困難，應用GIS和數(shù)據(jù)庫技術(shù)進行二次開發(fā)，設計并實現(xiàn)太湖流域水資源信息管理系統(tǒng)，從而解決了海量數(shù)據(jù)的管理問題，提高了數(shù)據(jù)管理能力和工作效率。關(guān)鍵詞：GIS、海量數(shù)據(jù)、信息管理系統(tǒng)1、引言太湖流域河流縱橫交錯，湖泊星羅棋布，形成江南水網(wǎng)，是全國河道密度最大的地區(qū)。流域內(nèi)河道水系以太湖為中心，分上游水系和下游水系兩個部分。近年來，太湖流域水污染嚴重，湖泊富營養(yǎng)化嚴重，已造成太湖流域供水水源的嚴重污染，對此，應科學與財富 2016年9期2016-10-21
- 基于hadoop平臺海量數(shù)據(jù)的快速查詢與實現(xiàn)
rk；查詢；海量數(shù)據(jù) 中圖分類號：TP31 文獻標識碼：A 文章編號：1009-3044（2016）21-0003-03 Abstract： With the development of Internet technology， The amount of data generated by humans is growing exponentially. Hadoop as a common tool in the field of big dat電腦知識與技術(shù) 2016年21期2016-10-18
- 基于海量POI數(shù)據(jù)的城市小學教育資源信息的提取與分析
詞：POI；海量數(shù)據(jù)；城市小學教育資源；可達性；數(shù)據(jù)挖掘大數(shù)據(jù)在近幾年是一個熱門話題。大數(shù)據(jù)(bigdata)是體量巨大(volume)、多種多樣(variety)、高速變化(velocity)、真實質(zhì)差(veracity)、價值密度低(value)的復雜數(shù)據(jù)集合[1-3]。這種定義指出大數(shù)據(jù)最為核心的問題就是如何從規(guī)模巨大、種類繁多、生成快速的數(shù)據(jù)集中挖掘出有用的信息，進而轉(zhuǎn)變成知識，為用戶提供決策服務，實現(xiàn)大數(shù)據(jù)的價值。大數(shù)據(jù)中約有80%的數(shù)據(jù)是與空間測繪工程 2016年10期2016-08-02
- 基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應用*
VFITS；海量數(shù)據(jù)；MPI；并行計算；高性能計算中國明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)是同時以高時間、空間和頻率分辨率對太陽進行射電頻譜成像的設備[1]。隨著進入系統(tǒng)聯(lián)調(diào)和試觀測階段，當前迫切需要實現(xiàn)試觀測結(jié)果的存儲、處理，以推進設備誤差修正、設備定標等一系列工作。這其中，需要應用當前射電天文領(lǐng)域的相關(guān)軟件，如天文應用軟件公共包(Common Astronomy天文研究與技術(shù) 2016年2期2016-07-09
- 面向電力電纜狀態(tài)監(jiān)測綜合云計算平臺架構(gòu)設計