大數(shù)據(jù)時(shí)代關(guān)系數(shù)據(jù)庫MySQL的創(chuàng)新與發(fā)展

顏清 苗壯 賴鑫生 蔣昌猛

摘?要：關(guān)系型數(shù)據(jù)庫應(yīng)用技術(shù)作為大數(shù)據(jù)時(shí)代信息領(lǐng)域支撐基礎(chǔ)和軟件學(xué)科的重要分支，仍然是計(jì)算機(jī)領(lǐng)域中最為廣泛的應(yīng)用技術(shù)?；ヂ?lián)網(wǎng)的爆發(fā)誕生了大數(shù)據(jù)，也成就了MySQL。作為關(guān)系數(shù)據(jù)庫的MySQL為WEB方面分布集群數(shù)據(jù)庫系統(tǒng)的應(yīng)用研究得到重視，MySQL的不斷創(chuàng)新將滿足可擴(kuò)展性、可靠性和可用性等大數(shù)據(jù)要求，已經(jīng)展現(xiàn)出關(guān)系數(shù)據(jù)庫處理大數(shù)據(jù)的曙光。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)庫技術(shù);MySQL;應(yīng)用

中圖分類號(hào)：TP311.13文獻(xiàn)標(biāo)識(shí)碼：A

1 大數(shù)據(jù)時(shí)代數(shù)據(jù)庫技術(shù)面臨的新問題

1.1 大數(shù)據(jù)與云計(jì)算

隨著大數(shù)據(jù)時(shí)代的到來，獲取數(shù)據(jù)的設(shè)備不再只是傳統(tǒng)計(jì)算機(jī)，智能手機(jī)、GPS定位儀等感測(cè)裝置成為新的產(chǎn)生數(shù)據(jù)的來源，從這些設(shè)備搜集到的數(shù)據(jù)都與以往有很大的差異。大數(shù)據(jù)具有體量巨大、種類繁多、價(jià)值密度低、處理速度快等特征，面對(duì)大數(shù)據(jù)時(shí)代海量的數(shù)據(jù)增長(zhǎng)與非結(jié)構(gòu)化特點(diǎn)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的處理能力捉襟見肘，沒有優(yōu)勢(shì)。大數(shù)據(jù)不僅包括關(guān)系模型的結(jié)構(gòu)化數(shù)據(jù)，還包括如日志文件、XML文檔、JSON文檔、Email等半結(jié)構(gòu)化數(shù)據(jù)和各種格式的圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)難以用常規(guī)軟件進(jìn)行捕捉、管理和處理，是超出傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。單臺(tái)計(jì)算機(jī)無法處理大數(shù)據(jù)，實(shí)時(shí)的大數(shù)據(jù)分析，即采用分布式架構(gòu)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作，依托云計(jì)算對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，通過“加工”實(shí)現(xiàn)數(shù)據(jù)“增值”。大數(shù)據(jù)處理的特色就是它的分布式處理、分布式數(shù)據(jù)庫和云存儲(chǔ)、虛擬化技術(shù)，大數(shù)據(jù)、云計(jì)算代表了大數(shù)據(jù)時(shí)代數(shù)據(jù)處理的新技術(shù)和新方法[1]。

1.2 NoSQL的發(fā)展?fàn)顩r

非關(guān)系型數(shù)據(jù)庫NoSQL已經(jīng)在非結(jié)構(gòu)化和不可預(yù)知數(shù)據(jù)方面顯示出明顯的優(yōu)勢(shì)而嶄露頭角。NoSQL如MongoDb、redis、HBase等，無須經(jīng)過SQL層的解析，可以存儲(chǔ)自定義的數(shù)據(jù)格式，分布式并發(fā)存儲(chǔ)讀寫性能很高，可以解決傳統(tǒng)關(guān)系數(shù)據(jù)庫做不到的事情，NoSQL數(shù)據(jù)管理技術(shù)的應(yīng)用越來越受到人們的青睞[2]。但NoSQL存儲(chǔ)系統(tǒng)沒有系列化，使用鍵值對(duì)存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)沒有耦合性，容易擴(kuò)展，其key，value形式、文檔形式、圖片形式等格式是一種數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)方法的集合，keyvalue數(shù)據(jù)庫產(chǎn)品卻缺乏通用性，應(yīng)用受到局限。NoSQL數(shù)據(jù)庫除HBase有較完善的安全特性外其他均沒有提供內(nèi)建的安全機(jī)制，很多產(chǎn)品都不夠完善，并缺乏強(qiáng)有力的理論、技術(shù)支持[3]。NoSQL無事務(wù)處理，不提供SQL支持，不支持附加功能BI和報(bào)表，學(xué)習(xí)和使用成本較高。NoSQL種類繁多，其共同的特點(diǎn)是無關(guān)系型特性，超越了普通數(shù)據(jù)庫的概念，且嚴(yán)格意義上不是一種數(shù)據(jù)庫，要取代關(guān)系型數(shù)據(jù)庫十分困難。

1.3 關(guān)系型數(shù)據(jù)庫的劣勢(shì)與轉(zhuǎn)型

大數(shù)據(jù)和關(guān)系型數(shù)據(jù)的不同之處在于它沒有固定的字段、格式、結(jié)構(gòu)，其中絕大多數(shù)是非結(jié)構(gòu)化數(shù)據(jù)，但大數(shù)據(jù)也包含了少量結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不能很好擴(kuò)展，難以處理海量數(shù)據(jù)，支撐不了大數(shù)據(jù)的應(yīng)用，在實(shí)現(xiàn)大數(shù)據(jù)分析的需求中力不從心。由于大部分分布式數(shù)據(jù)庫都是用SQL作為標(biāo)準(zhǔn)查詢語言，其數(shù)據(jù)的處理能力也僅局限于結(jié)構(gòu)化數(shù)據(jù)，對(duì)于無法使用SQL進(jìn)行解析的非結(jié)構(gòu)化數(shù)據(jù)更是無能為力。NoSQL異軍突起近乎占據(jù)了互聯(lián)網(wǎng)分布式數(shù)據(jù)庫的半壁江山，近幾年分布式的關(guān)系型數(shù)據(jù)庫也有所轉(zhuǎn)型，紛紛開始支持JSON格式，向混合型數(shù)據(jù)庫發(fā)展。關(guān)系模型相對(duì)于網(wǎng)狀、層次等模型更容易理解，關(guān)系型數(shù)據(jù)庫SQLite、Oracle、MySQL等使用通用的SQL語言操作，對(duì)于復(fù)雜的查詢非常方便。為順應(yīng)大數(shù)據(jù)時(shí)代的發(fā)展，關(guān)系型數(shù)據(jù)庫MySQL的分庫與分表、業(yè)務(wù)拆分、主從復(fù)制等性能擴(kuò)展，讀寫性能的提高在大數(shù)據(jù)應(yīng)用中發(fā)揮了極大的作用，逐漸成為應(yīng)用于WEB方面最為廣泛的軟件之一[4]。

1.4 關(guān)系數(shù)據(jù)庫的性能瓶頸

面對(duì)大數(shù)據(jù)時(shí)代爆發(fā)式增長(zhǎng)的海量數(shù)據(jù)，諸如圖像、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)為主的大數(shù)據(jù)面前，傳統(tǒng)數(shù)據(jù)庫不僅缺少有效分析的工具和方法，也難以滿足高并發(fā)的讀寫需求和海量數(shù)據(jù)的高效率讀寫。關(guān)系型數(shù)據(jù)庫的實(shí)體完整性、參照完整性和用戶定義的完整性形成了關(guān)系模型的事務(wù)一致性特點(diǎn)，降低了數(shù)據(jù)冗余。關(guān)系數(shù)據(jù)庫缺乏靈活性，為穩(wěn)定、固定的表結(jié)構(gòu)及其事務(wù)的一致性付出了讀寫性能差的巨大代價(jià)。一直處于市場(chǎng)的壟斷地位的關(guān)系數(shù)據(jù)庫，隨著存儲(chǔ)、處理和分析的數(shù)據(jù)量指數(shù)倍的快速增長(zhǎng)，關(guān)系模型設(shè)計(jì)架構(gòu)及復(fù)雜的調(diào)優(yōu)參數(shù)決定了傳統(tǒng)SQL數(shù)據(jù)庫很難進(jìn)行擴(kuò)展，加之專用場(chǎng)景下并不最優(yōu)的通用標(biāo)準(zhǔn)，關(guān)系數(shù)據(jù)庫并不適合存儲(chǔ)過大的數(shù)據(jù)，高并發(fā)情況下，關(guān)系數(shù)據(jù)庫在性能、數(shù)據(jù)安全、資源使用等多方面達(dá)到平衡調(diào)優(yōu)成本巨大等劣勢(shì)明顯，面臨的這一難題將極有可能淪落為性能瓶頸。

2 大數(shù)據(jù)時(shí)代關(guān)系數(shù)據(jù)庫技術(shù)的難題

2.1 關(guān)系型數(shù)據(jù)庫技術(shù)的發(fā)展趨勢(shì)

數(shù)十年來，關(guān)系數(shù)據(jù)庫中積累大量的應(yīng)用數(shù)據(jù)已經(jīng)成了社會(huì)的寶貴財(cái)富。從你的銀行存款，到你的每一筆網(wǎng)上交易都在關(guān)系型數(shù)據(jù)庫中保存著，關(guān)系型數(shù)據(jù)庫每時(shí)每刻都在影響人們的生活。傳統(tǒng)的數(shù)據(jù)庫都是用SQL作為標(biāo)準(zhǔn)查詢語言，其數(shù)據(jù)處理能力局限于結(jié)構(gòu)化數(shù)據(jù)。例如IBM DB2，Oracle，Microsoft SQL Server，Sybase等等，版本也不斷更新，在數(shù)據(jù)庫管理系統(tǒng)中發(fā)揮了巨大的作用。如今，大數(shù)據(jù)時(shí)代的互聯(lián)網(wǎng)帶來了空前的信息大爆炸，深深影響著人類社會(huì)的生產(chǎn)與生活。關(guān)系型數(shù)據(jù)庫有完善的安全機(jī)制，數(shù)據(jù)和用戶的強(qiáng)制分類，不同類別用戶訪問的數(shù)據(jù)類別也不同，用戶依據(jù)賬戶的權(quán)限操作數(shù)據(jù)庫。關(guān)系型數(shù)據(jù)庫需建立字段后存儲(chǔ)數(shù)據(jù)，建好的數(shù)據(jù)庫要增刪字段極其麻煩。大數(shù)據(jù)技術(shù)改變了互聯(lián)網(wǎng)數(shù)據(jù)的應(yīng)用模式，能快速從各種各樣類型的海量數(shù)據(jù)中獲取有價(jià)值信息。在大數(shù)據(jù)時(shí)代，非結(jié)構(gòu)化數(shù)據(jù)會(huì)自覺與不自覺地滲透到關(guān)系數(shù)據(jù)庫中，關(guān)系型數(shù)據(jù)庫技術(shù)突破若干缺陷之后，發(fā)展前景將十分廣闊。

2.2 大數(shù)據(jù)時(shí)代的關(guān)系數(shù)據(jù)庫技術(shù)及其研究動(dòng)態(tài)

2.2.1 分布式集群數(shù)據(jù)庫

分布式集群數(shù)據(jù)庫系統(tǒng)即數(shù)據(jù)庫服務(wù)系統(tǒng)，通過網(wǎng)絡(luò)連接組成一個(gè)完整的大型的關(guān)系型數(shù)據(jù)庫。數(shù)據(jù)庫服務(wù)系統(tǒng)可由網(wǎng)絡(luò)上不同地方的多臺(tái)計(jì)算機(jī)組成，保證了海量數(shù)據(jù)的存儲(chǔ)。數(shù)據(jù)庫服務(wù)系統(tǒng)中任意一臺(tái)計(jì)算機(jī)都保存著自己完整的數(shù)據(jù)庫，并具有一致性、完整性、安全性三個(gè)性質(zhì)。分布式集群系統(tǒng)是一個(gè)邏輯整體的數(shù)據(jù)庫，互聯(lián)網(wǎng)將各個(gè)數(shù)據(jù)單元鏈接在一起，分布集群服務(wù)器通過外部鏈接技術(shù)進(jìn)行遠(yuǎn)程控制、管理、信息交換與數(shù)據(jù)共享，用戶對(duì)此系統(tǒng)單一的邏輯訪問請(qǐng)求自動(dòng)分解變換成網(wǎng)絡(luò)請(qǐng)求，客戶機(jī)利用相應(yīng)的數(shù)據(jù)庫結(jié)點(diǎn)完成非數(shù)據(jù)庫的處理操作。

2.2.2 關(guān)系型數(shù)據(jù)庫MySQL

關(guān)系模型的二維表結(jié)構(gòu)相對(duì)網(wǎng)狀、層次等其他模型來說更容易理解，SQLite、Oracle、MySQL等是采用關(guān)系模型組織數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫。MySQL服務(wù)器自帶三個(gè)數(shù)據(jù)庫：information_schema數(shù)據(jù)庫、mysql數(shù)據(jù)庫、test數(shù)據(jù)庫。information_schema數(shù)據(jù)庫保存了MySQL服務(wù)器所有數(shù)據(jù)庫的信息，比如數(shù)據(jù)庫的名、數(shù)據(jù)庫的表、訪問權(quán)限、數(shù)據(jù)庫表的數(shù)據(jù)類型、數(shù)據(jù)庫索引的信息等數(shù)據(jù)庫的點(diǎn)點(diǎn)滴滴信息都存儲(chǔ)在這個(gè)數(shù)據(jù)庫中。mysql數(shù)據(jù)庫是MySQL服務(wù)器中的所有的信息表。test數(shù)據(jù)庫是用于測(cè)試用的空的數(shù)據(jù)庫。在大數(shù)據(jù)背景下，MySQL軟件分為社區(qū)版和商業(yè)版兩種，采用了雙授權(quán)政策。通用的SQL語言易于復(fù)雜的查詢，操作非常方便。在MySQL服務(wù)器中，其實(shí)體完整性、參照完整性和用戶定義的完整性降低了數(shù)據(jù)冗余，形成了關(guān)系模型的事務(wù)一致性特點(diǎn)。MySQL軟件使用不同的表格來存儲(chǔ)數(shù)據(jù)，具有運(yùn)行速度快、使用成本低、開放源碼等優(yōu)點(diǎn)[5]。MySQL軟件使用C和C++進(jìn)行編寫，進(jìn)行了多種測(cè)試，確保源代碼的移植。MySQL軟件可當(dāng)一個(gè)單獨(dú)程序在客戶端服務(wù)器中使用，也可以作為一個(gè)庫，植入到其他的軟件中進(jìn)行使用。

2.2.3 MySQL的集群與主從同步機(jī)制

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫（RDS）擴(kuò)展性差，MySQL采用集群的方式移植到云中，MySQL集群是一個(gè)無共享的、分布式節(jié)點(diǎn)架構(gòu)的存儲(chǔ)方案，提高了數(shù)據(jù)的容錯(cuò)性和高可用性能。MySQL采用ShareNothing架構(gòu)，總的數(shù)據(jù)表劃分成若干個(gè)小表，分別存儲(chǔ)在每個(gè)不同的數(shù)據(jù)庫服務(wù)器上。MySQL集群有節(jié)點(diǎn)回復(fù)、系統(tǒng)恢復(fù)、熱備份恢復(fù)、故障轉(zhuǎn)移、分區(qū)、聯(lián)機(jī)操作等功能，利用主庫對(duì)從庫采用同步機(jī)制進(jìn)行數(shù)據(jù)復(fù)制，將主庫數(shù)據(jù)同步到其他從庫數(shù)據(jù)節(jié)點(diǎn)上，數(shù)據(jù)在多個(gè)數(shù)據(jù)節(jié)點(diǎn)保存，由于每臺(tái)服務(wù)器的獨(dú)立性，MySQL集群保證了數(shù)據(jù)庫的可擴(kuò)展性，解決了傳統(tǒng)數(shù)據(jù)庫擴(kuò)展性差的問題。

2.3 MySQL數(shù)據(jù)庫在大數(shù)據(jù)技術(shù)中的地位

MySQL以標(biāo)準(zhǔn)化為前提，可以進(jìn)行Join等復(fù)雜查詢，事務(wù)處理能夠保證數(shù)據(jù)的一致性。MySQL主要應(yīng)用定位于互聯(lián)網(wǎng)開發(fā)，其分表、分區(qū)、分庫的分布式數(shù)據(jù)庫架構(gòu)等對(duì)數(shù)據(jù)庫進(jìn)行拆分策略，提高數(shù)據(jù)的處理速度與處理效率，最大限度提高了讀取數(shù)據(jù)的速度和并發(fā)量，提高了數(shù)據(jù)庫的寫入能力。如今web2.0網(wǎng)站根據(jù)用戶個(gè)性化信息實(shí)時(shí)生成動(dòng)態(tài)頁面和提供動(dòng)態(tài)信息，基本上無法使用動(dòng)態(tài)頁面靜態(tài)化技術(shù)，數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往達(dá)每秒上萬次讀寫請(qǐng)求?；ヂ?lián)網(wǎng)的爆發(fā)誕生了大數(shù)據(jù)，也成就了MySQL?；赪EB的MySQL體積小、速度快、成本低，能夠及時(shí)處理上千萬條記錄，初步滿足和支持大型的數(shù)據(jù)庫高并發(fā)的讀寫和高效率讀寫等要求[6]。MySQL不斷擴(kuò)大關(guān)系數(shù)據(jù)庫易于使用、易于維護(hù)、安全可靠、性能卓越等方面更勝一籌的優(yōu)勢(shì)，將使關(guān)系數(shù)據(jù)庫經(jīng)受住大數(shù)據(jù)時(shí)代的洗禮，也將在大數(shù)據(jù)應(yīng)用領(lǐng)域中大行其道。

3 結(jié)語

數(shù)據(jù)庫技術(shù)及應(yīng)用領(lǐng)域占整個(gè)計(jì)算機(jī)應(yīng)用的70%以上，大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫技術(shù)日新月異迅猛發(fā)展，大數(shù)據(jù)的興起也促使數(shù)據(jù)庫從單一的關(guān)系型數(shù)據(jù)庫向混合型數(shù)據(jù)庫發(fā)展[7]。作為關(guān)系數(shù)據(jù)庫的MySQL與時(shí)俱進(jìn)、不斷創(chuàng)新，疊加了NoSQL的巨大影響，在大數(shù)據(jù)高并發(fā)讀寫和高效存儲(chǔ)功能方面走得非常扎實(shí)，不可否認(rèn)MySQL將能夠滿足大數(shù)據(jù)應(yīng)用所需要的可擴(kuò)展性、可靠性和可用性等要求[8]，成為面向大數(shù)據(jù)的數(shù)據(jù)庫主流技術(shù)。MySQL5.6正式版逐漸增加對(duì)NoSQL和Hadoop的支持，已經(jīng)展現(xiàn)出關(guān)系數(shù)據(jù)庫處理大數(shù)據(jù)的曙光。

參考文獻(xiàn)：

[1]賈欽.分布式數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中的應(yīng)用[J].電子技術(shù)與軟件工程，2019（08）：162.

[2]龔暢.大數(shù)據(jù)下的NoSQL數(shù)據(jù)庫技術(shù)分析[J].信息記錄材料，2018，19（06）：118119.

[3]卓鐵農(nóng).大數(shù)據(jù)下的分布式數(shù)據(jù)庫HBase[J].計(jì)算機(jī)產(chǎn)品與流通，2019（02）：102.

[4]張偉龍，呂明，胡宏，杜寶珠，張捷.MySQL數(shù)據(jù)庫服務(wù)器監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].工業(yè)控制計(jì)算機(jī)，2019，32（12）：1820.

[5]胡強(qiáng).MySQL數(shù)據(jù)庫常見問題分析與研究[J].電腦編程技巧與維護(hù)，2019（12）：9192.

[6]江國(guó)文.大數(shù)據(jù)環(huán)境下基于MySQL的數(shù)據(jù)庫架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[J].電子世界，2018（11）：200201.

[7]王井樂.基于大數(shù)據(jù)下主題數(shù)據(jù)庫的研究現(xiàn)狀與展望[J].中國(guó)新通信，2018，20（09）：98.

[8]劉陽娜.大數(shù)據(jù)下的MySQL數(shù)據(jù)庫的效率優(yōu)化[J].信息通信，2017（12）：111112.

基金項(xiàng)目：2018年江西省教育廳高校省級(jí)教改立項(xiàng)資助項(xiàng)目（JXJG181616）

作者簡(jiǎn)介：顏清（1962—），女，湖南宜章人，教授，主要從事數(shù)據(jù)庫、數(shù)據(jù)挖掘、計(jì)算機(jī)應(yīng)用與研究等。