亞馬遜云科技：應用架構驅動數(shù)據(jù)庫升級

王永

早年的互聯(lián)網(wǎng)，當面對電商、視頻、社交、出行類場景時，無論是客戶并發(fā)，還是處理數(shù)據(jù)級別等角度，這并不是一個傳統(tǒng)的關系型數(shù)據(jù)庫就能處理的。因此，伴隨整個互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)應用開發(fā)浪潮的崛起，大量的NoSQL數(shù)據(jù)產生，驅動著云原生關系型數(shù)據(jù)庫的出現(xiàn)。

與此同時，越來越多的用戶希望把自己的應用架構在開源的數(shù)據(jù)庫引擎上，無論是MySQL還是PostgreSQL，而不愿意再把自己的應用架構在一個有嚴苛標準且會被鎖定的數(shù)據(jù)庫引擎。

這就好比公司的開發(fā)人員把所有時間都花在核心業(yè)務的應用開發(fā)上，不需要浪費任何時間去開發(fā)跟核心業(yè)務無關的代碼。這當然是一個非常美好的愿望，其背后的含義就是：客戶希望把無法讓自己在市場競爭中脫穎而出的“臟活累活”盡量拋掉，讓開發(fā)人員專注于應用和數(shù)據(jù)。而這一改變也驅動更多客戶向全托管式的云數(shù)據(jù)庫服務進行轉型。

另外，從早期的PC、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)，到現(xiàn)在的萬物互聯(lián)，軟件架構基本上都是從Server到SOA再到微服務，這樣一個軟件架構的迭代和轉型，也在驅動著數(shù)據(jù)庫選型的變化。

“所以，伴隨客戶業(yè)務體量越來越大，復雜度越來越高，它會在這種情況下選擇將超級復雜的單體應用拆分成多個微服務和多個大的功能模塊。當客戶做了應用重構之后，必然會做數(shù)據(jù)的拆分，根據(jù)這個應用所使用的數(shù)據(jù)類型以及數(shù)據(jù)訪問特點，來決定究竟應該選擇云上的哪一個專門構建的數(shù)據(jù)庫?！眮嗰R遜云科技大中華區(qū)產品部總經理顧凡在接受筆者的采訪時表示，從應用端可以看到應用開發(fā)領域的變化是如何驅動整個數(shù)據(jù)庫技術的變化。對于亞馬遜云科技來說，也希望未來能夠結合專庫專用，極致性能、無服務器，敏捷創(chuàng)新、全球架構，一鍵部署、平滑遷移，加速上云、AI賦能，深度集成五大理念，從產品端解構，為客戶提供專業(yè)、可靠的產品和服務。

從客戶需求開看，在數(shù)據(jù)爆炸式增長，微服務架構與DevOps愈發(fā)流行的今天，一個數(shù)據(jù)庫打天下的時代早就過去了。真正需要的，是為開發(fā)者在不同的應用場景下針對不同的數(shù)據(jù)類型和不同的數(shù)據(jù)訪問特點，提供專門構建的工具。

這也是亞馬遜云科技在構建數(shù)據(jù)庫時第一個要構建的核心理念：專庫專用。目前，亞馬遜云科技專門構建數(shù)據(jù)庫的產品家族主要包括：托管的關系型數(shù)據(jù)庫Amazon RDS，開啟托管數(shù)據(jù)庫服務的新模式；開源的數(shù)據(jù)庫Amazon Aurora；非關系型數(shù)據(jù)庫Amazon DynamoDB以及圖數(shù)據(jù)庫Amazon Neptune等。

“亞馬遜電商其實當年是Oracle的數(shù)據(jù)庫客戶之一，不過隨著亞馬遜電商整個應用重構，包括微服務化，包括業(yè)務體量的發(fā)展，我們在2019年將存儲在7500個Oracle數(shù)據(jù)庫中的75PB內部數(shù)據(jù)全部遷移到亞馬遜云科技自己的數(shù)據(jù)庫服務?！鳖櫡脖硎?，現(xiàn)在，亞馬遜電商已經是亞馬遜云科技在全球的第一大客戶。在這樣一個遷移的過程中，有100多個團隊參與了遷移工作，遷移所覆蓋的都是亞馬遜電商的關鍵系統(tǒng)，無論是采購、目錄管理、訂單執(zhí)行、廣告、財務系統(tǒng)、錢包、視頻流，所有工作負載全都從Oracle遷出來。

實際上，從Oracle切換到亞馬遜云科技以后，亞馬遜電商也節(jié)省了60%的成本，同時面向消費者端的應用程序的延遲降低了40%，數(shù)據(jù)庫的管理支出減少了70%。

從業(yè)務的角度來看，絕大多數(shù)的企業(yè)應用都會有業(yè)務波峰波谷，如果做一些妥協(xié)，按照企業(yè)80%、90%的業(yè)務峰值去規(guī)劃數(shù)據(jù)庫的存儲容量以及計算資源的話，勢必會給應用帶來一定的業(yè)務連續(xù)性上的妥協(xié)或者挑戰(zhàn)。

雖然當前已經可以做到手動或者自由調整數(shù)據(jù)庫計算資源，但是這背后如果要真的實現(xiàn)在生產上面根據(jù)業(yè)務需求去擴展數(shù)據(jù)庫規(guī)模的話，背后還需要非常多的技術上的努力，才能夠真正將它實現(xiàn)。

企業(yè)上云的第一步，通常都是從自建數(shù)據(jù)庫選擇了托管的關系型數(shù)據(jù)庫，通過云服務、云原生數(shù)據(jù)庫解決大部分運營上的困難，比如，故障修復、補丁、軟件升級等。那么作為無服務器的模式還能帶來什么？

“當我們想要自動擴展數(shù)據(jù)庫規(guī)模的時候，無服務器模式都可以再進一步幫助我們做資源選型，同時還能自動設置我們擴展的相應規(guī)則?！?亞馬遜云科技大中華區(qū)產品部數(shù)據(jù)類產品高級經理王曉野表示，從運維的層面來解讀，無服務器模式背后所代表的和云計算的概念是非常相近。也就是說，將云廠商多年對于大規(guī)模數(shù)據(jù)庫運維、伸縮擴展的經驗，和團隊整個的技術能力最大化開放給客戶，使客戶受益。

目前，亞馬遜云科技在無服務器領域發(fā)布了最新的一款產品Amazon Aurora Serverless V2，它與Amazon DynamoDB的核心區(qū)別在于，Amazon Aurora是亞馬遜云科技推出核心的關系型數(shù)據(jù)庫。一般關系型數(shù)據(jù)庫做擴展，比NoSQL要難非常多，背后還要去考慮交易事故、已有鏈接如何中斷，以及保持機型擴展的數(shù)據(jù)的一致性。

Amazon Aurora Serverless V2核心提供的能力是瞬間擴展，真正把擴展能力發(fā)揮到極致。在不到一秒的時間內，將幾百個事務擴展到數(shù)十萬的級別。同時在擴展的時候，每一次調整的增量都是非常精細化的去管理，如果按照峰值這樣去規(guī)劃數(shù)據(jù)庫資源，能夠實現(xiàn)大概90%的成本節(jié)省。

更重要的是，Amazon Aurora Serverless V2真正是生產可用。它將會包含Aurora標準版，基于虛擬機實例的版本，包括全球數(shù)據(jù)庫、多可用區(qū)部署以及只讀副本，這些高可用的所有生產級別可用的性能。

“在全球化的今天，無論是手機、視頻娛樂還是智能汽車，客戶群體往往分布到全球，同時災難恢復對于現(xiàn)代化、全球化的分布式應用架構來說也提出了新的挑戰(zhàn)。” 王曉野認為，現(xiàn)在支持全球業(yè)務的應用，包括數(shù)據(jù)庫，需要實現(xiàn)支撐全球業(yè)務擴展所必要的全球業(yè)務的連續(xù)性，同時對于分布在全球不同的這些客戶，需要把它的一致的用戶體驗以最低的延遲帶給到他自己的終端客戶。

在亞馬遜云科技的產品里，通過能夠提供全球數(shù)據(jù)庫能力的數(shù)據(jù)庫服務，包括Amazon Aurora關系型數(shù)據(jù)庫的Global Database、Amazon DynamoDB、NoSQL數(shù)據(jù)庫、Amazon ElastiCache內存數(shù)據(jù)庫以及文檔數(shù)據(jù)庫Amazon DocumentDB，都能夠利用亞馬遜云科技的骨干網(wǎng)絡提供比互聯(lián)網(wǎng)更穩(wěn)定的網(wǎng)絡支撐，以一鍵部署的方式，幫助客戶實現(xiàn)幾千公里跨區(qū)域數(shù)據(jù)庫災備。

據(jù)了解，目前已經有超過45萬的數(shù)據(jù)庫通過亞馬遜云科技的數(shù)據(jù)庫遷移服務實現(xiàn)了遷移到亞馬遜云科技云平臺，并且每年遷移的客戶數(shù)量還在不斷增長。

從工具角度上，亞馬遜云科技希望客戶能夠通過Amazon DMS、Amazon Database Migration Service，進行自助式的云遷移。對于遷移過程中可能會需要的人才以及相應的規(guī)劃，包括遷移之后的優(yōu)化、相應的流程。通過專業(yè)服務團隊和合作伙伴網(wǎng)絡成員，為客戶提供專家方面的支持。

回到技術本身，亞馬遜云科技希望通過這兩個工具幫助客戶實現(xiàn)自助式的體驗數(shù)據(jù)庫上云平滑遷移。

通常，數(shù)據(jù)庫遷移分為兩部分：數(shù)據(jù)庫的格式轉換和數(shù)據(jù)遷移，但這并不意味著遷移的完成。以SQL Server商業(yè)數(shù)據(jù)庫遷移到云上為例，有一個非常關鍵的步驟，就是因為數(shù)據(jù)庫驅動整體的上云遷移。過去因為企業(yè)的整體應用遷移，會涉及到數(shù)據(jù)庫向云上異構的數(shù)據(jù)庫遷移之后，還是要做一個應用程序代碼改造的過程。對于SQL Server向PostgreSQL遷移的過程，需要重新去寫應用代碼邏輯，將T-SQL進行轉換改寫，這對企業(yè)來說也是一筆昂貴的成本開銷。

為了更好的幫助客戶實現(xiàn)平滑遷移，加速上云的需求，2021年11月份， Babelfish for Amazon Aurora PostgreSQL在全球并且在中國兩個區(qū)域已經正式可用的。它允許企業(yè)在已經熟悉Microsoft的T-SQL語法的情況下，包括協(xié)議、驅動，在不需要或者極少改動的情況下，讓Amazon Aurora PostgreSQL去理解原有語句所寫的針對于T-SQL的代碼。

對客戶來說，能夠加速企業(yè)上云的遷移，真正實現(xiàn)讓企業(yè)可以利用原有的技術棧、原有的SQL Server T-SQL的工程人員可以利用到云數(shù)據(jù)庫直接進行創(chuàng)新。

在現(xiàn)代化應用，尤其是用數(shù)據(jù)驅動去做創(chuàng)新的時候，許多場景下已經無數(shù)次的證明，用機器學習的方式要比傳統(tǒng)方式更好。

以欺詐檢測的為例，可能個人在銀行里面會有相應的一些記錄，通過這些信息可以對其是否有欺詐行為做風險判斷。但是這背后卻沒有考慮到作為個人，包括家庭成員，人與人之間的一些關系信息。如今在金融領域，非常多的企業(yè)已經開始大量利用人與人之間的關系進行風險控制、欺詐檢測。

“從場景來看，關系型數(shù)據(jù)庫已經不能滿足這樣一個關系的存儲，因為它不是為這個場景設計的，以圖數(shù)據(jù)結構去存儲數(shù)據(jù)的數(shù)據(jù)庫更合適。”王曉野表示，需要用圖數(shù)據(jù)庫和機器學習來共同完成任務，勢必會碰到挑戰(zhàn)：對于機器學習相關的人才我們缺乏技能；此外，開展機器學習，需要把數(shù)據(jù)進行預處理，挪到機器學習平臺，并進行模型訓練，這背后還耗費大量的時間和工作。同時，小數(shù)據(jù)量的驗證，如何在大數(shù)據(jù)量、成千萬、上億級之間的節(jié)點的關系，進行機器學習，都是在數(shù)據(jù)庫與機器學習結合相對應所帶來的挑戰(zhàn)。

為了更好地幫助客戶業(yè)務的深度集成，亞馬遜云科技推出了Amazon Neptune，專門構建的針對于圖數(shù)據(jù)結構，存儲物品、人物、各種事物之間的關系的數(shù)據(jù)庫。

在Amazon Neptune，最新推出了在今年8月份同時也在中國區(qū)域可用的Neptune ML的功能，允許數(shù)據(jù)工程師不需要掌握機器學習的技能，直接從圖數(shù)據(jù)庫里導出數(shù)據(jù)，轉換格式，訓練模型并發(fā)布，用gremlin語句調用訓練成的模型在數(shù)據(jù)庫里實現(xiàn)推理，進行欺詐檢測，進行物品推薦。