軟件簡(jiǎn)介
OceanBase是淘寶開(kāi)源的千億級(jí)別分布式數(shù)據(jù)庫(kù)系統(tǒng)。OceanBase是一個(gè)支持海量數(shù)據(jù)的高性能分布式數(shù)據(jù)庫(kù)系統(tǒng)，實(shí)現(xiàn)了數(shù)千億條記錄、數(shù)百TB數(shù)據(jù)上的跨行跨表事務(wù)，由淘寶核心系統(tǒng)研發(fā)部、運(yùn)維、DBA、廣告、應(yīng)用研發(fā)等部門共同完成。OceanBase設(shè)計(jì)和實(shí)現(xiàn)的時(shí)候暫時(shí)摒棄了不緊急的DBMS的功能，例如臨時(shí)表，視圖(view)，研發(fā)團(tuán)隊(duì)把有限的資源集中到關(guān)鍵點(diǎn)上，當(dāng)前 OceanBase主要解決數(shù)據(jù)更新一致性、高性能的跨表讀事務(wù)、范圍查詢、join、數(shù)據(jù)全量及增量dump、批量數(shù)據(jù)導(dǎo)入。
OceanBase解決什么問(wèn)題
許多公司的核心資產(chǎn)是各種各樣的商業(yè)數(shù)據(jù)，例如淘寶的商品、交易、訂單、購(gòu)物愛(ài)好等等，這些數(shù)據(jù)通常是結(jié)構(gòu)化的，并且數(shù)據(jù)之間存在各種各樣的關(guān)聯(lián)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)曾經(jīng)是這些數(shù)據(jù)的最佳載體。然而，隨著業(yè)務(wù)的快速發(fā)展，這些數(shù)據(jù)急劇膨脹，記錄數(shù)從幾千萬(wàn)條增加到數(shù)十億條，數(shù)據(jù)量從百GB增加到數(shù)TB，未來(lái)還可能增加到數(shù)千億條和數(shù)百TB，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法承擔(dān)如此海量的數(shù)據(jù)。OceanBase解決不斷增加的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與查詢的問(wèn)題。
從Eric Brewer教授的CAP(一致性C: Consistency， 可用性A: Availability，分區(qū)容錯(cuò)性P: Tolerance of network Partition)理論角度分析，作為電子商務(wù)企業(yè)，淘寶和其他公司的業(yè)務(wù)對(duì)一致性和可用性的要求高于分區(qū)容錯(cuò)性，數(shù)據(jù)特征是數(shù)據(jù)總量龐大且逐步增加，單位時(shí)間內(nèi)的數(shù)據(jù)更新量并不大，但實(shí)時(shí)性要求很高。這就要求我們提供一套更加偏重于支持CA特性的系統(tǒng)，同時(shí)兼顧可分區(qū)性，并且在實(shí)時(shí)性、成本、性能等方面表現(xiàn)良好。
OceanBase數(shù)據(jù)訪問(wèn)特點(diǎn)
雖然數(shù)據(jù)總量比較大，但跟許多行業(yè)一樣，淘寶業(yè)務(wù)一段時(shí)間(例如小時(shí)或天)內(nèi)數(shù)據(jù)的增刪改是有限的(通常一天不超過(guò)幾千萬(wàn)次到幾億次)，根據(jù)這個(gè)特點(diǎn)，OceanBase把一段時(shí)間內(nèi)的增刪改等修改操作以增量形式記錄下來(lái)(稱之為動(dòng)態(tài)數(shù)據(jù)，通常保存在內(nèi)存中)，這樣也使得了主體數(shù)據(jù)在一段時(shí)間內(nèi)保持了相對(duì)穩(wěn)定(稱之為基準(zhǔn)數(shù)據(jù))。
由于動(dòng)態(tài)數(shù)據(jù)相對(duì)較小，通常情況下，OceanBase把它保存在獨(dú)立的服務(wù)器UpdateServer的內(nèi)存中。以內(nèi)存保存增刪改記錄極大地提高了系統(tǒng)寫事務(wù)的性能。此外，假如每條修改平均消耗100 Bytes，那么10GB內(nèi)存可以記錄100M(即1億)條修改，且擴(kuò)充UpdateServer內(nèi)存即增加了內(nèi)存中容納的修改量。不僅如此，由于凍結(jié)后的內(nèi)存表不再修改，它也可以轉(zhuǎn)換成sstable格式并保存到SSD固態(tài)盤或磁盤上。轉(zhuǎn)儲(chǔ)到SSD固態(tài)盤后所占內(nèi)存即可釋放，并仍然可以提供較高性能的讀服務(wù)，這也緩解了極端情況下UpdateServer的內(nèi)存需求。為了應(yīng)對(duì)機(jī)器故障，動(dòng)態(tài)數(shù)據(jù)服務(wù)器UpdateServer寫commit log并采取雙機(jī)(乃至多機(jī))熱備。由于UpdateServer的主備機(jī)是同步的，因此備機(jī)也可同時(shí)提供讀服務(wù)。
因?yàn)榛鶞?zhǔn)數(shù)據(jù)相對(duì)穩(wěn)定，OceanBase把它按照主鍵(primary key，也稱為row key)分段(即tablet)后保存多個(gè)副本(一般是3個(gè))到多臺(tái)機(jī)器(ChunkServer)上，避免了單臺(tái)機(jī)器故障導(dǎo)致的服務(wù)中斷，多個(gè)副本也提升了系統(tǒng)服務(wù)能力。單個(gè)tablet的尺寸可以根據(jù)應(yīng)用數(shù)據(jù)特點(diǎn)進(jìn)行配置，相對(duì)配置過(guò)小的tablet會(huì)合并，過(guò)大的tablet則會(huì)分裂。
由于tablet按主鍵分塊連續(xù)存放，因此OceanBase按主鍵的范圍查詢對(duì)應(yīng)著連續(xù)的磁盤讀，十分高效。
對(duì)于已經(jīng)凍結(jié)/轉(zhuǎn)儲(chǔ)的動(dòng)態(tài)數(shù)據(jù)，OceanBase的ChunkServer會(huì)在自己不是太繁忙的時(shí)候啟動(dòng)基準(zhǔn)數(shù)據(jù)與凍結(jié)/轉(zhuǎn)儲(chǔ)內(nèi)存表的合并，并生成新的基準(zhǔn)數(shù)據(jù)。這種合并過(guò)程其實(shí)是一種范圍查詢，是一串連續(xù)的磁盤讀和連續(xù)的磁盤寫，也是很高效的。
傳統(tǒng)DBMS提供了強(qiáng)大的事務(wù)性、良好的一致性和很短的查詢修改響應(yīng)時(shí)間，但數(shù)據(jù)規(guī)模受到嚴(yán)重制約，缺乏擴(kuò)展性；現(xiàn)代云計(jì)算提供了極大的數(shù)據(jù)規(guī)模、良好的擴(kuò)展性，但缺乏跨行跨表事務(wù)、數(shù)據(jù)一致性也較弱、查詢修改響應(yīng)時(shí)間通常也較長(zhǎng)，OceanBase的設(shè)計(jì)和實(shí)現(xiàn)融合了二者的優(yōu)勢(shì)。