軟件簡介

OceanBase是淘寶開源的千億級別分布式數(shù)據(jù)庫系統(tǒng)。OceanBase是一個支持海量數(shù)據(jù)的高性能分布式數(shù)據(jù)庫系統(tǒng)，實現(xiàn)了數(shù)千億條記錄、數(shù)百TB數(shù)據(jù)上的跨行跨表事務(wù)，由淘寶核心系統(tǒng)研發(fā)部、運維、DBA、廣告、應(yīng)用研發(fā)等部門共同完成。OceanBase設(shè)計和實現(xiàn)的時候暫時摒棄了不緊急的DBMS的功能，例如臨時表，視圖(view)，研發(fā)團隊把有限的資源集中到關(guān)鍵點上，當(dāng)前 OceanBase主要解決數(shù)據(jù)更新一致性、高性能的跨表讀事務(wù)、范圍查詢、join、數(shù)據(jù)全量及增量dump、批量數(shù)據(jù)導(dǎo)入。

OceanBase解決什么問題

許多公司的核心資產(chǎn)是各種各樣的商業(yè)數(shù)據(jù)，例如淘寶的商品、交易、訂單、購物愛好等等，這些數(shù)據(jù)通常是結(jié)構(gòu)化的，并且數(shù)據(jù)之間存在各種各樣的關(guān)聯(lián)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫曾經(jīng)是這些數(shù)據(jù)的最佳載體。然而，隨著業(yè)務(wù)的快速發(fā)展，這些數(shù)據(jù)急劇膨脹，記錄數(shù)從幾千萬條增加到數(shù)十億條，數(shù)據(jù)量從百GB增加到數(shù)TB，未來還可能增加到數(shù)千億條和數(shù)百TB，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法承擔(dān)如此海量的數(shù)據(jù)。OceanBase解決不斷增加的結(jié)構(gòu)化數(shù)據(jù)存儲與查詢的問題。

從Eric Brewer教授的CAP(一致性C: Consistency， 可用性A: Availability，分區(qū)容錯性P: Tolerance of network Partition)理論角度分析，作為電子商務(wù)企業(yè)，淘寶和其他公司的業(yè)務(wù)對一致性和可用性的要求高于分區(qū)容錯性，數(shù)據(jù)特征是數(shù)據(jù)總量龐大且逐步增加，單位時間內(nèi)的數(shù)據(jù)更新量并不大，但實時性要求很高。這就要求我們提供一套更加偏重于支持CA特性的系統(tǒng)，同時兼顧可分區(qū)性，并且在實時性、成本、性能等方面表現(xiàn)良好。

OceanBase數(shù)據(jù)訪問特點

雖然數(shù)據(jù)總量比較大，但跟許多行業(yè)一樣，淘寶業(yè)務(wù)一段時間(例如小時或天)內(nèi)數(shù)據(jù)的增刪改是有限的(通常一天不超過幾千萬次到幾億次)，根據(jù)這個特點，OceanBase把一段時間內(nèi)的增刪改等修改操作以增量形式記錄下來(稱之為動態(tài)數(shù)據(jù)，通常保存在內(nèi)存中)，這樣也使得了主體數(shù)據(jù)在一段時間內(nèi)保持了相對穩(wěn)定(稱之為基準(zhǔn)數(shù)據(jù))。

由于動態(tài)數(shù)據(jù)相對較小，通常情況下，OceanBase把它保存在獨立的服務(wù)器UpdateServer的內(nèi)存中。以內(nèi)存保存增刪改記錄極大地提高了系統(tǒng)寫事務(wù)的性能。此外，假如每條修改平均消耗100 Bytes，那么10GB內(nèi)存可以記錄100M(即1億)條修改，且擴充UpdateServer內(nèi)存即增加了內(nèi)存中容納的修改量。不僅如此，由于凍結(jié)后的內(nèi)存表不再修改，它也可以轉(zhuǎn)換成sstable格式并保存到SSD固態(tài)盤或磁盤上。轉(zhuǎn)儲到SSD固態(tài)盤后所占內(nèi)存即可釋放，并仍然可以提供較高性能的讀服務(wù)，這也緩解了極端情況下UpdateServer的內(nèi)存需求。為了應(yīng)對機器故障，動態(tài)數(shù)據(jù)服務(wù)器UpdateServer寫commit log并采取雙機(乃至多機)熱備。由于UpdateServer的主備機是同步的，因此備機也可同時提供讀服務(wù)。

因為基準(zhǔn)數(shù)據(jù)相對穩(wěn)定，OceanBase把它按照主鍵(primary key，也稱為row key)分段(即tablet)后保存多個副本(一般是3個)到多臺機器(ChunkServer)上，避免了單臺機器故障導(dǎo)致的服務(wù)中斷，多個副本也提升了系統(tǒng)服務(wù)能力。單個tablet的尺寸可以根據(jù)應(yīng)用數(shù)據(jù)特點進行配置，相對配置過小的tablet會合并，過大的tablet則會分裂。

由于tablet按主鍵分塊連續(xù)存放，因此OceanBase按主鍵的范圍查詢對應(yīng)著連續(xù)的磁盤讀，十分高效。

對于已經(jīng)凍結(jié)/轉(zhuǎn)儲的動態(tài)數(shù)據(jù)，OceanBase的ChunkServer會在自己不是太繁忙的時候啟動基準(zhǔn)數(shù)據(jù)與凍結(jié)/轉(zhuǎn)儲內(nèi)存表的合并，并生成新的基準(zhǔn)數(shù)據(jù)。這種合并過程其實是一種范圍查詢，是一串連續(xù)的磁盤讀和連續(xù)的磁盤寫，也是很高效的。

傳統(tǒng)DBMS提供了強大的事務(wù)性、良好的一致性和很短的查詢修改響應(yīng)時間，但數(shù)據(jù)規(guī)模受到嚴(yán)重制約，缺乏擴展性；現(xiàn)代云計算提供了極大的數(shù)據(jù)規(guī)模、良好的擴展性，但缺乏跨行跨表事務(wù)、數(shù)據(jù)一致性也較弱、查詢修改響應(yīng)時間通常也較長，OceanBase的設(shè)計和實現(xiàn)融合了二者的優(yōu)勢。