【摘要】 因采用的存儲架構(gòu)和技術(shù)不同，數(shù)據(jù)庫產(chǎn)品均面臨著類似如負(fù)載均衡、數(shù)據(jù)同步、數(shù)據(jù)恢復(fù)等問題和難點。本文將從金融行業(yè)出發(fā)，通過聚焦信創(chuàng)數(shù)據(jù)庫主流產(chǎn)品的存儲架構(gòu)，探討信創(chuàng)國產(chǎn)數(shù)據(jù)庫的本地存儲和集中式存儲在產(chǎn)品設(shè)計上的異同分析、難點分析、面臨挑戰(zhàn)及當(dāng)前解決方案。

【作者】楊磊， 中信建投證券數(shù)據(jù)庫架構(gòu)師

一、引言

金融行業(yè)作為一個高度信息化的領(lǐng)域，業(yè)務(wù)場景需要處理大量交易數(shù)據(jù)和用戶數(shù)據(jù)，需要高效、安全、可靠、自主的數(shù)據(jù)庫技術(shù)支持。

二、本地存儲和集中式存儲特點

在存儲架構(gòu)層面，數(shù)據(jù)庫產(chǎn)品存儲架構(gòu)主要分為本地存儲和集中式存儲兩種方式。本地存儲是將數(shù)據(jù)存儲在本地計算機上，而集中式存儲則是將數(shù)據(jù)存儲在遠(yuǎn)程服務(wù)器上。

本地存儲的優(yōu)勢在于，數(shù)據(jù)存儲和處理速度快，不依賴網(wǎng)絡(luò)，對于一些需要快速響應(yīng)的應(yīng)用場景非常適合。集中式存儲的優(yōu)勢在于，數(shù)據(jù)共享和管理更加方便，能夠滿足多用戶同時訪問和管理的需求。此外，集中式存儲可以通過高可用和負(fù)載均衡等技術(shù)來提高數(shù)據(jù)的可靠性和可用性。

目前，各類信創(chuàng)數(shù)據(jù)庫主流產(chǎn)品的存儲架構(gòu)分類可以分為本地存儲和集中式存儲兩種。從數(shù)據(jù)庫產(chǎn)品研發(fā)側(cè)先匯述下兩種存儲的架構(gòu)特點、設(shè)計難點和實現(xiàn)重點，通常如下：

1.本地存儲

特點：具有快速響應(yīng)、高性能、低延遲等優(yōu)勢，數(shù)據(jù)訪問速度快，能夠?qū)崿F(xiàn)實時數(shù)據(jù)交互和查詢，數(shù)據(jù)存儲量受本地計算機的硬件限制。設(shè)計難點和實現(xiàn)重點：

1) 數(shù)據(jù)安全性和可靠性。本地存儲需要保證數(shù)據(jù)的安全性和可靠性，防止數(shù)據(jù)丟失或被篡改。此外，需要定期備份數(shù)據(jù)，并確保數(shù)據(jù)的恢復(fù)能力。

2) 數(shù)據(jù)訪問速度。本地存儲需要快速響應(yīng)用戶的請求，保證數(shù)據(jù)訪問速度。為此，需要考慮到數(shù)據(jù)存儲結(jié)構(gòu)、索引設(shè)計、緩存機制、優(yōu)化算法等方面。

3) 數(shù)據(jù)存儲量。本地存儲容量受到計算機硬件的限制，需要優(yōu)化數(shù)據(jù)存儲和壓縮策略，以充分利用存儲空間。

2.集中式存儲

特點：具有數(shù)據(jù)共享、高可用性、負(fù)載均衡等優(yōu)勢。在金融行業(yè)中，集中式存儲常用于數(shù)據(jù)倉庫、風(fēng)險管理、交易處理等領(lǐng)域。

集中式存儲的架構(gòu)特點：

1) 數(shù)據(jù)安全性高，能夠進行集中管理和控制。

2) 數(shù)據(jù)存儲量大，能夠存儲大量的數(shù)據(jù)。

3) 數(shù)據(jù)備份和恢復(fù)容易，能夠快速恢復(fù)數(shù)據(jù)。

4) 數(shù)據(jù)訪問速度受網(wǎng)絡(luò)帶寬和服務(wù)器性能影響。

設(shè)計難點和實現(xiàn)重點：

1) 數(shù)據(jù)安全性和可靠性。需保證數(shù)據(jù)的安全性和可靠性，防止數(shù)據(jù)泄露和丟失。需要設(shè)立權(quán)限管理等措施，充分保護數(shù)據(jù)安全。

2) 數(shù)據(jù)訪問速度。需要快速響應(yīng)用戶的請求，保證數(shù)據(jù)訪問速度。需優(yōu)化網(wǎng)絡(luò)帶寬、服務(wù)器性能等。采用合理的傳輸協(xié)議、壓縮算法、加密算法來提高數(shù)據(jù)傳輸?shù)乃俣群桶踩浴?/span>

三、國產(chǎn)數(shù)據(jù)庫主流產(chǎn)品的存儲架構(gòu)

下面就TiDB、OceanBase、GoldenDB、GreatDB、Vastbase、達(dá)夢、GaussDB等主流數(shù)據(jù)庫在本地存儲和集中式存儲方面的存儲架構(gòu)、特點、設(shè)計難點和解決方案進行論述分析。

表1： 國產(chǎn)數(shù)據(jù)庫主流產(chǎn)品的存儲架構(gòu)比較

（*本文首發(fā)于2023年，涉及產(chǎn)品最新信息以廠商官網(wǎng)公布為準(zhǔn)）

四、國產(chǎn)數(shù)據(jù)庫產(chǎn)品在存儲架構(gòu)層的差異和方案

國產(chǎn)數(shù)據(jù)庫產(chǎn)品在存儲架構(gòu)層的差異主要體現(xiàn)在以下方面：

1) 存儲模式：本地存儲、集中式存儲、分布式存儲等存儲模式的不同，導(dǎo)致對數(shù)據(jù)一致性、數(shù)據(jù)訪問方式差異較大。

2) 存儲引擎選擇：關(guān)系型數(shù)據(jù)庫常采用B+Tree、LSM-Tree等索引結(jié)構(gòu)，而NoSQL數(shù)據(jù)庫則采用鍵值存儲、文檔存儲、列存儲等不同的存儲模式。

3) 數(shù)據(jù)分片策略：采用不同的數(shù)據(jù)分片策略，如基于數(shù)據(jù)量、基于節(jié)點數(shù)、基于業(yè)務(wù)類型等。

4) 優(yōu)化方式：存儲模式的改變，會導(dǎo)致SQL優(yōu)化、監(jiān)控方式的改變。

針對上述存儲層的差異性，不同信創(chuàng)國產(chǎn)數(shù)據(jù)庫產(chǎn)品通常有如下4個方面實現(xiàn)方案：

1) 強化分布式系統(tǒng)的一致性和可用性，采用Raft或Paxos等工程級分布式協(xié)議來實現(xiàn)數(shù)據(jù)同步和副本管理，加強故障處理機制和動態(tài)數(shù)據(jù)負(fù)載均衡。

2) 優(yōu)化存儲引擎的實現(xiàn)，采用混合存儲模式或LSM-Tree和B+Tree混合實現(xiàn)，加強數(shù)據(jù)壓縮和索引機制，提高數(shù)據(jù)存儲和檢索效率。

3) 設(shè)計多種分布式事務(wù)機制和數(shù)據(jù)分片策略，實現(xiàn)靈活的存儲模式和數(shù)據(jù)分片策略，提供優(yōu)化的數(shù)據(jù)備份和恢復(fù)機制。

4) 加強系統(tǒng)監(jiān)控和性能優(yōu)化，提供可視化的監(jiān)控和管理界面，優(yōu)化系統(tǒng)調(diào)優(yōu)和故障處理機制，增強監(jiān)管主動性。

五、兩種存儲架構(gòu)給數(shù)據(jù)庫自主可控帶來哪些挑戰(zhàn)

數(shù)據(jù)庫自主可控是指數(shù)據(jù)庫用戶擁有對自己的數(shù)據(jù)完全的掌控權(quán)，能夠自主控制數(shù)據(jù)的存儲、傳輸和使用等各個環(huán)節(jié)，對于信息安全和數(shù)據(jù)隱私保護非常重要。 在實現(xiàn)數(shù)據(jù)庫自主可控的過程中，面臨著如下主要挑戰(zhàn)：

1) 數(shù)據(jù)安全問題：金融行業(yè)的核心數(shù)據(jù)涉及到資金、賬戶等重要信息，必須保證數(shù)據(jù)庫的數(shù)據(jù)安全，如無法控制數(shù)據(jù)庫的訪問權(quán)限和安全配置，就會存在數(shù)據(jù)泄露或被篡改的風(fēng)險。

2) 數(shù)據(jù)隱私問題：金融行業(yè)的用戶信息涉及到個人隱私和法律法規(guī)等要求，必須保證數(shù)據(jù)庫的數(shù)據(jù)隱私，如無法保證數(shù)據(jù)隱私，就會存在違法風(fēng)險和用戶信任度下降。

3) 數(shù)據(jù)一致性問題：金融行業(yè)的交易數(shù)據(jù)要求高度一致性，任何數(shù)據(jù)的不一致都可能導(dǎo)致交易失敗或損失，必須保證數(shù)據(jù)庫的數(shù)據(jù)一致性，如果無法保證數(shù)據(jù)一致性，就會存在交易失敗或損失的風(fēng)險。

針對上述挑戰(zhàn)，采取的措施通常有：

1) 選擇合適的存儲方式。對安全性和可靠性要求較高的業(yè)務(wù)，建議采用集中式存儲方式；對訪問速度要求較高的業(yè)務(wù)，建議采用本地存儲方式。

2) 優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)和索引，以提高數(shù)據(jù)的查詢速度和響應(yīng)時間。此外，采用緩存等技術(shù)，減少數(shù)據(jù)庫的訪問次數(shù)，提高訪問效率。

3) 優(yōu)化數(shù)據(jù)存儲和壓縮策略，充分利用存儲空間。此外，定期備份數(shù)據(jù)，并確保數(shù)據(jù)的恢復(fù)能力。

4) 設(shè)立權(quán)限管理等措施，以充分保護數(shù)據(jù)安全。此外，建議采用加密等技術(shù)，提高數(shù)據(jù)的安全性和可靠性。

5) 強化數(shù)據(jù)庫的訪問權(quán)限和安全配置，采用加密、身份認(rèn)證、權(quán)限控制等措施，保障數(shù)據(jù)安全和隱私。

6) 采用多副本機制和分布式事務(wù)機制，保證數(shù)據(jù)的一致性和可恢復(fù)性。

7) 加強數(shù)據(jù)庫監(jiān)控和管理，及時發(fā)現(xiàn)和處理數(shù)據(jù)異常和故障，提高系統(tǒng)的可用性和穩(wěn)定性。

8) 采用存算分離架構(gòu)，利用存儲的可靠性、安全性，結(jié)合共享存儲架構(gòu)，提高數(shù)據(jù)庫的性能及可靠性。

六、總結(jié)

總體來說，因采用的存儲架構(gòu)和技術(shù)不同，數(shù)據(jù)庫產(chǎn)品均面臨著類似如負(fù)載均衡、數(shù)據(jù)同步、數(shù)據(jù)恢復(fù)等問題和難點。針對這些難點，當(dāng)前較優(yōu)的解決思路包括采用存算分離架構(gòu)，保證數(shù)據(jù)的可靠性和擴展性；采用分布式事務(wù)和多副本備份等技術(shù)，以保證數(shù)據(jù)的一致性和可靠性；采用智能調(diào)度和負(fù)載均衡等技術(shù)，以提高節(jié)點之間的負(fù)載均衡和數(shù)據(jù)同步效率；采用緩存技術(shù)和分布式查詢優(yōu)化等技術(shù)，以提高存儲的性能和可擴展性。

相關(guān)文章  各類信創(chuàng)數(shù)據(jù)庫產(chǎn)品在存儲架構(gòu)層有哪些差異？給數(shù)據(jù)庫自主可控帶來哪些挑戰(zhàn)？  點擊文末閱讀原文可讀

覺得本文有用，請 轉(zhuǎn)發(fā)、點贊 或點擊“ 賞 ”，讓更多同行看到

*本公眾號所發(fā)布內(nèi)容僅代表作者觀點，不代表社區(qū)立場