【摘要】
本文介紹了IBM DS8100存儲(chǔ)替換為國(guó)產(chǎn)華為閃存存儲(chǔ)的一個(gè)實(shí)踐案例。在當(dāng)前各行各業(yè)的關(guān)鍵業(yè)務(wù)大力推行國(guó)產(chǎn)化自主可控設(shè)備替代的背景下，我行也在國(guó)產(chǎn)化設(shè)備替代方面進(jìn)行探索和改革。通過從需求分析、項(xiàng)目建設(shè)難點(diǎn)、設(shè)備選配、數(shù)據(jù)遷移以及實(shí)踐效果等方面的著重介紹了我行社在替代過程的各個(gè)階段所遇到的問題和解決思路。希望本文能為同行在國(guó)產(chǎn)化設(shè)備替代的進(jìn)程中起到拋磚引玉的作用。
【作者】關(guān)洋，
目前就職于某省級(jí)農(nóng)信信息科技部，主要負(fù)責(zé)數(shù)據(jù)中心的服務(wù)器和存儲(chǔ)設(shè)備等關(guān)鍵基礎(chǔ)設(shè)施的運(yùn)維工作，善于處理AIX和Linux系統(tǒng)方面的故障問題，在金融行業(yè)運(yùn)維10余年，擁有IBM CATE專家技術(shù)認(rèn)證。
一、前言
金融行業(yè)是中國(guó)信息化建設(shè)中最重要的一個(gè)行業(yè)，也是我國(guó)信息化建設(shè)程度最高的一個(gè)行業(yè)，IT技術(shù)已經(jīng)成為金融企業(yè)的生命。目前，互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能等新一代信息技術(shù)不斷取得突破，金融科技發(fā)展正迎來浪潮，金融與科技深度融合已經(jīng)成為一種趨勢(shì)。銀行業(yè)作為金融領(lǐng)域的重要組成部分，銀行業(yè)的IT建設(shè)也將得到飛速發(fā)展。在此背景下，國(guó)家出臺(tái)了一系列相關(guān)政策，為銀行IT行業(yè)的發(fā)展提供政策助力，同時(shí)鼓勵(lì)相關(guān)金融機(jī)構(gòu)大力推廣及使用國(guó)產(chǎn)化自主可控的相關(guān)軟硬件產(chǎn)品進(jìn)行信息系統(tǒng)的更新迭代和項(xiàng)目建設(shè)。
二、建設(shè)背景
我行數(shù)據(jù)中心信貸系統(tǒng)一直使用的是IBM小型機(jī)服務(wù)器、Informix數(shù)據(jù)庫(kù)和IBM DS8100存儲(chǔ)。但是隨著時(shí)間的推移和業(yè)務(wù)數(shù)據(jù)的增長(zhǎng)，IBM DS8100存儲(chǔ)容量、IOPS等無法滿足業(yè)務(wù)增長(zhǎng)需求，同時(shí)根據(jù)本行設(shè)備生命周期管理辦法的相關(guān)規(guī)定，對(duì)于重要信息系統(tǒng)的設(shè)備使用周期最長(zhǎng)不應(yīng)超過6年。而當(dāng)前存儲(chǔ)已經(jīng)使用9年，設(shè)備故障處于高發(fā)期，對(duì)于該設(shè)備IBM廠家也已經(jīng)停止更新支持。綜述考慮該存儲(chǔ)設(shè)備已經(jīng)沒有擴(kuò)容的必要性，建議及時(shí)更新系統(tǒng)存儲(chǔ)。
三、需求分析
本次存儲(chǔ)更新工作需要在重要信息系統(tǒng)上進(jìn)行國(guó)產(chǎn)化設(shè)備替代的嘗試工作、滿足監(jiān)管對(duì)信息數(shù)據(jù)安全的要求、選擇的產(chǎn)品支持多種存儲(chǔ)協(xié)議合一的設(shè)備、支持多種數(shù)據(jù)場(chǎng)景的使用、支持滿足多種磁盤類型合一的設(shè)備、支持免網(wǎng)關(guān)的SAN及NAS一體化雙活場(chǎng)景配置、控制器升級(jí)全場(chǎng)無中斷滿足高業(yè)務(wù)連續(xù)性要求、同時(shí)要求所選產(chǎn)品有強(qiáng)大的后臺(tái)研發(fā)技術(shù)支持團(tuán)隊(duì)，對(duì)客戶突發(fā)情況有及時(shí)的現(xiàn)成響應(yīng)能力等。
四、項(xiàng)目建設(shè)難點(diǎn)
1、項(xiàng)目建設(shè)的集成商和存儲(chǔ)設(shè)備廠商是否能夠提供存儲(chǔ)數(shù)據(jù)遷移完整的解決方案，滿足數(shù)據(jù)遷移過程中客戶的個(gè)性化需求，保證數(shù)據(jù)遷移過程中業(yè)務(wù)無中斷、零感知操作；
2、存儲(chǔ)的兼容性，是否能夠滿足多種操作系統(tǒng)的存儲(chǔ)需求，是否能夠提供不同操作系統(tǒng)平臺(tái)的專用多路徑軟件，同時(shí)滿足SAN存儲(chǔ)使用的FC協(xié)議、NAS存儲(chǔ)使用的NFS協(xié)議和iSCSI協(xié)議等多種協(xié)議的連接需求；
3、如何在遷移過程中有效的保證數(shù)據(jù)完整性和一致性要求；
4、遷移過程中，存儲(chǔ)需要有充足的IO資源保證遷移操作的IO對(duì)現(xiàn)有正常業(yè)務(wù)產(chǎn)生的IO無影響；
補(bǔ)充說明：在所有廠家交流過程中都是保障沒有問題的，但后續(xù)往往落地的時(shí)候都會(huì)出現(xiàn)各種交付問題，不得不花費(fèi)大量人力與精力參與問題的解決。
五、設(shè)備選配
在嘗試國(guó)產(chǎn)化設(shè)備替代的情況下，根據(jù)如下幾點(diǎn)要求進(jìn)行了相關(guān)設(shè)備的選型工作。
1、要求國(guó)內(nèi)主流存儲(chǔ)品牌，國(guó)內(nèi)存儲(chǔ)占有率排名靠前；
2、要求該品牌在國(guó)內(nèi)有強(qiáng)大的研發(fā)團(tuán)隊(duì)，能隨時(shí)在最短時(shí)間內(nèi)響應(yīng)客戶需求；
3、要求該品牌在設(shè)備使用地區(qū)有專門的技術(shù)服務(wù)團(tuán)隊(duì)，團(tuán)隊(duì)人數(shù)不得少于10人等。
在跟國(guó)內(nèi)多家主流存儲(chǔ)品牌廠商交流后，同時(shí)根據(jù)當(dāng)前的項(xiàng)目建設(shè)預(yù)算綜合評(píng)定后，最后選擇了華為存儲(chǔ)。存儲(chǔ)型號(hào)選擇的是1臺(tái)華為OceanStor 5500F、2臺(tái)華為OceanStor 5500。存儲(chǔ)為統(tǒng)一存儲(chǔ)，支持雙活模式?？紤]業(yè)務(wù)負(fù)載情況和最終的使用，決定把SAN存儲(chǔ)和NAS存儲(chǔ)功能分開使用。
六、數(shù)據(jù)遷移過程
1、存儲(chǔ)更新前系統(tǒng)架構(gòu)模式
|
|
|
|
|
|
|
|
|
AIX6.1，informi11，數(shù)據(jù)庫(kù)的存儲(chǔ)盤是使用的裸設(shè)備，通過HACMP實(shí)現(xiàn)雙機(jī)主備冗余模式,劃分到系統(tǒng)磁盤100GB |
|
|
|
|
|
|
|
64塊146GB 15K FC磁盤
64塊300GB 15K FC磁盤
|
存儲(chǔ)Raid模式采用Raid5，實(shí)際可用容量20TB。
理論IOPS不超過10w。
|
|
|
|
在當(dāng)前機(jī)構(gòu)下的所有設(shè)備，主機(jī)端口、存儲(chǔ)端口都是8Gbps SFP |
兩臺(tái)Power750服務(wù)器通過HACMP實(shí)現(xiàn)雙機(jī)冗余互備模式，Informix數(shù)據(jù)庫(kù)的存儲(chǔ)磁盤使用lv裸設(shè)備，通過HACMP進(jìn)行對(duì)共享卷組的遷移實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)在兩臺(tái)設(shè)備上的主備冗余，實(shí)現(xiàn)數(shù)據(jù)庫(kù)高可用模式。當(dāng)發(fā)生主機(jī)故障時(shí)，可以通過手動(dòng)或者自動(dòng)切換卷組。系統(tǒng)的共享文件夾通過共享卷組創(chuàng)建，使用NFS協(xié)議進(jìn)行文件夾導(dǎo)出使用。該系統(tǒng)上線的時(shí)間大約在2010左右，所以架構(gòu)上使用的IBM最傳統(tǒng)的HA冗余架構(gòu)。該系統(tǒng)為信貸管理系統(tǒng)，負(fù)責(zé)全省的個(gè)貸和對(duì)公業(yè)務(wù)，存儲(chǔ)性能基本可以滿足正常業(yè)務(wù)需求，及時(shí)是夜間批量時(shí)間。
但是隨著存儲(chǔ)使用年限的增加，該存儲(chǔ)故障率逐年增高，廠家也不在對(duì)該設(shè)備進(jìn)行技術(shù)支持，對(duì)業(yè)務(wù)連續(xù)性帶來巨大挑戰(zhàn)，同時(shí)由于國(guó)產(chǎn)化設(shè)備替代工作的不斷推進(jìn)，進(jìn)而需要采購(gòu)新的存儲(chǔ)對(duì)其進(jìn)行替代工作。
4、存儲(chǔ)更新后的系統(tǒng)架構(gòu)
|
|
|
|
|
|
|
|
|
SAN存儲(chǔ)，用于更新DS8100，主用于信貸系統(tǒng)數(shù)據(jù)庫(kù)。采用的Raid5模式，實(shí)際可用容量約86TB，理論IOPS約30w。 |
|
|
|
|
NAS存儲(chǔ)，實(shí)現(xiàn)NAS雙活模塊，分別位于生產(chǎn)數(shù)據(jù)中心和同城數(shù)據(jù)中心 |
|
|
|
|
本次更新把業(yè)務(wù)層面使用的存儲(chǔ)功能徹底分開，使SAN功能和NAS功能分別使用不同的專用存儲(chǔ)。同時(shí)也可以為其它后續(xù)建設(shè)的業(yè)務(wù)系統(tǒng)提供相關(guān)的存儲(chǔ)資源。
更新SAN存儲(chǔ)時(shí)，廠家優(yōu)先建議通過存儲(chǔ)自身的存儲(chǔ)虛擬化功能進(jìn)行業(yè)務(wù)遷移，可以有效保障數(shù)據(jù)一致性的問題。但是這種方法要求存儲(chǔ)業(yè)務(wù)需要中斷一次，無法滿足信貸信息系統(tǒng)的高業(yè)務(wù)連續(xù)性需求。存儲(chǔ)同步功能也會(huì)要求新存儲(chǔ)的磁盤和老存儲(chǔ)的磁盤的容量大小一致，由于原先的存儲(chǔ)LUN為100GB，如果在新存儲(chǔ)上仍然使用100GB一個(gè)LUN，對(duì)于后期數(shù)據(jù)庫(kù)擴(kuò)容時(shí)，增加了系統(tǒng)管理人員的操作難度和在擴(kuò)容過程中可能存在對(duì)業(yè)務(wù)正常io的影響。因?yàn)榉峙涞较到y(tǒng)上的磁盤將會(huì)多達(dá)150多塊（操作系統(tǒng)本身是支持的），HACMP每次往共享卷組中增加磁盤同步的時(shí)候，都會(huì)把所有pv、lv等信息同步一遍，卷組中的pv和lv等越多，同步所花費(fèi)的時(shí)間就會(huì)越長(zhǎng)，可能會(huì)出現(xiàn)過多的io等待。最后決定使用AIX自身的LVM功能實(shí)現(xiàn)數(shù)據(jù)的遷移。
遷移過程中，新存儲(chǔ)劃分500GB一個(gè)LUN（便于后期的系統(tǒng)維護(hù)），系統(tǒng)識(shí)別后，通過rendev命令對(duì)新磁盤重新命名，防止后續(xù)操作中磁盤過多發(fā)生誤操作。原卷組中增加的磁盤總?cè)萘看笥谠芯斫M容量即可，通過HACMP中的C-SPOC功能把新盤添加到共享卷組中，使用LVM的mirrorvg功能對(duì)存在的lv裸設(shè)備進(jìn)行鏡像對(duì)復(fù)制，當(dāng)全部復(fù)制完成后，對(duì)DS8100的磁盤進(jìn)行unmirrorvg操作，并從共享卷組中剔除原有磁盤，系統(tǒng)層面進(jìn)行刪除磁盤操作。后續(xù)進(jìn)行取消主機(jī)映射操作。至此，SAN存儲(chǔ)更新全部完成，由于該系統(tǒng)的磁盤數(shù)據(jù)過多，同步操作過程中并不需要人工干預(yù)，為了降低復(fù)制過程中對(duì)現(xiàn)有正常業(yè)務(wù)正常IO的影響，本次操作基本上是全部在周末和夜間完成，最終間斷性花了3天時(shí)間全部完成，實(shí)現(xiàn)業(yè)務(wù)層面零感知的存儲(chǔ)切換。
新NAS存儲(chǔ)功能上線，本次NAS存儲(chǔ)建設(shè)時(shí)，考慮到了生產(chǎn)和同城的容災(zāi)需求，最終按照雙活模式進(jìn)行系統(tǒng)建設(shè)。本次建設(shè)存儲(chǔ)的前端口均使用萬兆網(wǎng)卡，并配置聚合模式增加網(wǎng)絡(luò)帶寬，使用4條復(fù)制鏈路，仲裁選擇在生產(chǎn)中心（從網(wǎng)絡(luò)安全角度，未考慮第三站點(diǎn)）。在進(jìn)行數(shù)據(jù)遷移過程中，由于原有的NFS服務(wù)端為AIX系統(tǒng)，客戶端為L(zhǎng)inux系統(tǒng)。為了便于遷移，先把華為存儲(chǔ)的共享目錄掛載在客戶端臨時(shí)目錄下，通過rsync命令進(jìn)行數(shù)據(jù)可增量復(fù)制。在進(jìn)行NAS切換時(shí)，需要短暫的業(yè)務(wù)中斷，應(yīng)用停止后，進(jìn)行最后一次rsync數(shù)據(jù)同步操作，同步完成，進(jìn)行目錄切換。至此，原NFS共享目錄成功切換至NAS存儲(chǔ)上。
該階段的特點(diǎn)：一是對(duì)存儲(chǔ)兼容性要求低；二是對(duì)業(yè)務(wù)現(xiàn)有拓?fù)浣Y(jié)構(gòu)改動(dòng)較小，本場(chǎng)景下可以無中斷或者中斷時(shí)間較短遷移；三是通過HACMP和AIX LVM功能進(jìn)行遷移數(shù)據(jù)，會(huì)占有部分服務(wù)器資源；四是SAN遷移過程中，業(yè)務(wù)不會(huì)中斷，可以持續(xù)進(jìn)行，但會(huì)有性能損耗；五是使用rsync命令可以進(jìn)行增量復(fù)制，不需要考慮已經(jīng)復(fù)制過的目錄有新數(shù)據(jù)寫入，產(chǎn)生的數(shù)據(jù)不一致情況。
七、實(shí)踐效果
存儲(chǔ)遷移后系統(tǒng)運(yùn)行良好，未出現(xiàn)影響業(yè)務(wù)系統(tǒng)正常運(yùn)行的情況。華為的國(guó)產(chǎn)化存儲(chǔ)設(shè)備已經(jīng)滿足金融機(jī)構(gòu)多場(chǎng)景的使用需求。當(dāng)前我行社投入使用的華為OceanStor 5500F 存儲(chǔ)最大IOPS可以支持到30w+，除了運(yùn)行信貸管理系統(tǒng)外，像涉農(nóng)信息系統(tǒng)等其余9套系統(tǒng)均在此存儲(chǔ)上運(yùn)行使用，通過存儲(chǔ)監(jiān)控軟件分析目前最大IOPS使用率才不到8w，系統(tǒng)性能良好，后續(xù)可以通過擴(kuò)容磁盤的方式進(jìn)一步提高存儲(chǔ)的IOPS能力。由于當(dāng)前架構(gòu)內(nèi)的SAN導(dǎo)向器的端口為8Gbps，限制了高帶寬需求，個(gè)別時(shí)間段有部分存儲(chǔ)端口利用率達(dá)85%，后續(xù)可以通過更新SAN導(dǎo)向器來降低存儲(chǔ)端口利用率。同時(shí)我行社投入使用的華為OceanStor 5500一套雙活NAS存儲(chǔ)，目前已經(jīng)接入業(yè)務(wù)系統(tǒng)達(dá)30套，其中重保系統(tǒng)有10套左右，系統(tǒng)運(yùn)行良好。業(yè)務(wù)高峰時(shí)，OPS使用率不超過2000，帶寬利用率不超過200MB/s，系統(tǒng)資源非常充足。
實(shí)踐使用建議：一是SAN存儲(chǔ)購(gòu)買時(shí)，前端口不建議低于16Gb，保證系統(tǒng)有充足的前端口，充分發(fā)揮存儲(chǔ)性能；二是華為存儲(chǔ)選型時(shí)，對(duì)于金融機(jī)構(gòu)的信息系統(tǒng)使用時(shí)，不建議存儲(chǔ)型號(hào)低于華為OceanStor 5500系列且Cache容量不低于256GB，因存儲(chǔ)的小系統(tǒng)內(nèi)存無法手動(dòng)分配，其根據(jù)存儲(chǔ)型號(hào)和Cache不同而大小不同，小系統(tǒng)內(nèi)存不足時(shí)會(huì)造成控制器宕機(jī)重啟（每個(gè)控制器的小系統(tǒng)相對(duì)獨(dú)立），及時(shí)存儲(chǔ)的磁盤資源和Cache資源都充足的情況下，對(duì)于業(yè)務(wù)連續(xù)性會(huì)產(chǎn)生影響。三是NAS存儲(chǔ)購(gòu)買時(shí)，前端口不建議低于10Gb，保證系統(tǒng)有充足的前端口，不但可以提高帶寬負(fù)載，而且可以實(shí)現(xiàn)用于不同的網(wǎng)絡(luò)區(qū)域。四是NAS的仲裁網(wǎng)絡(luò)網(wǎng)關(guān)與復(fù)制鏈路網(wǎng)絡(luò)網(wǎng)關(guān)盡量屬于不同的網(wǎng)關(guān)設(shè)備，防止極端情況下，網(wǎng)關(guān)設(shè)備故障，造成仲裁網(wǎng)絡(luò)與復(fù)制網(wǎng)絡(luò)同時(shí)不可用，進(jìn)而影響業(yè)務(wù)不可用的情況發(fā)生；五是在配置NAS共享目錄客戶端IP地址的時(shí)，盡量填寫具體IP地址，便于后期共享目錄回收時(shí)，方便查找客戶端服務(wù)器。
八、總結(jié)
存儲(chǔ)遷移方案有很多，需要根據(jù)現(xiàn)有的業(yè)務(wù)環(huán)境以及停機(jī)窗口要求進(jìn)行擇優(yōu)選擇適用于當(dāng)前場(chǎng)景的方法。對(duì)于金融機(jī)構(gòu)來講，數(shù)據(jù)的安全永遠(yuǎn)是第一位的。
點(diǎn)擊文末
閱讀原文
，可以到原文下留言交流
覺得本文有用，請(qǐng)
轉(zhuǎn)發(fā)、點(diǎn)贊
或點(diǎn)擊
“賞”
，讓更多同行看到
-
證券企業(yè)基于華為全閃存存儲(chǔ)實(shí)踐經(jīng)驗(yàn)分享
-
內(nèi)蒙古農(nóng)信社基于國(guó)產(chǎn)高端全閃存的存儲(chǔ)同城容災(zāi)建設(shè)實(shí)踐
-
全閃存儲(chǔ)在銀行核心系統(tǒng)的應(yīng)用及實(shí)踐
-
全閃存儲(chǔ)在銀行核心高可用系統(tǒng)中的應(yīng)用：部署實(shí)踐及跑批性能提升實(shí)測(cè)
歡迎關(guān)注社區(qū)
“存儲(chǔ)”技術(shù)主題
，將會(huì)不斷更新優(yōu)質(zhì)資料、文章。地址：
https://www.talkwithtrend.com/Channel/179
下載 twt 社區(qū)客戶端 APP
長(zhǎng)按識(shí)別二維碼即可下載
或到應(yīng)用商店搜索“twt”
長(zhǎng)按二維碼關(guān)注公眾號(hào)
*本公眾號(hào)所發(fā)布內(nèi)容僅代表作者觀點(diǎn)，不代表社區(qū)立場(chǎng)
；封面圖片由版權(quán)圖庫(kù)授權(quán)使用
