摘要：臨近年中，銀行重要系統(tǒng)的建設(shè)進(jìn)入投產(chǎn)沖刺階段，本次上線又有多個(gè)系統(tǒng)對(duì)接，為了優(yōu)化集群資源分配，引發(fā)了這次分享的主題線上系統(tǒng)的縮容的遷移，本文主要針對(duì)本次的縮容遷移過(guò)程進(jìn)行梳理總結(jié)。

作者：Dan
本文轉(zhuǎn)載自公眾號(hào)「白噪聲OG」。

經(jīng)歷了上禮拜漫長(zhǎng)的上線周期，終于有時(shí)間總結(jié)一下期間發(fā)生的故事。TiDB 是一款非常優(yōu)秀的國(guó)產(chǎn)分布式 NewSQL 數(shù)據(jù)庫(kù)，因其支持水平擴(kuò)展性、強(qiáng)一致性、高可用性，從 18 年 3 月起已在國(guó)內(nèi)銀行的賬務(wù)、支付類核心系統(tǒng)得到應(yīng)用。

臨近年中，銀行重要系統(tǒng)的建設(shè)進(jìn)入投產(chǎn)沖刺階段，本次上線又有多個(gè)系統(tǒng)對(duì)接 TiDB，為了優(yōu)化集群資源分配，引發(fā)了這次分享的主題——線上系統(tǒng) TiKV 的縮容、region 的遷移，本文主要針對(duì)本次 TiKV 的縮容、遷移過(guò)程進(jìn)行梳理總結(jié)。

TiDB 數(shù)據(jù)庫(kù)的擴(kuò)容已在官方文檔進(jìn)行了詳細(xì)的說(shuō)明（https://pingcap.com/docs-cn/op-guide/horizontal-scale/）并被各路大咖廣泛提及，但縮容遷移并在銀行交易系統(tǒng)上的實(shí)踐卻少有分享，這也是本文的目的之一。

進(jìn)入主題，先交代下環(huán)境，服務(wù)器集群采用 NVMe+SSD 的存儲(chǔ)方案構(gòu)建了 16 個(gè) TiKV 實(shí)例，作為重要的核心支付類系統(tǒng)，兩地三中心五副本不可少，每個(gè) TiKV 上 8K+ 個(gè) region。整個(gè)遷移過(guò)程歷時(shí) 5 個(gè)小時(shí)，過(guò)程中沒(méi)有停止系統(tǒng)對(duì)外服務(wù)，很是順滑平穩(wěn)。

接下來(lái)還是看一下遷移的過(guò)程：

（一） TiKV 采用 Raft 一致性算法保證副本強(qiáng)一致性，遷移過(guò)程本質(zhì)上是擴(kuò)容的逆過(guò)程，確定下線的 TiKV 打上 label 后，將 region 搬移到最終保留下來(lái)的 TiKV 上。

（二） 接下來(lái)聚焦 region 1 的 Raft Group，對(duì)其副本進(jìn)行搬移，實(shí)際上所有 region 的數(shù)據(jù)是一樣的，只是在保留的 TiKV 內(nèi)進(jìn)行 region 數(shù)據(jù)的復(fù)制，新產(chǎn)生的副本由于數(shù)據(jù)不完整，作為 Raft Group 中的 learner。

（三） Learner 創(chuàng)建后，PD 會(huì)在這樣的一個(gè) Raft Group（5 個(gè)全副本 region + 2 個(gè) learner）中發(fā)起選舉：

選舉會(huì)增加 label 限制，確保 leader 最終在保留的 TiKV 中產(chǎn)生；

由于 learner 沒(méi)有投票權(quán)，選舉實(shí)際還是個(gè) 5 副本選主，多數(shù)派 (N+1)/2 仍為 3。

（四） 這樣新的 leader 選出來(lái)了，當(dāng)兩個(gè)新副本數(shù)據(jù)追平后，將刪除下線 TiKV 中的 region。

（五） 這樣一個(gè)新的 5 副本 Raft Group 我們就獲得了。

這里再說(shuō)幾點(diǎn)：

1. 磁盤 IO 對(duì)遷移的效率影響還是很大的，測(cè)試環(huán)境使用普通的 SAS 盤，在更高并發(fā)的條件下，耗時(shí)長(zhǎng)了很多。

2.（二）、（三）、（四）的過(guò)程并非原子化操作，當(dāng)然 learner 的數(shù)據(jù)本身也不具備一致性，但對(duì) raft 的改造最終要保證一致性，與 PingCAP 的開發(fā)同學(xué)確認(rèn)后，這些會(huì)在之后加入。

3. 我認(rèn)為最有意思，也最有意義的一點(diǎn)，learner 的引入是本次遷移過(guò)程中非常巧妙的設(shè)計(jì)，解決了數(shù)據(jù)不一致副本在選舉過(guò)程中的尷尬地位，而 learner 也是 Multi-Raft 協(xié)議中的重要角色，HTAP 引擎 TiFlash&TiSpark 也以此引入列存副本，非常期待?TiDB 3.0。

PS：本次上線的重頭戲 Cloud TiDB 在平穩(wěn)運(yùn)行后，希望有機(jī)會(huì)進(jìn)行總結(jié)分享。TiDB 自上線后實(shí)現(xiàn)了多次重要變更操作，均未暫停系統(tǒng)對(duì)外服務(wù)，從一只開發(fā)狗的角度看 TiDB 在金融級(jí) NewSQL 數(shù)據(jù)庫(kù)的方向上的確投入了很多。

最后，感謝 PingCAP Gin 同學(xué)和研發(fā)大神們的支持，感謝運(yùn)維爸爸們直到凌晨 4 點(diǎn)的奮斗。