數(shù)據(jù)庫的分庫分表

elarity 發(fā)布于2019-08-16 18:37 / 1037人閱讀

摘要：如成千上萬的螞蟻完成一項搬運工作縱向擴展又叫垂直擴展，擴展一個點的能力支撐更大的請求。如利用個人的能力，如蜘蛛俠逼?；疖噮⒖挤謳旆直淼幕舅枷?/p>

一概念:什么是分庫分表(sharding)

1 將集中于單一節(jié)點的數(shù)據(jù)拆分并分別存儲到多個數(shù)據(jù)庫或表,稱為分庫分表
2 數(shù)據(jù)切分分為兩種方式,垂直切分和水平切分
3 分庫:因為表多導致數(shù)據(jù)過多使用垂直切分,垂直切分就是根據(jù)業(yè)務的耦合性,將關聯(lián)度低的不同表存儲在不同的數(shù)據(jù)庫,按照業(yè)務分離進行獨立存儲
4 分表:每張表的數(shù)據(jù)非常多適合使用水平切分,即把表的數(shù)據(jù)按某種規(guī)則切分到多個數(shù)據(jù)庫上

二用途:分庫分表用來解決什么問題

數(shù)據(jù)庫面對海量數(shù)據(jù)由于數(shù)據(jù)量過大導致的性能問題

三用例:具體的使用用例,解決了什么典型問題

Sharding的基本思想就要把一個數(shù)據(jù)庫切分成多個部分方法哦不同的數(shù)據(jù)庫server上,從而緩解單一數(shù)據(jù)庫的性能問題,

中間件

當當 sharding-jdbc

蘑菇街 TSharding

sharding

TDDL Smart Client的方式 -- 淘寶

Atlas -- 360

alibaba.cobar 阿里巴巴B2B

MyCat 基于阿里開源的Cobar

Oceanus 58同城

OneProxy 支付寶首席架構師樓方鑫

vitess 谷歌

分庫分表后會遇到什么問題?

事務問題方案一,使用分布式事務. 方案二, 由應用程序和數(shù)據(jù)庫共同控制

跨節(jié)點Join的問題方案,兩次查詢第一次找出關聯(lián)數(shù)據(jù)的ID,第二次根據(jù)這些ID獲得關聯(lián)數(shù)據(jù)

跨節(jié)點的count,order by,group by以及聚合函數(shù)問題方案,并行在各節(jié)點上查詢?nèi)缓蠛喜⒔Y果

數(shù)據(jù)遷移,容量規(guī)劃,擴容問題

       來自淘寶綜合業(yè)務平臺團隊，它利用對2的倍數(shù)取余具有向前兼容的特性（如對4取余得1的數(shù)對2取余也是1）來分配數(shù)據(jù)，避免了行級別的數(shù)據(jù)遷移，但是依然需要進行表級別的遷移，同時對擴容規(guī)模和分表數(shù)量都有限制。總得來說，這些方案都不是十分的理想，多多少少都存在一些缺點，這也從一個側面反映出了Sharding擴容的難度

ID問題

UUID , 結合數(shù)據(jù)庫維護一個Sequence , [Twitter的分布式自增ID算法Snowflake][1]

跨分片的排序分頁方案,限制能查看的頁數(shù),一定要查看可縮小范圍重新查看

分庫策略根據(jù)數(shù)值取模

分庫數(shù)量初次建議 4 - 8

路由透明

使用框架還是自主研發(fā)

擴容

  //TODO

四其他解決方案

主從  讀寫分離  緩存

五熟悉原理,重新實現(xiàn)

//TODO

備注

1 , 橫向擴展也叫水平擴展，用更多的節(jié)點支撐更大量的請求。如成千上萬的螞蟻完成一項搬運工作
2 , 縱向擴展又叫垂直擴展，擴展一個點的能力支撐更大的請求。如利用1個人的能力，如蜘蛛俠逼?；疖?br> 3 , 參考分庫分表的基本思想

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/75462.html

一次難得的分庫分表實踐

摘要：煩人的數(shù)據(jù)遷移分表規(guī)則弄好后其實只是完成了分表的第一步，真正麻煩的是數(shù)據(jù)遷移，或者說是如何做到對業(yè)務影響最小的數(shù)據(jù)遷移。 showImg(https://segmentfault.com/img/remote/1460000020003851?w=1920&h=1080); 背景前不久發(fā)過兩篇關于分表的文章：一次分表踩坑實踐的探討分表后需要注意的二三事從標題可以看得出來，當...

Harpsichord1207 2019-08-19 10:22 評論0 收藏0
“分庫分表" ？選型和流程要慎重，否則會失控

摘要：但你是否知道分庫分表需要哪些要素拆分過程是復雜的，提前計劃，不要等真正開工，各種意外的工作接踵而至，以至失控。在實施分庫分表策略時，這些個性會造成策略過大不好維護。更多文章關注微信公眾號《小姐姐味道》 https://mp.weixin.qq.com/s?__... 數(shù)據(jù)庫中間件之分庫分表恭喜你，貴公司終于成長到一定規(guī)模，需要考慮高可用，甚至分庫分表了。但你是否知道分庫分表需要哪...

archieyang 2019-08-16 13:56 評論0 收藏0
Furion分表分庫我也要happy coding

摘要：分表分庫集成易用簡單高性能普適性，是一款擴展針對生態(tài)下的分表分庫的擴展解決方案支持的所有版本支持的所有數(shù)據(jù)庫支持自定義路由動態(tài)路由高性能分頁讀寫分離的一款組件，如果你喜歡這組件或者這個組件對你有幫助請點擊下發(fā)讓更多的可以看到使用助力生態(tài) Furion分表分庫集成ShardingCore ShardingCore ShardingCore 易用、簡單、高性能、普適性，是一款擴展針對efcor...

KnewOne 2021-11-24 09:39 評論0 收藏0
金幣（積分）商城架構漫談

摘要：開篇金幣積分商城下稱商城是眾多內(nèi)的一個產(chǎn)品，隨著使用的用戶越來越多，商城對于用戶留存的提升，扮演著重要的角色做為提高用戶黏性的核心產(chǎn)品，在擁有很好用戶體驗的同時，也必須存在著一個高效穩(wěn)定的系統(tǒng)。分析上述兩點，得到結論按用戶進行分庫分表。開篇金幣（積分）商城（下稱商城）是眾多App內(nèi)的一個產(chǎn)品，隨著App使用的用戶越來越多，商城對于用戶留存的提升，扮演著重要的角色；做為提高用戶黏性的...

Ethan815 2019-08-14 18:35 評論0 收藏0