資訊專欄INFORMATION COLUMN
摘要：能不能支持數(shù)據(jù)丟失啊可以的，參考我們之前說的那個數(shù)據(jù)零丟失方案其實一個肯定是很復雜的，其實這是個開放題，就是看看你有沒有從架構(gòu)角度整體構(gòu)思和設(shè)計的思維以及能力。
其實回答這類問題，說白了，起碼不求你看過那技術(shù)的源碼，起碼你大概知道那個技術(shù)的基本原理，核心組成部分，基本架構(gòu)構(gòu)成，然后參照一些開源的技術(shù)把一個系統(tǒng)設(shè)計出來的思路說一下就好
比如說這個消息隊列系統(tǒng)，我們來從以下幾個角度來考慮一下
（1）首先這個mq得支持可伸縮性吧，就是需要的時候快速擴容，就可以增加吞吐量和容量，那怎么搞？設(shè)計個分布式的系統(tǒng)唄，參照一下kafka的設(shè)計理念，broker -> topic -> partition，每個partition放一個機器，就存一部分數(shù)據(jù)。如果現(xiàn)在資源不夠了，簡單啊，給topic增加partition，然后做數(shù)據(jù)遷移，增加機器，不就可以存放更多數(shù)據(jù)，提供更高的吞吐量了？
（2）其次你得考慮一下這個mq的數(shù)據(jù)要不要落地磁盤吧？那肯定要了，落磁盤，才能保證別進程掛了數(shù)據(jù)就丟了。那落磁盤的時候怎么落?。宽樞?qū)懀@樣就沒有磁盤隨機讀寫的尋址開銷，磁盤順序讀寫的性能是很高的，這就是kafka的思路。
（3）其次你考慮一下你的mq的可用性?。窟@個事兒，具體參考我們之前可用性那個環(huán)節(jié)講解的kafka的高可用保障機制。多副本 -> leader & follower -> broker掛了重新選舉leader即可對外服務(wù)。
（4）能不能支持數(shù)據(jù)0丟失??？可以的，參考我們之前說的那個kafka數(shù)據(jù)零丟失方案
其實一個mq肯定是很復雜的，其實這是個開放題，就是看看你有沒有從架構(gòu)角度整體構(gòu)思和設(shè)計的思維以及能力。
如果你還不清楚，請參考前面幾篇
《消息隊列的用途、優(yōu)缺點、技術(shù)選型》
《如何保證消息隊列的高可用》
《如何保證消息不重復消費》
《如何防止數(shù)據(jù)隊列數(shù)據(jù)丟失》
《如何保證消息按順序執(zhí)行》
《消息積壓在消息隊列里怎么辦》
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/7305.html
摘要：緊接著征用倍的機器來部署，每一批消費一個臨時的消息。這種做法相當于臨時將資源和資源擴大倍，以正常速度的倍來消費消息。解決方案這種情況下，實際上沒有什么消息擠壓，而是丟了大量的消息。 1.大量消息在mq里積壓了幾個小時了還沒解決 場景： 幾千萬條數(shù)據(jù)在MQ里積壓了七八個小時，從下午4點多，積壓到了晚上很晚，10點多，11點多。線上故障了，這個時候要不然就是修復consumer的問題，讓他恢復消...
摘要：數(shù)量對吞吐量的影響可以達到幾百幾千個的級別，吞吐量會有小幅度的下降。這是的一大優(yōu)勢，可在同等數(shù)量機器下支撐大量的從幾十個到幾百個的時候，吞吐量會大幅下降。下一篇如何保證消息隊列的高可用 1.為什么使用消息隊列？ （1）解耦：可以在多個系統(tǒng)之間進行解耦，將原本通過網(wǎng)絡(luò)之間的調(diào)用的方式改為使用MQ進行消息的異步通訊，只要該操作不是需要同步的，就可以改為使用MQ進行不同系統(tǒng)之間的聯(lián)系，這樣項目之間...
摘要：一個對應(yīng)一個，但是里面進行了多線程消費，這樣也會造成消息消費順序錯誤。保證消息的消費順序拆分多個，每個一個，就是多一些而已，確實是麻煩點這樣也會造成吞吐量下降，可以在消費者內(nèi)部采用多線程的方式取消費。 1.為什么要保證順序 消息隊列中的若干消息如果是對同一個數(shù)據(jù)進行操作，這些操作具有前后的關(guān)系，必須要按前后的順序執(zhí)行，否則就會造成數(shù)據(jù)異常。舉例： 比如通過mysql binlog進行兩個數(shù)據(jù)...
摘要：消費端弄丟了數(shù)據(jù)關(guān)閉自動提交，在自己處理完畢之后手動提交，這樣就不會丟失數(shù)據(jù)。弄丟了數(shù)據(jù)一般要求設(shè)置個參數(shù)來保證消息不丟失給設(shè)置參數(shù)這個值必須大于，表示要求每個必須至少有個副本。上一篇如何保證消息不重復消費下一篇如何保證消息按順序執(zhí)行 1.mq原則 數(shù)據(jù)不能多，也不能少，不能多是說消息不能重復消費，這個我們上一節(jié)已解決；不能少，就是說不能丟失數(shù)據(jù)。如果mq傳遞的是非常核心的消息，支撐核心的業(yè)...
摘要：以下為大家整理了阿里巴巴史上最全的面試題，涉及大量面試知識點和相關(guān)試題。的內(nèi)存結(jié)構(gòu)，和比例。多線程多線程的幾種實現(xiàn)方式，什么是線程安全。點擊這里有一套答案版的多線程試題。線上系統(tǒng)突然變得異常緩慢，你如何查找問題。 以下為大家整理了阿里巴巴史上最全的 Java 面試題，涉及大量 Java 面試知識點和相關(guān)試題。 JAVA基礎(chǔ) JAVA中的幾種基本數(shù)據(jù)類型是什么，各自占用多少字節(jié)。 S...
閱讀 3567·2023-04-26 02:31
閱讀 3701·2021-11-23 09:51
閱讀 1346·2021-11-17 09:33
閱讀 2508·2021-11-16 11:45
閱讀 2627·2021-10-11 11:12
閱讀 2499·2021-09-22 15:22
閱讀 2795·2021-09-04 16:40
閱讀 2649·2021-07-30 15:30
