摘要:后面聽到的時候,是因為可以作為分布式鎖的一種實現(xiàn)。二為什么能干這么多從上面我們可以知道,可以用來做統(tǒng)一配置管理統(tǒng)一命名服務(wù)分布式鎖集群管理。
前言
只有光頭才能變強。文本已收錄至我的GitHub倉庫,歡迎Star:https://github.com/ZhongFuCheng3y/3y
上次寫了一篇 什么是消息隊列?以后,本來想入門一下Kafka的(裝一下環(huán)境、看看Kafka一些概念啥的)。后來發(fā)現(xiàn)Kafka用到了ZooKeeper,而我又對ZooKeeper不了解,所以想先來學(xué)學(xué)什么是ZooKeeper,再去看看什么是Kafka。
ZooKeeper相信大家已經(jīng)聽過這個詞了,不知道大家對他了解多少呢?我第一次聽到ZooKeeper的時候是在學(xué)Eureka的時候(外行人都能看懂的SpringCloud,錯過了血虧?。?,同樣ZooKeeper也可以作為注冊中心。
后面聽到ZooKeeper的時候,是因為ZooKeeper可以作為分布式鎖的一種實現(xiàn)。
直至在了解Kafka的時候,發(fā)現(xiàn)Kafka也需要依賴ZooKeeper。Kafka使用ZooKeeper管理自己的元數(shù)據(jù)配置。
這篇文章來寫寫我學(xué)習(xí)ZooKeeper的筆記,如果有錯的地方希望大家可以在評論區(qū)指出。
一、什么是ZooKeeper從上面我們也可以發(fā)現(xiàn),好像哪都有ZooKeeper的身影,那什么是ZooKeeper呢?我們先去官網(wǎng)看看介紹:
官網(wǎng)還有另一段話:
ZooKeeper: A Distributed Coordination Service for Distributed Applications
相比于官網(wǎng)的介紹,我其實更喜歡Wiki中對ZooKeeper的介紹:
(留下不懂英語的淚水)
我簡單概括一下:
ZooKeeper主要服務(wù)于分布式系統(tǒng),可以用ZooKeeper來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
使用分布式系統(tǒng)就無法避免對節(jié)點管理的問題(需要實時感知節(jié)點的狀態(tài)、對節(jié)點進行統(tǒng)一管理等等),而由于這些問題處理起來可能相對麻煩和提高了系統(tǒng)的復(fù)雜性,ZooKeeper作為一個能夠通用解決這些問題的中間件就應(yīng)運而生了。
二、為什么ZooKeeper能干這么多?從上面我們可以知道,可以用ZooKeeper來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
這里我們先不管統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理每個具體的含義(后面會講)
那為什么ZooKeeper可以干那么多事?來看看ZooKeeper究竟是何方神物,在Wiki中其實也有提到:
ZooKeeper nodes store their data in a hierarchical name space, much like a file system or a tree) data structure
ZooKeeper的數(shù)據(jù)結(jié)構(gòu),跟Unix文件系統(tǒng)非常類似,可以看做是一顆樹,每個節(jié)點叫做ZNode。每一個節(jié)點可以通過路徑來標識,結(jié)構(gòu)圖如下:
那ZooKeeper這顆"樹"有什么特點呢??ZooKeeper的節(jié)點我們稱之為Znode,Znode分為兩種類型:
短暫/臨時(Ephemeral):當(dāng)客戶端和服務(wù)端斷開連接后,所創(chuàng)建的Znode(節(jié)點)會自動刪除
持久(Persistent):當(dāng)客戶端和服務(wù)端斷開連接后,所創(chuàng)建的Znode(節(jié)點)不會刪除
ZooKeeper和Redis一樣,也是C/S結(jié)構(gòu)(分成客戶端和服務(wù)端)2.1 監(jiān)聽器
在上面我們已經(jīng)簡單知道了ZooKeeper的數(shù)據(jù)結(jié)構(gòu)了,ZooKeeper還配合了監(jiān)聽器才能夠做那么多事的。
常見的監(jiān)聽場景有以下兩項:
監(jiān)聽Znode節(jié)點的數(shù)據(jù)變化
監(jiān)聽子節(jié)點的增減變化
沒錯,通過監(jiān)聽+Znode節(jié)點(持久/短暫[臨時]),ZooKeeper就可以玩出這么多花樣了。
三、ZooKeeper是怎么做到的?下面我們來看看用ZooKeeper怎么來做:統(tǒng)一配置管理、統(tǒng)一命名服務(wù)、分布式鎖、集群管理。
3.1 統(tǒng)一配置管理比如我們現(xiàn)在有三個系統(tǒng)A、B、C,他們有三份配置,分別是ASystem.yml、BSystem.yml、CSystem.yml,然后,這三份配置又非常類似,很多的配置項幾乎都一樣。
此時,如果我們要改變其中一份配置項的信息,很可能其他兩份都要改。并且,改變了配置項的信息很可能就要重啟系統(tǒng)
于是,我們希望把ASystem.yml、BSystem.yml、CSystem.yml相同的配置項抽取出來成一份公用的配置common.yml,并且即便common.yml改了,也不需要系統(tǒng)A、B、C重啟。
做法:我們可以將common.yml這份配置放在ZooKeeper的Znode節(jié)點中,系統(tǒng)A、B、C監(jiān)聽著這個Znode節(jié)點有無變更,如果變更了,及時響應(yīng)。
參考資料:
基于zookeeper實現(xiàn)統(tǒng)一配置管理
https://blog.csdn.net/u011320740/article/details/78742625
3.2 統(tǒng)一命名服務(wù)統(tǒng)一命名服務(wù)的理解其實跟域名一樣,是我們?yōu)檫@某一部分的資源給它取一個名字,別人通過這個名字就可以拿到對應(yīng)的資源。
比如說,現(xiàn)在我有一個域名www.java3y.com,但我這個域名下有多臺機器:
192.168.1.1
192.168.1.2
192.168.1.3
192.168.1.4
別人訪問www.java3y.com即可訪問到我的機器,而不是通過IP去訪問。
3.3 分布式鎖鎖的概念在這我就不說了,如果對鎖概念還不太了解的同學(xué),可參考下面的文章
Java鎖?分布式鎖?樂觀鎖?行鎖?
我們可以使用ZooKeeper來實現(xiàn)分布式鎖,那是怎么做的呢??下面來看看:
系統(tǒng)A、B、C都去訪問/locks節(jié)點
訪問的時候會創(chuàng)建帶順序號的臨時/短暫(EPHEMERAL_SEQUENTIAL)節(jié)點,比如,系統(tǒng)A創(chuàng)建了id_000000節(jié)點,系統(tǒng)B創(chuàng)建了id_000002節(jié)點,系統(tǒng)C創(chuàng)建了id_000001節(jié)點。
接著,拿到/locks節(jié)點下的所有子節(jié)點(id_000000,id_000001,id_000002),判斷自己創(chuàng)建的是不是最小的那個節(jié)點
如果是,則拿到鎖。
釋放鎖:執(zhí)行完操作后,把創(chuàng)建的節(jié)點給刪掉
如果不是,則監(jiān)聽比自己要小1的節(jié)點變化
舉個例子:
系統(tǒng)A拿到/locks節(jié)點下的所有子節(jié)點,經(jīng)過比較,發(fā)現(xiàn)自己(id_000000),是所有子節(jié)點最小的。所以得到鎖
系統(tǒng)B拿到/locks節(jié)點下的所有子節(jié)點,經(jīng)過比較,發(fā)現(xiàn)自己(id_000002),不是所有子節(jié)點最小的。所以監(jiān)聽比自己小1的節(jié)點id_000001的狀態(tài)
系統(tǒng)C拿到/locks節(jié)點下的所有子節(jié)點,經(jīng)過比較,發(fā)現(xiàn)自己(id_000001),不是所有子節(jié)點最小的。所以監(jiān)聽比自己小1的節(jié)點id_000000的狀態(tài)
…...
等到系統(tǒng)A執(zhí)行完操作以后,將自己創(chuàng)建的節(jié)點刪除(id_000000)。通過監(jiān)聽,系統(tǒng)C發(fā)現(xiàn)id_000000節(jié)點已經(jīng)刪除了,發(fā)現(xiàn)自己已經(jīng)是最小的節(jié)點了,于是順利拿到鎖
….系統(tǒng)B如上
3.4集群狀態(tài)經(jīng)過上面幾個例子,我相信大家也很容易想到ZooKeeper是怎么"感知"節(jié)點的動態(tài)新增或者刪除的了。
還是以我們?nèi)齻€系統(tǒng)A、B、C為例,在ZooKeeper中創(chuàng)建臨時節(jié)點即可:
只要系統(tǒng)A掛了,那/groupMember/A這個節(jié)點就會刪除,通過監(jiān)聽groupMember下的子節(jié)點,系統(tǒng)B和C就能夠感知到系統(tǒng)A已經(jīng)掛了。(新增也是同理)
除了能夠感知節(jié)點的上下線變化,ZooKeeper還可以實現(xiàn)動態(tài)選舉Master的功能。(如果集群是主從架構(gòu)模式下)
原理也很簡單,如果想要實現(xiàn)動態(tài)選舉Master的功能,Znode節(jié)點的類型是帶順序號的臨時節(jié)點(EPHEMERAL_SEQUENTIAL)就好了。
Zookeeper會每次選舉最小編號的作為Master,如果Master掛了,自然對應(yīng)的Znode節(jié)點就會刪除。然后讓新的最小編號作為Master,這樣就可以實現(xiàn)動態(tài)選舉的功能了。
最后這篇文章主要講解了ZooKeeper的入門相關(guān)的知識,ZooKeeper通過Znode的節(jié)點類型+監(jiān)聽機制就實現(xiàn)那么多好用的功能了!
當(dāng)然了,ZooKeeper要考慮的事沒那么簡單的,后面有機會深入的話,我還會繼續(xù)分享,希望這篇文章對大家有所幫助~
參考資料:
分布式服務(wù)框架 Zookeeper
https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html
ZooKeeper初識整理(老酒裝新瓶)
https://lxkaka.wang/2017/12/21/zookeeper/
ZooKeeper
https://www.cnblogs.com/sunshine-long/p/9057191.html
ZooKeeper 的應(yīng)用場景
https://zhuanlan.zhihu.com/p/59669985
樂于輸出干貨的Java技術(shù)公眾號:Java3y。公眾號內(nèi)有200多篇原創(chuàng)技術(shù)文章、海量視頻資源、精美腦圖,不妨來關(guān)注一下!
覺得我的文章寫得不錯,不妨點一下贊!
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.hztianpu.com/yun/74092.html
摘要:所以,雅虎的開發(fā)人員就試圖開發(fā)一個通用的無單點問題的分布式協(xié)調(diào)框架,以便讓開發(fā)人員將精力集中在處理業(yè)務(wù)邏輯上。在立項初期,考慮到之前內(nèi)部很多項目都是使用動物的名字來命名的例如著名的項目雅虎的工程師希望給這個項目也取一個動物的名字。 前言 提到ZooKeeper,相信大家都不會陌生。Dubbo,Kafka,Hadoop等等項目里都能看到它的影子。但是你真的了解 ZooKeeper 嗎?如...
摘要:專題答案面試題領(lǐng)取見個人主頁請解釋一下什么是請列舉的一些特性。請列舉和之間的不同點請解釋如何處理請求。在中,如何使用未定義的服務(wù)器名稱來阻止處理請求使用反向代理服務(wù)器的優(yōu)點是什么請列舉服務(wù)器的最佳用途。 Nginx專題showImg(https://segmentfault.com/img/remote/1460000019834930?w=600&h=258); (答案+面試題領(lǐng)取見...
摘要:專題答案面試題領(lǐng)取見個人主頁請解釋一下什么是請列舉的一些特性。請列舉和之間的不同點請解釋如何處理請求。在中,如何使用未定義的服務(wù)器名稱來阻止處理請求使用反向代理服務(wù)器的優(yōu)點是什么請列舉服務(wù)器的最佳用途。 Nginx專題showImg(https://segmentfault.com/img/remote/1460000019834930?w=600&h=258); (答案+面試題領(lǐng)取見...
摘要:作為整個集群的主節(jié)點,負責(zé)響應(yīng)所有對狀態(tài)變更的請求。選舉是最重要的技術(shù)之一,也是保障分布式數(shù)據(jù)一致性的關(guān)鍵所在。這是由于半數(shù)以上投票通過決定的。另外需要注意的是,和構(gòu)成集群的法定人數(shù),也就是說,只有他們才參與新的選舉響應(yīng)的提議。 showImg(https://segmentfault.com/img/remote/1460000016733126); 前言 提到ZooKeeper,相...
閱讀 2325·2019-08-30 15:54
閱讀 2047·2019-08-30 13:49
閱讀 730·2019-08-29 18:44
閱讀 885·2019-08-29 18:39
閱讀 1171·2019-08-29 15:40
閱讀 1589·2019-08-29 12:56
閱讀 3217·2019-08-26 11:39
閱讀 3160·2019-08-26 11:37