成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

Elasticsearch集群分布式模型及選主與腦裂問題

IT那活兒 / 2534人閱讀
Elasticsearch集群分布式模型及選主與腦裂問題


ES分布式特性

Elasticsearch的分布式架構(gòu)的好處:

1. 天生支持存儲的水平擴容,支持PB級數(shù)據(jù)。

2. 提高系統(tǒng)的可用性,部分節(jié)點停止服務(wù),整個集群的服務(wù)不受影響。Elasticsearch的分布式架構(gòu)中不同的集群通過不同的名字來區(qū)分,默認名字“elasticsearch”可以通過配置文件修改,或者在命令行中

-E cluster.name=your cluster name進行設(shè)定。


 節(jié)點

節(jié)點是一個Elasticsearch的實例,其本質(zhì)上就是一個JAVA進程,一臺機器可以運行多個Elasticsearch進程,但是生產(chǎn)環(huán)境一般建議一臺機器上就運行一個Elasticsearch實例。

每一個節(jié)點都有名字,通過配置文件配置,或者啟動時候通過

-E node.name=your node name指定。

每一個節(jié)點在啟動之后,會分配一個UID,保存在data目錄下。


Coordinating Node

處理請求的節(jié)點,叫Coordinating Node。路由請求到正確的節(jié)點,例如創(chuàng)建索引的請求,需要路由到Master節(jié)點。所有節(jié)點默認都是Coordinating Node,在生產(chǎn)環(huán)境中建議通過將其他類型設(shè)置成False,使其成為Dedicated Coordinating Node。


Data Node

可以保存數(shù)據(jù)的節(jié)點,叫做Data Node。節(jié)點啟動后,默認就是數(shù)據(jù)節(jié)點。可以設(shè)置node.data:false禁止。

Data Node的職責:保存分片數(shù)據(jù)。在數(shù)據(jù)擴展上起到了至關(guān)重要的作用(由Master Node決定如何把分片分發(fā)到數(shù)據(jù)節(jié)點上)。通過增加數(shù)據(jù)節(jié)點可以解決數(shù)據(jù)水平擴展和解決數(shù)據(jù)單點問題。


Master Node

Master Node的職責:處理創(chuàng)建,刪除索引等請求/決定分片被分配到哪個節(jié)點/負責索引的創(chuàng)建與刪除;維護并且更新Cluster State。

Master Node的最佳實踐:Master節(jié)點非常重要,在部署上需要考慮解決單點的問題,為一個集群設(shè)置多個Master 節(jié)點/每個節(jié)點只承擔 Master的單一角色。


Master Eligible Nodes&選主流程

一個集群,支持配置多個Master Eligible節(jié)點。這些節(jié)點可以在必要時(如Master節(jié)點出現(xiàn)故障,網(wǎng)絡(luò)故障時)參與選主流程,成為Master節(jié)點。

每個節(jié)點啟動后,默認就是一個Master eligible節(jié)點

可以設(shè)置node.master: false 禁止

當集群內(nèi)第一個Master eligible節(jié)點啟動時候,它會將自己選舉成Master節(jié)點。


集群狀態(tài)

集群狀態(tài)信息(Cluster State),維護了一個集群中,必要的信息。比如所有的節(jié)點信息、所有的索引和其相關(guān)的Mapping 與Setting 信息、分片的路由信息。

在每個節(jié)點上都保存了集群的狀態(tài)信息,但是只有Master節(jié)點才能修改集群的狀態(tài)信息,并負責同步給其他節(jié)點,因為任意節(jié)點都能修改信息會導(dǎo)致Cluster State信息的不一致。


Master Eligible Nodes &選主的過程

在集群當中Master Eligible 節(jié)點會互相Ping 對方,Node ld低的會成為被選舉的節(jié)點。

當其他節(jié)點加入集群,它不承擔Master節(jié)點的角色,一旦發(fā)現(xiàn)被選中的主節(jié)點丟失,就會選舉出新的Master節(jié)點。


腦裂問題

Split-Brain,分布式系統(tǒng)的經(jīng)典網(wǎng)絡(luò)問題,當出現(xiàn)網(wǎng)絡(luò)問題,一個節(jié)點和其他節(jié)點無法連接;Node 2和Node 3會重新選舉Master,Node 1自己還是作為Master,組成一個集群,同時更新Cluster State,導(dǎo)致2個master,維護不同的 cluster state,當網(wǎng)絡(luò)恢復(fù)時,無法選擇正確恢復(fù)。


如何避免腦裂問題

限定一個選舉條件,設(shè)置 quorum(仲裁),只有在Master eligible 節(jié)點數(shù)大于quorum時,才能進行選舉;Quorum = (master節(jié)點總數(shù)/2)+1。

當3個master eligible時,設(shè)置discovery.zen.minimum_master_nodes為2,即可避免腦裂。

從Elasticsearch7.0版本開始,無需這個配置

移除minimum_master_nodes參數(shù),讓Elasticsearch自己選擇可以形成仲裁的節(jié)點。典型的主節(jié)點選舉現(xiàn)在只需要很短的時間就可以完成。集群的伸縮變得更安全、更容易,并且可能造成丟失數(shù)據(jù)的系統(tǒng)配置選項更少了。節(jié)點更清楚地記錄它們的狀態(tài),有助于診斷為什么它們不能加入集群或為什么無法選舉出主節(jié)點。


配置節(jié)點類型

—個節(jié)點默認情況下是一個Master eligible,data and ingest node:


END


更多精彩干貨分享

點擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://m.hztianpu.com/yun/129772.html

相關(guān)文章

  • Elasticsearch布式一致性原理剖析(一)-節(jié)點篇

    摘要:摘要目前是最流行的開源分布式搜索引擎系統(tǒng),其使用作為單機存儲引擎并提供強大的搜索查詢能力。前言分布式一致性原理剖析系列將會對的分布式一致性原理進行詳細的剖析,介紹其實現(xiàn)方式原理以及其存在的問題等基于版本。相當于一次正常情況的新節(jié)點加入。 摘要: ES目前是最流行的開源分布式搜索引擎系統(tǒng),其使用Lucene作為單機存儲引擎并提供強大的搜索查詢能力。學(xué)習(xí)其搜索原理,則必須了解Lucene,...

    genedna 評論0 收藏0
  • Elasticsearch布式一致性原理剖析(一)-節(jié)點篇

    摘要:摘要目前是最流行的開源分布式搜索引擎系統(tǒng),其使用作為單機存儲引擎并提供強大的搜索查詢能力。前言分布式一致性原理剖析系列將會對的分布式一致性原理進行詳細的剖析,介紹其實現(xiàn)方式原理以及其存在的問題等基于版本。相當于一次正常情況的新節(jié)點加入。 摘要: ES目前是最流行的開源分布式搜索引擎系統(tǒng),其使用Lucene作為單機存儲引擎并提供強大的搜索查詢能力。學(xué)習(xí)其搜索原理,則必須了解Lucene,...

    lindroid 評論0 收藏0
  • 腦裂是什么?Zookeeper是如何解決的?

    摘要:本篇文章著重來給大家講一下中的腦裂問題,以及是如果解決腦裂問題的。過半機制在領(lǐng)導(dǎo)者選舉的過程中,如果某臺獲得了超過半數(shù)的選票,則此就可以成為了。就是為了防止腦裂。有痛點才有創(chuàng)新,一個技術(shù)肯定都是為了解決某個痛點才出現(xiàn)的。 什么是腦裂 腦裂(split-brain)就是大腦分裂,也就是本來一個大腦被拆分了兩個或多個大腦,我們都知道,如果一個人有多個大腦,并且相互獨立的話,那么會導(dǎo)致人體手...

    android_c 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<