ES shards分片管理
點擊上方“IT那活兒”，關注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/span>
分片（shard）-- 分片是單個Lucene實例，這是Elasticsearch管理的比較底層的功能。一個索引可以存儲很大的數(shù)據(jù)，這些空間可能超過一個節(jié)點的物理存儲限制。為了解決這一問題，Elasticsearch將索引分解成多個分片。每個分片是一個全功能的、獨立的單元，可以托管在集群中的任何數(shù)據(jù)節(jié)點。主分片（primary shard）-- 每個文檔都存儲在一個分片中，當你存儲一個文檔的時候，系統(tǒng)會首先存儲在主分片中，然后會復制導不同的副本中。默認情況下，一個索引有5個主分片?？梢允孪榷ㄖ品制瑪?shù)量，當分片一旦建立，則分片的數(shù)據(jù)不能修改。副本分片（replica shard）-- 每一給分片有零個或多個副本。副本主要是主分片的復制，其中有兩個目的：增加高可用性：當主分片故障的時候，可以從副本分片中選擇一個作為主分片。
提高性能：當查詢的時候可以到主分片或者副本分片中進行查詢，提高查詢速度。
默認情況下，一個主分片配有一個副本，但副本的數(shù)量可以在后面動態(tài)的配置增加。副本分片必須部署在不同的節(jié)點上，不能部署在和主分片相同的節(jié)點上，這個是由Elasticsearch自動控制，并且副本不要和主分片部署在同一主機上，否則在極端情況下會存在索引數(shù)據(jù)丟失的情況，這個是由Elasticsearch參數(shù)來控制的（cluster.routing.allocation.same_shard.host: true）。
每個索引和每個分片都需要一些內(nèi)存和 CPU 資源。在大多數(shù)情況下，一小組大分片比許多小分片使用更少的資源。較大的分片在失敗后需要更長的時間才能恢復。當一個節(jié)點發(fā)生故障時，Elasticsearch 會在數(shù)據(jù)層的剩余節(jié)點之間重新平衡該節(jié)點的分片。此恢復過程通常涉及通過網(wǎng)絡復制分片內(nèi)容，因此 100GB 分片的恢復時間是 50GB 分片的兩倍。相比之下，小分片會帶來更多的開銷并且搜索效率較低。搜索 50 個 1GB 分片將比搜索包含相同數(shù)據(jù)的單個 50GB 分片占用更多的資源。分片大小沒有硬性限制，但經(jīng)驗表明 10GB 到 50GB 之間的分片通常適用于日志和時間序列數(shù)據(jù)。根據(jù)實際的網(wǎng)絡和用例，可能能夠使用更大的分片。2. 每 GB 堆內(nèi)存 20 個或更少的分片。數(shù)據(jù)節(jié)點可以容納的分片數(shù)量與節(jié)點的堆內(nèi)存成正比。例如，具有 30GB 堆內(nèi)存的節(jié)點最多應該有 600 個分片。分片數(shù)越低于此限制越好。如果發(fā)現(xiàn)數(shù)據(jù)節(jié)點超過每 GB 20 個分片，請考慮添加另一個節(jié)點。3.1 避免使用非常大的分片，因為這會對群集從故障中恢復的能力產(chǎn)生負面影響。對分片的大小沒有固定的限制，但是通常情況下很多場景限制在 50GB 的分片大小以內(nèi)。3.2 分片數(shù)不是越多越好，每個分片都需要占用資源，數(shù)據(jù)量小的索引分配盡量少的分片。3.3 如果擔心數(shù)據(jù)的快速增長, 建議根據(jù)這條限制: ElasticSearch推薦的最大JVM堆空間 是 30~32G, 所以把分片最大容量限制為 30GB, 然后再對分片數(shù)量做合理估算。例如, 如果的單個索引數(shù)據(jù)能達到 200GB, 則最多分配7到8個分片，一個數(shù)據(jù)節(jié)點可承載600個分片。3.4 當數(shù)據(jù)量可以合理預測并且變化緩慢時，具有固定時間間隔的基于時間的索引很有效。
如果不再寫入索引，則可以使用強制合并 API將較小的段合并為較大的段。這可以減少分片開銷并提高搜索速度。但是，強制合并是資源密集型的。所以最好在非高峰時間運行強制合并。
強制合并指定索引
POST index_name/_forcemerge
強制合并多個索引
POST / index_name1,index_name2 / _forcemerge
強制合并所有索引
POST /_forcemerge
*僅在完成寫入索引后才應針對索引調(diào)用強制合并。強制合并會導致生成非常大 (>5GB) 的段，如果您繼續(xù)寫入這樣的索引，那么自動合并策略將永遠不會考慮這些段以進行未來的合并，直到它們主要由已刪除的文檔組成。這可能會導致非常大的段保留在索引中，從而導致磁盤使用量增加和搜索性能變差。如果不再寫入索引，則可以使用收縮索引 API來減少其分片數(shù)。如果啟用了 Elasticsearch 安全功能，則您必須具有索引的manage 索引權限。*索引的所有主分片必須駐留在同一節(jié)點上。收縮索引 API 允許將現(xiàn)有索引收縮為具有更少主分片的新索引。目標索引中請求的主分片數(shù)必須是源索引中分片數(shù)的一個因子。例如，具有 8主分片的索引可以縮小為4，2或者1主分片或具有15主分片的索引可以縮小為5，3或1。如果索引中的分片數(shù)量是素數(shù)，則只能將其縮小為單個主分片。在收縮之前，索引中每個分片的（主或副本）副本必須存在于同一節(jié)點上。建議收縮前關閉副本，收縮完成后再開啟副本，提高收縮速率。原索引test_20220125，5個主分片，一個副本，分片分布在es04和es03節(jié)點。關閉索引test_20220125副本，設置索引為只讀，將分片分配到es03節(jié)點。
curl -H "Content-Type: application/json" -XPUT -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125/_settings -d
{
"settings": {
"index.number_of_replicas": 0,
"index.routing.allocation.require._name": "es03",
"index.blocks.write": true
}
}
1）創(chuàng)建一個與源索引具有相同定義但主分片數(shù)量較少的新目標索引。如果文件系統(tǒng)不支持硬鏈接，那么所有段都被復制到新索引中，這是一個更耗時的過程。另外，如果使用多個數(shù)據(jù)路徑，不同數(shù)據(jù)路徑上的分片需要完整的段副本文件，如果它們不在同一個磁盤上，因為硬鏈接不能跨磁盤工作。
3）恢復目標索引，就好像它是剛剛重新打開的已關閉索引一樣。將索引test_20220125收縮成索引test_20220208，因原索引主分片數(shù)為5，所以目標索引主分片只能設置為1，并開啟目標索引副本運行讀寫。
curl -H "Content-Type: application/json" -XPOST -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125/_shrink/test_20220208 -d
{
"settings": {
"index.routing.allocation.require._name": null,
"index.blocks.write": null,
"index.number_of_replicas": 1,
"index.number_of_shards": 1,
"index.codec": "best_compression"
}
}
參數(shù)best_compression僅在對索引進行新寫入時才會生效，例如在將分片強制合并到單個段時。
a. 監(jiān)控收縮過程
_cat recovery 可以使用API監(jiān)控收縮過程，或者通過將 參數(shù)設置為 ，使用cluster healthAPI等待所有主分片分配完畢 。wait_for_statusyellow_shrink一旦目標索引被添加到集群狀態(tài)，API 就會在分配任何分片之前返回。此時，所有分片都處于狀態(tài)unassigned。如果出于任何原因，無法在收縮節(jié)點上分配目標索引，則其主分片將保留 unassigned，直到可以在該節(jié)點上分配為止。分配主分片后，它會移動到 state initializing，然后收縮過程開始。收縮操作完成后，分片將變?yōu)閍ctive. 此時，Elasticsearch 將嘗試分配任何副本，并可能決定將主分片重新定位到另一個節(jié)點。（測試環(huán)境索引數(shù)據(jù)量小，收縮速度很快，并未監(jiān)測到這個數(shù)據(jù)）b. 刪除原索引
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/test_20220125?pretty
使用reindex API將具有相似映射的索引組合成一個大索引。對于時間序列數(shù)據(jù)，您可以將較短時間段的索引重新索引為涵蓋較長時間段的新索引。例如，可以將2月的每日索引重新new_index_20220208_1和new_index_20220208_2編入每月new_index_20220208索引。重新索引后，刪除原索引。原索引new_index_20220208_1和new_index_20220208_2信息。將索引new_index_20220208_1和new_index_20220208_2合并為new_index_20220208。
curl -H "Content-Type: application/json" -XPOST -u elastic:qwer123 -s http://***.***.43.139:9200/_reindex -d
{
"source": {
"index": "new_index_20220208_*"
},
"dest": {
"index": "new_index_20220208"
}
}
刪除原索引new_index_20220208_1和new_index_20220208_2。
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/new_index_20220208_1?pretty
curl -XDELETE -u elastic:qwer123 -s http://***.***.43.138:9200/new_index_20220208_2?pretty
this action would add [x] total shards, but this cluster currently has [y]/[z] maximum shards open;
此錯誤表示添加索引操作將超出集群最大分片數(shù)限制。可以通過參數(shù)cluster.max_shards_per_node調(diào)整集群最大開放分片數(shù)。最大分片數(shù)=cluster.max_shards_per_node*數(shù)據(jù)節(jié)點數(shù)。
curl -H "Content-Type: application/json" -XPUT -u elastic:qwer123 -s http://***.***.43.139:9200/_cluster/settings -d
{
"persistent" : {
"cluster.max_shards_per_node": 1200
}
}
文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/129637.html
