成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

ES集群規(guī)劃優(yōu)化方案

社區(qū)管理員 / 1185人閱讀



1.1 現(xiàn)狀資源接入量


監(jiān)控設備達到4000+節(jié)點，其中網絡設備400+ (監(jiān)控項數(shù)約80萬，采集頻率1分鐘)，日數(shù)據量200G 左右。
1.2 問題
ES為普通 6節(jié)點普通集群，未做冷熱分類，讀寫壓力巨大，導致數(shù)據寫入緩慢、查詢數(shù)據返回超時。


1.3 計劃采取措施

  • 常規(guī)集群模式變更為冷（6個月歷史數(shù)據）熱（1個月數(shù)據）集群；
  • 熱節(jié)點采用固態(tài)硬盤替換機械硬盤，提升讀寫性能。





ES配置




2.1 預備硬件基本信息

生產環(huán)境預備的是：

  • 3主節(jié)點：內存64G，8核，5T的機械硬盤；
  • 3熱數(shù)據節(jié)點：內存64G，16核，5T的固態(tài)硬盤；
  • 3冷數(shù)據節(jié)點：內存64G，8核，50T的機械硬盤。

圖片

2.2 現(xiàn)狀分析

1）主節(jié)點磁盤資源使用不完


因為僅主節(jié)點非數(shù)據節(jié)點不存儲數(shù)據，因此主節(jié)點不需要多帶帶配置5T的硬盤。


2）主機數(shù)較多


因為主機內存僅為64g內存，因此單個主機僅能部署1個數(shù)據節(jié)點，節(jié)點間的通信是主機間通信，相比主機內節(jié)點間通信會增加通信延時，節(jié)點數(shù)越多要求的主機數(shù)越多，不僅增加節(jié)點間通信延時，同時擴展性很差，因此建議采用較大內存主機，主機內部署多個節(jié)點。


2.3 規(guī)劃邏輯

1）主節(jié)點和數(shù)據節(jié)點共用主機


主節(jié)點和數(shù)據節(jié)點在同一個主機上能減少主節(jié)點與數(shù)據節(jié)點間的延時。


2）規(guī)劃數(shù)據量及所需承載節(jié)點數(shù)

  • 熱設備存儲30天的數(shù)據，冷設備存儲6個月的數(shù)據，生產環(huán)境目前每天產生的數(shù)據大概在200G左右，周期為30天之前的數(shù)據遷移至冷節(jié)點。
  • 總熱數(shù)據量=200G*30 約6t數(shù)據，按單個64g內存數(shù)據節(jié)點規(guī)劃可以承載1.85t數(shù)據（內存存儲比為30），至少需4個熱數(shù)據節(jié)點。
  • 總冷數(shù)據量=200G*6*30 約36t數(shù)據，按單個64g內存數(shù)據節(jié)點規(guī)劃可以承載32t數(shù)據（內存存儲比為500），至少需要2個冷數(shù)據節(jié)點。

2.4 規(guī)劃優(yōu)化方案


1）主節(jié)點和熱數(shù)據節(jié)點
按256g機器來規(guī)劃，256g機器最多可以部署4個節(jié)點，其中一個節(jié)點當做主節(jié)點，其它部署為數(shù)據節(jié)點，因此需要2臺256g作為主節(jié)點和熱數(shù)據節(jié)點共用的主機，考慮單主機故障容災，建議使用3臺256g的機器作為主節(jié)點和熱數(shù)據節(jié)點共用的主機。相比之前規(guī)劃減少6臺主機。
2）冷數(shù)據節(jié)點
目前3臺64g內存的主機作為冷數(shù)據節(jié)點已達到上述至少2個冷數(shù)據節(jié)點的要求，因此可以暫不更改，如果資源足夠，也可以采用2臺128/256g內存的機器，每個主機上部署2個冷數(shù)據節(jié)點，共4個冷數(shù)據節(jié)點。
結合規(guī)劃邏輯和實際情況，目前的規(guī)劃方案如下，后續(xù)可根據實際使用情況進行調整。
3）現(xiàn)場生產實際情況
目前有3臺512G內存、48核、39T機械硬盤、4塊2.9T固態(tài)硬盤的物理機(若不劃分虛擬機，則4塊固態(tài)硬盤可以疊加)，因此方案改為：物理機不劃分虛擬機，一臺物理機上部署1個主節(jié)點（不占用磁盤）、2個熱數(shù)據節(jié)點（使用固態(tài)硬盤）、1個冷數(shù)據節(jié)點（使用機械硬盤）。


2.5 配置文件

1）生成證書，在node0執(zhí)行一次即可(xpack開啟)


cd elasticsearch
export  JAVA_HOME=/home/shsnc/snc_product/elasticsearch/jdk ##修改JDK的環(huán)境變量
./bin/elasticsearch-certutil ca ##一直回車即可
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 ##一直回車即可
mv elastic-certificates.p12 ./config/    ##將證書文件放置到node0指定路徑
mv elastic-stack-ca.p12 ./config/      ##將證書文件放置到node0指定路徑
scp elastic-certificates.p12 elastic-stack-ca.p12 192.168.XXX.178:/home/shsnc/snc_product/elasticsearch/config/    ##將證書文件放置到node1指定路徑
scp elastic-certificates.p12 elastic-stack-ca.p12 192.168.XXX.179:/home/shsnc/snc_product/elasticsearch/config/    ##將證書文件放置到node2指定路徑
./bin/x-pack-env ##執(zhí)行環(huán)境變量
./bin/x-pack-security-env ##執(zhí)行環(huán)境變量
./bin/elasticsearch-setup-passwords interactive ##手動配置每個用戶密碼
export  JAVA_HOME=/home/shsnc/snc_product/jdk ##還原JDK的環(huán)境變量


2）主節(jié)點配置


cluster.name: shsnc
node.name: node0
network.host: 192.168.XXX.177
http.port: 9200
transport.tcp.port: 9300
node.master: true
node.data: false
node.ingest: true
bootstrap.memory_lock: true
cluster.routing.allocation.same_shard.host: true
xpack.license.self_generated.type: basic
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /home/shsnc/snc_product/elasticsearch/config/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /home/shsnc/snc_product/elasticsearch/config/elastic-certificates.p12
http.cors.enabled: true
http.cors.allow-origin: "*"
bootstrap.system_call_filter: false
node.attr.box_type: hot
discovery.zen.ping.unicast.hosts: ["192.168.XXX.177:9300","192.168.XXX.178:9300","192.168.XXX.179:9300"

3）熱數(shù)據節(jié)點配置

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://m.hztianpu.com/yun/129089.html

相關文章

發(fā)表評論

0條評論

閱讀需要支付1元查看
<