資訊專欄INFORMATION COLUMN
點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了?。?！
近期由于flink集群的CPU總核數(shù)限制，flink集群已經沒有看可用的slot資源，無法繼續(xù)在集群上新增flink任務，所以需要橫向拓展flink集群的計算節(jié)點。
#修改主機名稱
# for hadoop
export HADOOP_HOME=/home/shsnc/domp-product/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export YARN_CONF_DIR=$HADOOP_CONF_DIR
export HADOOP_CLASSPATH=`hadoop classpath`修改所有主機的/etc/hosts文件,加入新加入機器的IP和主機名，新加入主機的/etc/hosts文件中加入所有主機的IP和主機名.
#修改hadoop的slaves配置，添加所有的主機節(jié)點IP地址.
vi /home/shsnc/domp-product/hadoop/etc/hadoop/slavestar -Pczvf /home/shsnc/domp-product.tar.gz /home/shsnc/domp-
product/* --exclude=/home/shsnc/domp-product/hadoop/data --
exclude=/home/shsnc/domp-product/hadoop/logsscp domp-product.tar.gz ***@***:./domp-product/tar -xzvf domp-product.tar.gz<property>
<name>fs.default.namename>
<value>hdfs://主節(jié)點主機名:服務端口value>
property><property>
<name>yarn.timeline-service.hostnamename>
<value>主節(jié)點主機名value>
property>
<property>
<name>yarn.log.server.urlname>
<value>http://主節(jié)點主機名:服務端口/jobhistory/logs/value>
property>
<property>
<name>yarn.resourcemanager.webapp.addressname>
<value>主節(jié)點主機名:服務端口value>
property>
<property>
<name>yarn.nodemanager.addressname>
<value>當前節(jié)點主機名:服務端口value>
property>#啟動服務:
./hadoop-deamon.sh start datanode
./yarn-deamon.sh start nodemanagervi /home/shsnc/domp-product/hadoop/data/hdfs/datanode/current/VERSION將VERSION文件中的clusterID修改為和原集群一樣后，重啟datanode.
#刷新數(shù)據(jù)節(jié)點，將新節(jié)點加載到集群中:
hadoop/bin/hdfs refreshNodeshdfs fsck /#平衡節(jié)點數(shù)據(jù):
start-balancer.sh#查看所有節(jié)點信息:
hdfs dfsadmin -report以上就完成了整個集群的動態(tài)拓展！
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://m.hztianpu.com/yun/129304.html
摘要：由于配置流是從關系型數(shù)據(jù)庫中讀取，速度較慢，導致實時數(shù)據(jù)流流入數(shù)據(jù)的時候，配置信息還未發(fā)送，這樣會導致有些實時數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫中解析出來，再去統(tǒng)計近兩周占比。 Flink 學習 https://github.com/zhisheng17/flink-learning 麻煩路過的各位親給這個項目點個 star，太不易了，寫了這么多，算是對我堅持下來的一種鼓勵吧！ showI...
摘要：由于配置流是從關系型數(shù)據(jù)庫中讀取，速度較慢，導致實時數(shù)據(jù)流流入數(shù)據(jù)的時候，配置信息還未發(fā)送，這樣會導致有些實時數(shù)據(jù)讀取不到配置信息。從數(shù)據(jù)庫中解析出來，再去統(tǒng)計近兩周占比。 showImg(https://segmentfault.com/img/remote/1460000019367651); Flink 學習項目代碼 https://github.com/zhisheng17/f...
摘要：企業(yè)微信截圖企業(yè)微信截圖兼容最廣的一站式智能大數(shù)據(jù)平臺涵蓋了等眾多開源大數(shù)據(jù)組件，支持對這些組件進行運維中臺建設數(shù)據(jù)開發(fā)業(yè)務可視化等全棧式大數(shù)據(jù)開發(fā)運維管理。通過一站式智能大數(shù)據(jù)平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發(fā)。背景在大數(shù)據(jù)業(yè)務系統(tǒng)中，所有技術棧生態(tài)均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含...
摘要：機器學習機器學習通過算法對大量數(shù)據(jù)進行分析，挖掘出其中蘊含的規(guī)律，并用于事物預測或者分類，有大量的計算需求。通過一站式智能大數(shù)據(jù)平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發(fā)。在大數(shù)據(jù)業(yè)務系統(tǒng)中，所有技術棧生態(tài)均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...
摘要：擴展庫還包括用于復雜事件處理，機器學習，圖形處理和兼容性的專用代碼庫。事件時間機制使得那些事件無序到達甚至延遲到達的數(shù)據(jù)流能夠計算出精確的結果。負責接受用戶的程序代碼，然后創(chuàng)建數(shù)據(jù)流，將數(shù)據(jù)流提交給以便進一步執(zhí)行。 showImg(https://segmentfault.com/img/remote/1460000016902812); 前言 Flink 是一種流式計算框架，為什么我...
閱讀 1459·2023-01-11 13:20
閱讀 1811·2023-01-11 13:20
閱讀 1262·2023-01-11 13:20
閱讀 2004·2023-01-11 13:20
閱讀 4225·2023-01-11 13:20
閱讀 2878·2023-01-11 13:20
閱讀 1485·2023-01-11 13:20
閱讀 3805·2023-01-11 13:20
