資訊專欄INFORMATION COLUMN
環(huán)境
三臺機器，ip為103、104、105，主節(jié)點為103，其它為從節(jié)點
環(huán)境信息主機如下表格：
JobManager/ TaskManager | TaskManager | TaskManager |
192.168.199.103/bigdata-04 | 192.168.199.104/bigdata-05 | 192.168.199.105/bigdata-06 |
Master/Slave | Slave | Slave |
安裝
首先下載Flink安裝壓縮包
https://flink.apache.org/downloads.html https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.11.tgz |
下載完成后放到103主節(jié)點機器的/home/gpadmin/目錄下，并解壓安裝，該文件是可以拿來就用的，所以解壓完就可以了
tar -zvxf flink-1.11.1-bin-scala_2.11.tgz -C /home/gpadmin/ cd /home/gpadmin/ ln -sv flink-1.11.1/ flink |
配置
修改flink/conf/flink-conf.yaml文件：
jobmanager.rpc.address:bigdata-04
jobmanager.rpc.port:6123
jobmanager.heap.size:1024m
taskmanager.heap.size:1600m
taskmanager.numberOfTaskSlots:8
parallelism.default:1
修改flink/conf/masters
bigdata-04:8081
修改flink/conf/slaves
bigdata-04
bigdata-05
bigdata-06
分發(fā)文件以及配置到其它兩臺機器
scp-r /home/gpadmin/flink bigdata-05:/home/gpadmin/flink
scp-r /home/gpadmin/flink bigdata-06:/home/gpadmin/flink
進入主節(jié)點/flink/bin
./start-cluster.sh
UI
http://192.168.199.103:8081
點擊SubmitNew Job 功能，然后添加jar包
添加完成后，輸入主程序的路徑，及并發(fā)等提交作業(yè)即可看到任務正在運行
通過TaskManager找到任務的控制臺，可以看到輸出
至此，Flink安裝部署1.11.1StandaloneSessionClusterEntrypoint模式部署，以及UI界面提交jar包和作業(yè)模式、停止作業(yè)等就全部完成了。
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://m.hztianpu.com/yun/129980.html
摘要：一微服務概念微服務體系結構由輕量級松散耦合的服務集合組成。每個服務都有自己的計劃測試發(fā)布部署擴展集成和獨立維護。團隊不必因為過去的技術決定而受到懲罰。用在這里是指將相關的服務通過聚合器聚合在一起，這個聚合器就是門面。 微服務架構現(xiàn)在是談到企業(yè)應用架構時必聊的話題，微服務之所以火熱也是因為相對之前的應用開發(fā)方式有很多優(yōu)點，如更靈活、更能適應現(xiàn)在需求快速變更的大環(huán)境。 一、微服務概念 微服...
摘要：放置在目錄下或通過絕對路徑被引用。對于相關來說，我們推薦使用而不是直接鏈式指定。在不更改配置文件的情況下，前端頁面迭代發(fā)布，不需要重啟服務。 作者：gauseen 0. 關于 Vuejs 簡介：Vue (讀音 /vju?/，類似于 view) 是一套用于構建用戶界面的漸進式框架，易用、靈活、高效。 生態(tài)系統(tǒng) 項目 介紹 awesome-vue Vue.js 相關很棒的...
摘要：當企業(yè)的運維團隊去維護一個彈性的容器集群時，傳統(tǒng)的軟件部署方式需要向容器遷移，這個過程中需要有風險預判和規(guī)避之道。但是這樣會有些問題，就是大部分鏡像都是基于構建的，這會和樹莓派的很不兼容。多次嘗試后狀態(tài)被破壞刪庫重試，重啟大法好。 當前技術世界的發(fā)展形勢就是讓開發(fā)人員從繁瑣的應用配置和管理中解放出來，使用容器鏡像來處理復雜的程序運行依賴庫的需求，保證代碼運行環(huán)境的一致性。既然這樣的好處...
摘要：到了移動互聯(lián)網(wǎng)時代，新興業(yè)務很明顯的一個要求就是需要彈性和敏捷，這種問題稱為敏態(tài)的問題。本次青云發(fā)布的三款產品，基本上都是去面對穩(wěn)態(tài)問題的解決方案。因此，青云在云端交付的分離模式解決方案就必須解決上述問題。 「青云一直有一個目標，就是要建立一朵更好的云，全模云的推出也標志著我們在實現(xiàn)這個目標上往前走了一大步?！贡疚挠汕嘣芉ingCloud CTO 甘泉的演講內容整理而來，共 2628 ...
摘要：到了移動互聯(lián)網(wǎng)時代，新興業(yè)務很明顯的一個要求就是需要彈性和敏捷，這種問題稱為敏態(tài)的問題。本次青云發(fā)布的三款產品，基本上都是去面對穩(wěn)態(tài)問題的解決方案。因此，青云在云端交付的分離模式解決方案就必須解決上述問題。 「青云一直有一個目標，就是要建立一朵更好的云，全模云的推出也標志著我們在實現(xiàn)這個目標上往前走了一大步。」本文由青云QingCloud CTO 甘泉的演講內容整理而來，共 2628 ...
摘要：閱讀原文把策略模式應用到實際項目中無論你知不知道這個設計模式，但必定在項目中都似曾相識。文件存儲的方式不同，同時文件的獲取和刪除也不同保存，獲取，刪除后的響應也是相同的，也不考慮了。此時引入是解決問題的最佳方式。 閱讀原文：把「策略模式」應用到實際項目中 無論你知不知道這個設計模式，但必定在項目中都似曾相識。倘若僅僅聊理論必然枯燥乏味，只有理論和實戰(zhàn)相結合方可達到人劍合一的境界。 首先...
閱讀 1459·2023-01-11 13:20
閱讀 1814·2023-01-11 13:20
閱讀 1263·2023-01-11 13:20
閱讀 2006·2023-01-11 13:20
閱讀 4226·2023-01-11 13:20
閱讀 2879·2023-01-11 13:20
閱讀 1488·2023-01-11 13:20
閱讀 3807·2023-01-11 13:20
