成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

FAQs Kafka消息隊列 UKafka

ernest.wang / 3056人閱讀

摘要：大量的和分區(qū)會嚴(yán)重影響集群性能。介紹可參考收到離線分區(qū)總數(shù)異常告警一般是某個節(jié)點宕機或者服務(wù)異常導(dǎo)致。若服務(wù)卡住，可在評估后在控制臺重啟該節(jié)點服務(wù)。若想了解當(dāng)前請求延時情況，建議關(guān)注平均請求延時監(jiān)控項。

FAQs

本篇目錄

一個UKafka集群可以創(chuàng)建多少個Topic？如何增加Topic的副本數(shù)量(ReplicationFactor)？收到離線分區(qū)總數(shù)>=10.0個告警，離線分區(qū)總數(shù)是什么，怎么處理，怎樣避免影響服務(wù)？怎樣消費超過單條1MB的消息？外網(wǎng)怎么訪問UKafka集群？集群單個節(jié)點配置不夠，需要怎么升級？怎么查看UKafka集群的監(jiān)控數(shù)據(jù)？發(fā)現(xiàn)zookeeper最大延時很高，是否有問題？獲取消費者詳情錯誤創(chuàng)建 Topic 時，我應(yīng)該怎么設(shè)置分區(qū) Partitions 數(shù)量與副本 replication-factor 數(shù)量？

副本數(shù)量一般建議為 3。Partitions 數(shù)量可根據(jù)集群所有節(jié)點磁盤塊總數(shù)(如普通實例每個節(jié)點只掛載一塊磁盤，而均衡I/O型根據(jù)配置不同掛載2-8塊磁盤不等)和客戶端需要的并發(fā)量設(shè)置，一般建議不要設(shè)置過大，影響集群性能。

一個UKafka集群可以創(chuàng)建多少個Topic？

集群可以支持任意數(shù)量的Topic，建議使用較大規(guī)模Topic代替大量較小規(guī)模的Topic，例如：需要將消息按天區(qū)分，應(yīng)該在每條消息上加上時間戳，而不是每天自動創(chuàng)建一個新的Topic。大量的Topic和分區(qū)會嚴(yán)重影響集群性能。

如何增加Topic的副本數(shù)量(ReplicationFactor)？

參考官方文檔

在增加topic的副本時，由于會復(fù)制數(shù)據(jù)，建議節(jié)點數(shù)據(jù)盤保留有足夠的空間。

節(jié)點kafka-logs目錄下consumer_offset相關(guān)目錄占用大量磁盤空間不釋放，怎么處理 ？

__consumer_offset 是 Kafka 用來存放客戶端消費的 offset 信息的 Topic，默認(rèn)采用壓縮策略。

修改 log.cleaner.enable 參數(shù)為 ture，然后按順序重啟每個節(jié)點kafka服務(wù)。

收到離線分區(qū)總數(shù)>=10.0個告警，離線分區(qū)總數(shù)是什么，怎么處理，怎樣避免影響服務(wù)？

分區(qū)是Kafka中Topic的一個物理概念上的消息分塊，以實現(xiàn)服務(wù)的分布式與高可用。（Kafka介紹可參考intro）

收到離線分區(qū)總數(shù)異常告警一般是某個節(jié)點宕機或者服務(wù)異常導(dǎo)致?？赏ㄟ^UKafka console“節(jié)點管理”頁面，依次查看每個節(jié)點“關(guān)聯(lián)的Topic”信息，若為空，說明此節(jié)點異常，進(jìn)而

可在“節(jié)點管理”中查看server.log，觀察是否有異常日志。若kafka服務(wù)卡住，可在評估后在控制臺重啟該節(jié)點kafka服務(wù)。

排查過程中，每個Topic的復(fù)制因子replication-factor盡量大于等于3，以避免單機故障帶來的業(yè)務(wù)不可用

怎樣消費超過單條1MB的消息？

集群默認(rèn)配置 message.max.bytes 為 1MB，若需支持更大的消息，可通過集群參數(shù)配置管理修改 message.max.bytes，replica.fetch.max.bytes，consumer 端則需修改 fetch.message.max.bytes。

外網(wǎng)怎么訪問UKafka集群？

暫不提供外網(wǎng)訪問集群功能。

集群單個節(jié)點配置不夠，需要怎么升級？

默認(rèn)不支持單個節(jié)點縱向升級，如果需要擴充資源，可以橫向添加節(jié)點;如果遇到內(nèi)存或其它單個節(jié)點的資源瓶頸，可以聯(lián)系我們提供后臺升級。

怎么查看UKafka集群的監(jiān)控數(shù)據(jù)？

集群監(jiān)控視圖頁面提供集群流入、流出數(shù)據(jù)量、消息個數(shù)監(jiān)控，Kafka生產(chǎn)者、消費者監(jiān)控數(shù)據(jù)，以及Zookeeper相關(guān)監(jiān)控數(shù)據(jù)，并提供每個Broker上的CPU、MEM、磁盤、網(wǎng)卡，Kafka服務(wù)，以及Zookeeper監(jiān)控數(shù)據(jù)； 可通過Kafka Manager頁面查看每個Topic、Broker的實時流量。

發(fā)現(xiàn)zookeeper最大延時很高，是否有問題？

zookeeper最大延時（zk_max_latency）是表示集群創(chuàng)建以來出現(xiàn)過的請求延時最大值，無法代表當(dāng)前狀態(tài)。若想了解當(dāng)前zookeeper請求延時情況，建議關(guān)注平均請求延時監(jiān)控項。

獲取消費者詳情錯誤

目前控制臺消費者信息是根據(jù)消費者類型分別通過訪問 zookeeper 或者調(diào)用 kafka api 得到的，但是 kafka 客戶端 sdk 可以靈活的決定對消費者信息的存儲方式，所以在使用沒有以標(biāo)準(zhǔn)方式存儲信息的 sdk 時，消費者信息可能會獲取錯誤。對于這些消費者，我們目前沒有去多帶帶適配，已知會出現(xiàn)問題的 sdk 有：

pykafkahttps://github.com/Parsely/pykafka/issues/888https://github.com/Parsely/pykafka/issues/567jstorm：不會按標(biāo)準(zhǔn)的方式存儲消費者組信息，是由自己管理消費實例與 topic partition 的對應(yīng)關(guān)系以及對應(yīng)的 offset，部分信息存儲在 zookeeper 的 /jstorm 路徑下flink 0.9 版本的 kafka 消費信息由自己管理，不會在 kafka 這邊注冊生成 group 信息

在遇到獲取信息錯誤時，可以先使用 kafka-consumer-groups.sh --bootstrap-server $(hostname):9092 --describe --group $group 命令確認(rèn)消費者是否有信息缺失或者錯誤。

重新分區(qū)

擴容節(jié)點后，在原來機器上的 topic partition 不會自動均衡到新的機器，需要使用分區(qū)重新分配工具來均衡

重分區(qū)功能官方描述

控制臺提供的功能是Automatically migrating data to new machines的部分

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/127092.html

相關(guān)文章

  • 集群管理 Kafka消息隊列 UKafka

    摘要：集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點擊控制臺左上角全部產(chǎn)品選擇消息隊列也可鎖定到左側(cè)菜單欄。選擇完畢后，進(jìn)入集群設(shè)置頁面，可對集群參數(shù)進(jìn)行配置。 集群管理本篇目錄創(chuàng)建集群調(diào)整集群參數(shù)創(chuàng)建集群1. 點擊控制臺左上角全部產(chǎn)品選擇Kafka消息隊列 UKafka,也可鎖定到左側(cè)菜單欄。2. 進(jìn)入UKafka操作界面，點擊創(chuàng)建集群進(jìn)行UK...

    ernest.wang 評論0 收藏276

  • Kafka消息隊列 UKafka

    摘要：快速開始本例以數(shù)據(jù)同步到來做說明。創(chuàng)建連接器點擊創(chuàng)建連接器按鈕，打開配置頁面。若下游為，則需配置路徑，若為，則需填寫信息。連接器列表詳情頁數(shù)據(jù)驗證參考，為集群創(chuàng)建，并寫入消息到其中?？焖匍_始本例以UKafka數(shù)據(jù)同步到UHadoop來做說明。創(chuàng)建連接器點擊【創(chuàng)建連接器】按鈕，打開配置頁面。配置連接器基本信息配置按需填寫?！旧嫌巍恳鉃镵afka連接器上游的Kafka集群，【下游】意為Kafka...

    ernest.wang 評論0 收藏1595

  • 性能測試 Kafka消息隊列 UKafka

    摘要：性能測試性能測試性能測試上游，下游是的連接器節(jié)點數(shù)分區(qū)數(shù)數(shù)消息大小機型速度消息數(shù)核核核核核核核上游，下游是連接器節(jié)點數(shù)分區(qū)數(shù)數(shù)消息大小機型版本機型節(jié)點數(shù)分片數(shù)副本數(shù)速度消息數(shù)核核核核核核核核核 性能測試上游UKafka，下游是UHadoop的HDFS 連接器節(jié)點數(shù)分區(qū)數(shù)broker數(shù)消息大小/byteskafka機型hadoopmasterhadoopcore速度(消息數(shù)/s)1331024...

    ernest.wang 評論0 收藏1358

  • 性能測試 Kafka消息隊列 UKafka

    摘要：性能測試性能測試性能測試在不同機型集群默認(rèn)配置下，利用腳本進(jìn)行性能基準(zhǔn)測試測試結(jié)果下載 性能測試在不同機型 ukafka 集群默認(rèn)配置下，利用 kafka-producer-perf-test.sh 腳本進(jìn)行性能基準(zhǔn)測試測試結(jié)果下載

    ernest.wang 評論0 收藏1086

  • 監(jiān)控視圖 Kafka消息隊列 UKafka

    摘要：監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時至天多個維度的集群流入流出數(shù)據(jù)量和消息個數(shù)監(jiān)控，生產(chǎn)者消費者監(jiān)控數(shù)據(jù)，以及相關(guān)監(jiān)控數(shù)據(jù)。節(jié)點監(jiān)控節(jié)點監(jiān)控提供每個上的磁盤網(wǎng)卡，服務(wù)，以及監(jiān)控數(shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時至15天多個維度的集群流入、流出數(shù)據(jù)量和消息個數(shù)監(jiān)控，Kafka生產(chǎn)者、消費者監(jiān)控數(shù)據(jù)，以及Zookeeper相關(guān)監(jiān)控數(shù)據(jù)。節(jié)點監(jiān)控提供每個Broker上的CPU、MEM、磁...

    ernest.wang 評論0 收藏680

發(fā)表評論

0條評論

閱讀需要支付1元查看
<