資訊專欄INFORMATION COLUMN
摘要：創(chuàng)建集群時磁盤管理方式默認(rèn)為清理日志。集群運行中選磁盤管理，然后可以修改磁盤管理方式和磁盤使用率閾值，調(diào)整后立即生效。
磁盤管理方式包括自動清理日志和無操作，清理日志即為當(dāng)磁盤到達(dá)設(shè)定的閾值時開始清理日志文件，避免由于磁盤寫滿導(dǎo)致Kafka服務(wù)不可用。
清理日志當(dāng)集群中某個節(jié)點的磁盤使用率達(dá)到您設(shè)定的閾值時，UKafka會開始自動清理日志。
清理策略為：根據(jù)當(dāng)前節(jié)點上各 topic 實際占用比例與磁盤總?cè)萘?，按比例計算要清理到磁盤閾值之下時各 topic 的占用，以這個值設(shè)置 topic 保留大小。當(dāng)磁盤使用率降低到閾值之下后，會恢復(fù) topic 的保留大小設(shè)置。
每個 topic partition 在磁盤上會對應(yīng)多個 segment 數(shù)據(jù)文件，segment 文件是可操作的最小單位，因此清理的最小粒度也是 1G。
當(dāng)集群磁盤使用達(dá)到閾值時，如果 topic partition 的實際占用小于節(jié)點磁盤的 2%，為了防止 topic 限制過小導(dǎo)致不可用，清理服務(wù)會跳過這類 topic。
當(dāng) topic 占用增長過快時，磁盤清理可能會被頻繁觸發(fā)，磁盤清理策略可以預(yù)防磁盤寫滿導(dǎo)致 Kafka 服務(wù)不可用，但制定的清理策略只能被動的根據(jù) topic 實際占比來決定，并不是最符合實際業(yè)務(wù)需求的方案，因此當(dāng)出現(xiàn)這種情況時，建議您根據(jù)自身業(yè)務(wù)對 topic 保留策略進(jìn)行調(diào)整。
開啟清理日志如果集群中所有 topic partition 都沒有達(dá)到清理限制的大小，但是因為 topic partition 總數(shù)太多導(dǎo)致磁盤占用率達(dá)到閾值，這時日志清理服務(wù)將不會進(jìn)行工作，這種情況必須由用戶自己調(diào)整 topic 或者擴(kuò)容集群
集群創(chuàng)建時和集群運行中都可以開啟該功能。
創(chuàng)建集群時磁盤管理方式默認(rèn)為“清理日志”。不建議您選擇“無操作”，這樣會導(dǎo)致磁盤寫滿之后kafka服務(wù)不可用。
磁盤使用率閾值默認(rèn)為80%，可選范圍為70%~90%。
選“磁盤管理”，然后可以修改磁盤管理方式和磁盤使用率閾值，調(diào)整后立即生效。
若選擇不由UKafka管理磁盤，十分建議您在監(jiān)控中開啟磁盤使用率告警，在磁盤使用率達(dá)到80%時，可在控制臺清理各topic的舊日志。
清理方法為，選擇“topic管理”中的“更新配置”，在彈出窗口中調(diào)小“日志保存時間”。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/126904.html
摘要：大量的和分區(qū)會嚴(yán)重影響集群性能。介紹可參考收到離線分區(qū)總數(shù)異常告警一般是某個節(jié)點宕機(jī)或者服務(wù)異常導(dǎo)致。若服務(wù)卡住，可在評估后在控制臺重啟該節(jié)點服務(wù)。若想了解當(dāng)前請求延時情況，建議關(guān)注平均請求延時監(jiān)控項。 FAQs本篇目錄一個UKafka集群可以創(chuàng)建多少個Topic？如何增加Topic的副本數(shù)量(ReplicationFactor)？收到離線分區(qū)總數(shù)>=10.0個告警，離線分區(qū)總數(shù)是什么，怎么...
摘要：集群管理集群管理集群管理本篇目錄創(chuàng)建集群創(chuàng)建集群調(diào)整集群參數(shù)調(diào)整集群參數(shù)創(chuàng)建集群創(chuàng)建集群創(chuàng)建集群點擊控制臺左上角全部產(chǎn)品選擇消息隊列也可鎖定到左側(cè)菜單欄。選擇完畢后，進(jìn)入集群設(shè)置頁面，可對集群參數(shù)進(jìn)行配置。 集群管理本篇目錄創(chuàng)建集群調(diào)整集群參數(shù)創(chuàng)建集群1. 點擊控制臺左上角全部產(chǎn)品選擇Kafka消息隊列 UKafka,也可鎖定到左側(cè)菜單欄。2. 進(jìn)入UKafka操作界面，點擊創(chuàng)建集群進(jìn)行UK...
摘要：概覽概覽產(chǎn)品簡介操作指南集群管理節(jié)點管理磁盤管理管理管理監(jiān)控視圖監(jiān)控項說明開發(fā)指南快速開始認(rèn)證配置與外網(wǎng)訪問客戶端性能測試連接器產(chǎn)品介紹快速開始產(chǎn)品功能性能測試產(chǎn)品價格產(chǎn)品價格 概覽產(chǎn)品簡介操作指南集群管理節(jié)點管理磁盤管理Topic管理ConsumerGroup管理監(jiān)控視圖監(jiān)控項說明開發(fā)指南快速開始認(rèn)證配置與外網(wǎng)訪問客戶端SDK性能測試FAQsKafka連接器產(chǎn)品介紹快速開始產(chǎn)品功能性能測試...
摘要：監(jiān)控視圖監(jiān)控視圖監(jiān)控視圖集群監(jiān)控集群監(jiān)控提供小時至天多個維度的集群流入流出數(shù)據(jù)量和消息個數(shù)監(jiān)控，生產(chǎn)者消費者監(jiān)控數(shù)據(jù)，以及相關(guān)監(jiān)控數(shù)據(jù)。節(jié)點監(jiān)控節(jié)點監(jiān)控提供每個上的磁盤網(wǎng)卡，服務(wù)，以及監(jiān)控數(shù)據(jù) 監(jiān)控視圖集群監(jiān)控提供1小時至15天多個維度的集群流入、流出數(shù)據(jù)量和消息個數(shù)監(jiān)控，Kafka生產(chǎn)者、消費者監(jiān)控數(shù)據(jù)，以及Zookeeper相關(guān)監(jiān)控數(shù)據(jù)。節(jié)點監(jiān)控提供每個Broker上的CPU、MEM、磁...
摘要：快速開始本例以數(shù)據(jù)同步到來做說明。創(chuàng)建連接器點擊創(chuàng)建連接器按鈕，打開配置頁面。若下游為，則需配置路徑，若為，則需填寫信息。連接器列表詳情頁數(shù)據(jù)驗證參考，為集群創(chuàng)建，并寫入消息到其中?？焖匍_始本例以UKafka數(shù)據(jù)同步到UHadoop來做說明。創(chuàng)建連接器點擊【創(chuàng)建連接器】按鈕，打開配置頁面。配置連接器基本信息配置按需填寫?！旧嫌巍恳鉃镵afka連接器上游的Kafka集群，【下游】意為Kafka...
摘要：性能測試性能測試性能測試上游，下游是的連接器節(jié)點數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型速度消息數(shù)核核核核核核核上游，下游是連接器節(jié)點數(shù)分區(qū)數(shù)數(shù)消息大小機(jī)型版本機(jī)型節(jié)點數(shù)分片數(shù)副本數(shù)速度消息數(shù)核核核核核核核核核 性能測試上游UKafka，下游是UHadoop的HDFS 連接器節(jié)點數(shù)分區(qū)數(shù)broker數(shù)消息大小/byteskafka機(jī)型hadoopmasterhadoopcore速度(消息數(shù)/s)1331024...
閱讀 2160·2025-02-07 13:29
閱讀 1376·2024-11-07 18:25
閱讀 132058·2024-02-01 10:43
閱讀 2140·2024-01-31 14:58
閱讀 1262·2024-01-31 14:54
閱讀 83886·2024-01-29 17:11
閱讀 4133·2024-01-25 14:55
閱讀 2523·2023-06-02 13:36
