智能大數(shù)據(jù)平臺(tái)-存儲(chǔ)類服務(wù)管理 USDP

ernest.wang 發(fā)布于2022-07-12 17:44 / 939人閱讀

摘要：服務(wù)配置文件修改服務(wù)配置文件修改參考服務(wù)配置文件管理方式。其他存儲(chǔ)類服務(wù)管理其他存儲(chǔ)類服務(wù)管理其他存儲(chǔ)類服務(wù)管理其他存儲(chǔ)服務(wù)還有等，對(duì)這些存儲(chǔ)服務(wù)的管理方式，均與本篇指南中服務(wù)管理的管理方式類似，此處不再過(guò)多贅述。

存儲(chǔ)類服務(wù)管理

本篇目錄

Zookeeper服務(wù)管理 HDFS服務(wù)管理其他存儲(chǔ)類服務(wù)管理

在USDP1.0.0.0版本中，集群存儲(chǔ)類服務(wù)組件主要有Elasticsearch、HBase、HDFS、Kafka、KUDU、Zookeeper在內(nèi)的6個(gè)服務(wù)組件，下面將以Zookeeper及HDFS為代表展示存儲(chǔ)類組件的管理操作方式。

通過(guò)本篇指南，您可以了解到：

Zookeeper服務(wù)管理 HDFS服務(wù)管理其他存儲(chǔ)類服務(wù)管理

Zookeeper服務(wù)管理

點(diǎn)擊選擇左邊菜單導(dǎo)航欄-“服務(wù)管理”-“存儲(chǔ)類”，在展開(kāi)的子類中點(diǎn)擊“ZOOKEEPER”，即可在右側(cè)窗口打開(kāi)Zookeeper的管理頁(yè)面，如下圖：

storage_zk

Zookeeper 服務(wù)詳情概覽

USDP會(huì)對(duì)支持的單個(gè)組件服務(wù)實(shí)現(xiàn)監(jiān)控，并在USDP控制臺(tái)進(jìn)行相關(guān)監(jiān)控指標(biāo)的可視化展示。

Zookeeper服務(wù)管理首頁(yè)展示了Zookeeper服務(wù)的監(jiān)控指標(biāo)（Leader數(shù)量、Followers數(shù)量、未同步的Followers數(shù)量、等待同步的數(shù)量、臨時(shí)節(jié)點(diǎn)數(shù)、數(shù)據(jù)大小、Znode數(shù)量，以及該服務(wù)不同角色對(duì)應(yīng)的一些更細(xì)致的指標(biāo)情況）如下圖所示：

storage_zk_details

控制臺(tái)監(jiān)控指標(biāo)可視化支持按時(shí)間進(jìn)行查看，USDP預(yù)置了一些時(shí)間周期（默認(rèn)為“1小時(shí)內(nèi)”，還有“6小時(shí)內(nèi)”、“12小時(shí)內(nèi)”、“1天內(nèi)”、“7天內(nèi)”、“15天內(nèi)”、“30天內(nèi)”），也支持時(shí)間周期“自定義”，如下圖所示：

storage_zk_details_time

Zookeeper服務(wù)相關(guān)組件管理

在Zookeeper組件管理頁(yè)面種，點(diǎn)擊“組件管理”選項(xiàng)卡，打開(kāi)Zookeeper相關(guān)組件管理列表，如下圖所示：

storage_zk_subpart

在該管理頁(yè)面中，支持對(duì)Zookeeper分布的多臺(tái)節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行單一/批量節(jié)點(diǎn)操作（服務(wù)的啟動(dòng)、停止、重啟、刪除等），如下圖所示：

storage_zk_subpart_operate

例如，對(duì)所有節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行“停止”運(yùn)行狀態(tài)操作時(shí)，管理平臺(tái)將自動(dòng)檢測(cè)所選組件當(dāng)前的工作狀態(tài)，如下圖所示：

storage_zk_subpart_operate_stop

例如，對(duì)所有節(jié)點(diǎn)上的QuarumPeermain組件進(jìn)行“刪除”操作時(shí)，管理平臺(tái)將給您做出警示提醒，請(qǐng)您仔細(xì)閱讀提示信息，確保此次操作不是誤操作。如下圖所示：

storage_zk_subpart_operate_delete

點(diǎn)擊“確認(rèn)”刪除按鈕，管理平臺(tái)將自動(dòng)檢測(cè)所選組件當(dāng)前的工作狀態(tài)，QuarumPeermain組件正在運(yùn)行（“已啟動(dòng)”狀態(tài)）時(shí)，是不允許直接刪除的。如下圖所示：

storage_zk_subpart_operate_delete_true

若確認(rèn)需要?jiǎng)h除所選QuarumPeermain組件，請(qǐng)先“停止”運(yùn)行，并再次執(zhí)行“刪除”操作。

Zookeeper 服務(wù)組件擴(kuò)展

USDP管理控制臺(tái)支持對(duì)當(dāng)前Zookeeper服務(wù)擴(kuò)展更多節(jié)點(diǎn)。如下圖所示：

storage_zk_subpart_add

點(diǎn)擊“新增組件”按鈕，進(jìn)入“新增組件或服務(wù)”向?qū)?，如下圖所示：

storage_zk_subpart_add_guide1

選擇QuarumPeermain組件需要擴(kuò)展的節(jié)點(diǎn)主機(jī)，如下對(duì)話框截圖所示：

storage_zk_subpart_add_guide2

管理平臺(tái)檢測(cè)出，已加入該平臺(tái)的所有節(jié)點(diǎn)主機(jī)中，udp02節(jié)點(diǎn)上暫未運(yùn)行QuarumPeermain組件，“勾選”udp02左側(cè)的復(fù)選框，點(diǎn)擊“確定”按鈕，進(jìn)入“部署信息總覽”向?qū)ы?yè)，如下圖所示：

storage_zk_subpart_add_guide3

經(jīng)瀏覽確認(rèn)無(wú)誤，點(diǎn)擊“開(kāi)始部署”按鈕，管理平臺(tái)將為udp02節(jié)點(diǎn)安全QuarumPeermain組件，安裝無(wú)誤，將顯示安裝成功狀態(tài)，平臺(tái)會(huì)自動(dòng)啟動(dòng)該組件，如下圖所示：

storage_zk_subpart_add_guide4

安裝進(jìn)度完成后，點(diǎn)擊“完成”按鈕。如下圖所示：

storage_zk_subpart_add_guide5

此時(shí)，可根據(jù)向?qū)е斜韱我?，選擇需要擴(kuò)展的新集群節(jié)點(diǎn)及服務(wù)預(yù)覽等，點(diǎn)擊“開(kāi)始部署”即可完成服務(wù)擴(kuò)展操作。

Zookeeper服務(wù)配置文件修改

參考服務(wù)配置文件管理方式。

HDFS服務(wù)管理

點(diǎn)擊選擇左邊菜單導(dǎo)航欄-“服務(wù)管理”-“存儲(chǔ)類”，在展開(kāi)的子類中點(diǎn)擊“HDFS”，即可在右側(cè)窗口打開(kāi)Hdfs的管理頁(yè)面，如下圖：

storage_hdfs

HDFS 服務(wù)詳情概覽

HDFS服務(wù)管理首頁(yè)展示了HDFS服務(wù)的監(jiān)控指標(biāo)（NameNode是否存活、NameNode Active正常、JournalNode是否存活、ZKFC是否存活、Datanode死亡數(shù)、Datanode存活數(shù)、Datanode心跳超時(shí)數(shù)、HDFS空間使用率、HDFS塊丟失數(shù)、Block副本損壞個(gè)數(shù)、壞盤數(shù)量、Block個(gè)數(shù)、HDFS文件及目錄個(gè)數(shù)、HDFS已用容量、HDFS副本不足的Block數(shù)、未分配給HDFS的磁盤大小、可用堆內(nèi)存、初始堆內(nèi)存等）如下圖所示：

storage_hdfs_details

對(duì)HDFS GC相關(guān)監(jiān)控（GC5分鐘內(nèi)的頻率、GC耗時(shí)、GC MarkSweep標(biāo)記耗時(shí)、GC MarkSweep 5分鐘標(biāo)記頻率）如下圖所示：

storage_hdfs_details1

對(duì)HDFS “堆內(nèi)存使用大小”的監(jiān)控，如下圖所示：

storage_hdfs_details2

HDFS 服務(wù)相關(guān)組件管理

參考 Zookeeper 服務(wù)相關(guān)組件管理方式

HDFS 服務(wù)Web UIs便捷訪問(wèn)

USDP管理系統(tǒng)，根據(jù)HDFS 自身支持相關(guān)Web UI的特性，在集群管理頁(yè)面提供快速打開(kāi)其相關(guān)的UI的能力。

鼠標(biāo)懸停/點(diǎn)擊HDFS 服務(wù)管理頁(yè)面中“Web UIs”選項(xiàng)卡時(shí)，自動(dòng)下拉展開(kāi)HDFS 相關(guān)的頁(yè)面選項(xiàng)鏈接，如下圖所示：

storage_hdfs_ui

點(diǎn)擊“[udp08] NameNode1 Web UI”/“[udp09] NameNode2 Web UI”，會(huì)自動(dòng)在瀏覽器中打開(kāi)新的標(biāo)簽頁(yè)，并顯示udp08/udp09節(jié)點(diǎn)上的HDFS管理頁(yè)面，如下圖所示：

storage_hdfs_ui_details