資訊專欄INFORMATION COLUMN
摘要：集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。檢查集群節(jié)點的運行狀態(tài)檢查集群節(jié)點的運行狀態(tài)管理群集上部署的各種服務。如果主節(jié)點遇到性能問題，整個群集都會受到影響。工作的不均衡分配可能會導致處理速度較慢。
查看任務執(zhí)行時控制臺輸出的log，檢查是否有ERROR
2.查看任務執(zhí)行日志若任務為后臺執(zhí)行或定時任務，首先需要知道失敗的任務ID，可通過獲取日志詳情分析日志報錯（查詢?nèi)罩痉椒梢?a target="_blank" rel="noopener">日志查看）
Tips: 常見任務失敗ERROR可參考常見任務ERROR
- 在集群的“監(jiān)控視圖”頁面查看集群或者節(jié)點的監(jiān)控數(shù)據(jù)，判斷是否有異常。
2.查看服務日志- 各個節(jié)點上的/var/log下面有各個服務的日志 - 通過web-yarn的頁面或者hue可以查看到任務運行的日志情況
在向技術支持提交故障時，可以在提交信息中附帶以下內(nèi)容以便快速定位故障：
- 群集的標識符 - 啟動群集的區(qū)域和可用區(qū) - 如何操作會出現(xiàn)這個異常 - 異常的現(xiàn)象的具體描述
2.檢查集群的配置修改- 上一次正確運行的配置和環(huán)境變量是否有做修改。
3.檢查日志通常提交的任務可以在hadoop-yarn的界面可以看到，如無法查看任務通常有以下幾種情況：
- spark任務用本地模式提交 - hive任務用本地提交（hive-server2默認會將一些小任務用本地模式跑）
- 檢查任務日志，如果一個或多個失敗任務，請調(diào)查對應的任務嘗試的日志，以了解更詳細的錯誤信息。 - 檢查服務日志，在每個節(jié)點的/var/log目錄下，每個服務都有各自的存檔目錄。集群運行慢時，通常會在日志中可以查找到明顯的異常，或者花費時間長的操作。
3. 檢查集群節(jié)點的運行狀態(tài)- master：管理群集上部署的各種服務。如果主節(jié)點遇到性能問題，整個群集都會受到影響。 - core：處理 map-reduce 任務,保持 Hadoop 分布式文件系統(tǒng) (HDFS),hbase的regionserver。 - task：處理 map-reduce 任務。這些純粹是計算資源，并不存儲數(shù)據(jù)。您可以向群集添加任務節(jié)點，提高性能速度，或移除不需要的任務節(jié)點。
4. 檢查輸入數(shù)據(jù)注解：在task節(jié)點運行的任務會通過網(wǎng)絡從core節(jié)點上獲取數(shù)據(jù)，所以在某些情況下增加task節(jié)點并不能夠縮短任務的運行時間。
- 請查看您的輸入數(shù)據(jù)。它是否在鍵值之間均勻分配？ 如果您的數(shù)據(jù)嚴重偏向一個或幾個鍵值，那么可能將處理負載映射到少量節(jié)點，而其他節(jié)點則閑置。工作的不均衡分配可能會導致處理速度較慢。 - 不平衡數(shù)據(jù)集的示例是，依據(jù)按字母順序排列的詞運行群集，但有一個數(shù)據(jù)集僅包含以字母“a”開始的詞。當工作被映射時，以“a”開始的節(jié)點處理值會過量，而以其他字母開始的節(jié)點處理詞會處于閑置狀態(tài)。
文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/127198.html
摘要：也可以將托管集群設置為快捷方式，通過左側(cè)快捷方式菜單欄點擊進入。框架集群中僅部署。用于做存儲集群，有專屬的節(jié)點機型。節(jié)點管理節(jié)點，負責協(xié)調(diào)整個集群服務。目前僅節(jié)點支持綁定。通過云主機內(nèi)網(wǎng)進行登錄。登錄密碼為集群創(chuàng)建時設置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務本文檔將帶領您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務。創(chuàng)建集群本章簡單介紹了用戶使用UHadoop服務...
摘要：架構架構元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時可在控制臺開啟元數(shù)據(jù)獨立管理。若項目中已開啟過元數(shù)據(jù)獨立管理，則新集群開啟該功能時，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫獨立于 Hadoop 集群部署，也支持多個集群訪問同一個 Hive 元數(shù)據(jù)庫，可在控制臺對其做管理。產(chǎn)品...
摘要：查看上的歷史日志查看上的歷史日志任務的日志在任務運行結(jié)束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行 常用操作本篇目錄應用的Web接口查看日志配置NFS掛載hdfs到本地應用的Web接口Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務會在主節(jié)點上運行（Active NameNode或...
摘要：產(chǎn)品價格產(chǎn)品價格產(chǎn)品價格托管集群價格根據(jù)節(jié)點類型及配置不同，北京上海廣州香港可用區(qū)詳細價格如下，其他可用區(qū)價格請咨詢技術支持。 產(chǎn)品價格托管 Hadoop 集群價格根據(jù)節(jié)點類型及配置不同 ，北京、上海、廣州、香港可用區(qū)詳細價格如下，其他可用區(qū)價格請咨詢技術支持。 節(jié)點類型機型名稱CPU內(nèi)存(G)硬盤(G)華北一E價格(元/月)國內(nèi)其他可用區(qū)價格（元/月）Master&?Task?計算優(yōu)化實例...
閱讀 1582·2025-02-07 13:29
閱讀 1007·2024-11-07 18:25
閱讀 131501·2024-02-01 10:43
閱讀 1360·2024-01-31 14:58
閱讀 1147·2024-01-31 14:54
閱讀 83575·2024-01-29 17:11
閱讀 3876·2024-01-25 14:55
閱讀 2392·2023-06-02 13:36
