記一次基于智慧運(yùn)維平臺(tái)故障自愈場(chǎng)景的“探索”

IT那活兒發(fā)布于2023-01-11 13:20 / 1410人閱讀

隨著智慧運(yùn)維平臺(tái)的不斷落地，我們基于平臺(tái)能力，落地了很多場(chǎng)景，監(jiān)控、告警、運(yùn)維操作等等，但我們的監(jiān)控場(chǎng)景與運(yùn)維操作場(chǎng)景依然還是分段式的，平臺(tái)監(jiān)測(cè)到故障告警，依舊需要運(yùn)維人員根據(jù)告警內(nèi)容去判斷執(zhí)行相對(duì)應(yīng)的運(yùn)維操作。

如何將監(jiān)控、告警能力與運(yùn)維操作能力結(jié)合，使之成為一套完整的自動(dòng)化流程?這就是本篇我們分享的主題——基于智慧運(yùn)維平臺(tái)故障自愈場(chǎng)景的小“探索”。

場(chǎng)景介紹

基于智慧運(yùn)維平臺(tái)監(jiān)控weblogicserverFullGC情況，模擬觸發(fā)FullGC告警,再基于平臺(tái)ATM模塊編排自愈運(yùn)維操作，在告警產(chǎn)生后自動(dòng)觸發(fā)故障自愈操作，完成自愈操作。

監(jiān)控自愈流程如下：

場(chǎng)景要素提煉：

基于AMP監(jiān)控采集FullGC信息，同時(shí)針對(duì)監(jiān)控項(xiàng)配置告警觸發(fā)器
基于ATM配置自愈操作，完成故障時(shí)刻信息搜集、server重啟
綁定告警與自愈操作，使告警產(chǎn)生后自動(dòng)觸發(fā)完成自愈動(dòng)作
模擬FullGC場(chǎng)景，觸發(fā)故障自愈流程

場(chǎng)景配置

GC信息監(jiān)控、告警配置

監(jiān)控配置模塊，相信各地已經(jīng)玩的很溜了，也不是本文探究的主題，在此就不占用太多的篇幅去介紹如何去基于AMP接入監(jiān)控了。我們?cè)跍y(cè)試環(huán)境部署了一套weblogicserver，將GC信息接入平臺(tái)監(jiān)控：

同時(shí)針對(duì)JVM堆old區(qū)使用率配置了告警觸發(fā)器（PS：GC監(jiān)控場(chǎng)景有很多，如：FullGC次數(shù)、持久代使用率、O區(qū)使用率等等，本次僅以O(shè)區(qū)使用率作為驗(yàn)證場(chǎng)景）。

自愈操作配置

同樣針對(duì)操作編排的配置，相信大家也都有用過(guò)，本文也不做詳細(xì)贅述。針對(duì)本次測(cè)試，我們?cè)贏TM模塊簡(jiǎn)單配置了一個(gè)weblogic自愈操作：

操作內(nèi)容也很簡(jiǎn)單，搜集了故障時(shí)刻server的堆棧信息treaddump、heapdump(PS:由于是測(cè)試，未做過(guò)多的信息搜集)，之后便進(jìn)行了服務(wù)重啟動(dòng)作，腳本配置了采用local模式執(zhí)行。

綁定告警與自愈操作

配置故障自愈方案，當(dāng)配置了故障處理方案且符合觸發(fā)條件的告警產(chǎn)生時(shí)，故障自愈方案可自動(dòng)執(zhí)行，對(duì)Server進(jìn)行應(yīng)急處理，達(dá)到快速解決故障的目的。

可在監(jiān)控模板告觸發(fā)器配置時(shí)，“故障自愈”頁(yè)面配置操作綁定

或者在配置管理的“告警自愈配置”模塊新增自愈配置，綁定監(jiān)控模板和觸發(fā)場(chǎng)景。兩個(gè)頁(yè)面配置類似，見(jiàn)下圖，在故障自愈方案選擇田間之前在ATM配置好多自愈操作：

配置完成后，如下圖，則新增了一條故障自愈策略，“啟用狀態(tài)”開(kāi)啟，“自動(dòng)執(zhí)行”狀態(tài)開(kāi)啟。其中自動(dòng)執(zhí)行狀態(tài)若是未開(kāi)啟，則告警產(chǎn)生后需要手動(dòng)觸發(fā)自動(dòng)動(dòng)作，可以根據(jù)具體需要設(shè)定。

至此，一個(gè)簡(jiǎn)單的故障自愈場(chǎng)景算是配置完成了。

測(cè)試驗(yàn)證

在模擬FullGC場(chǎng)景之前，我們先來(lái)觀察一下正常情況下，weblogicserver的GC情況，如下圖，JVMold區(qū)使用率較低，穩(wěn)定在12.4%左右，F(xiàn)GC次數(shù)也僅有3次。

當(dāng)模擬觸發(fā)了FullGC場(chǎng)景后，weblogicserver進(jìn)程的FULLGC頻繁執(zhí)行，old區(qū)使用率也接近100%。

觀察平臺(tái)，告警如期觸發(fā)：

自愈動(dòng)作在告警觸發(fā)后同樣觸發(fā)，如下圖，自愈觸發(fā)記錄

觸發(fā)自愈操作，搜集信息及weblogicserver信息，如下圖，服務(wù)重啟，證實(shí)自愈動(dòng)作作發(fā)生：

通過(guò)平臺(tái)GC信息采集看，JVM堆Old區(qū)使用率在觸發(fā)FULLGC前后的變化趨勢(shì)圖，從10%->100%->10%，恢復(fù)到正常水平。

Weblogicserver在模擬FullGC并自愈前后GC次數(shù)的變化趨勢(shì)圖如下圖所示，F(xiàn)ullGC次數(shù)迅速增加，觸發(fā)自愈動(dòng)作重啟實(shí)例后，F(xiàn)ULLGC再次恢復(fù)實(shí)例啟動(dòng)狀態(tài)。

自愈后告警狀態(tài)自動(dòng)變更為“已恢復(fù)”，至此，自愈流程驗(yàn)證完成。

以上便是通過(guò)智慧運(yùn)維平臺(tái)AMP監(jiān)控場(chǎng)景、ATM運(yùn)維操作場(chǎng)景結(jié)合，以完成從監(jiān)控，到告警產(chǎn)生，再到故障自愈的一次“探索”。過(guò)程略簡(jiǎn)陋了些，在實(shí)際運(yùn)維中，自愈場(chǎng)景需要考慮的點(diǎn)有很多，如自動(dòng)or手動(dòng)觸發(fā)自愈，自愈搜集哪些信息，如何確保自愈動(dòng)作100%完成，風(fēng)險(xiǎn)等等，都是需要我們根據(jù)不同的故障場(chǎng)景，去探究分析一套安全有效的解決方案。

END