內(nèi)存庫長事務(wù)告警的自愈之路

IT那活兒發(fā)布于2023-01-11 13:20 / 1580人閱讀

一條告警，在不同階段回顧，常會有新想法：內(nèi)存庫（TimesTen）長事務(wù)告警就是這樣，從最開始的簡單告警，到逐漸完善成可以自愈的告警。

首先我們要知道什么是內(nèi)存庫長事務(wù)，顧名思義就是運行時間較長、長時間未提交的事務(wù)，這類事務(wù)往往會造成主備同步延時影響主備及時性，一般臨時處理方法是內(nèi)存庫維護人員將應(yīng)用信息反饋給應(yīng)用維護人員，經(jīng)授權(quán)后應(yīng)用側(cè)重啟對應(yīng)進程。

這個流程涉及的操作步驟如下：

回顧各個階段如下：

下面回顧下是如何在不同階段一步步對該告警進行完善的：

初學(xué)內(nèi)存庫

剛學(xué)內(nèi)存庫時，長事務(wù)告警是這樣的：

TT: 長事務(wù)告警:地市-主機IP-系統(tǒng)用戶-內(nèi)存庫實例-庫角色 , 共 3 個, 2017/09/13 03:00,請核查.

告警發(fā)出后，TT維護人員、應(yīng)用維護人員分別根據(jù)操作手冊《【工作手冊】TT內(nèi)存庫出現(xiàn)長事務(wù)處理方法-20161115.docx》進行處理；

深入內(nèi)存庫

經(jīng)過深入學(xué)習(xí)后，對長事務(wù)告警可能出現(xiàn)的各種情形有了積累，告警場景及處理方法逐漸明確完整，告警調(diào)整成這樣的：

TT: 長事務(wù)告警:地市-主機IP-系統(tǒng)用戶-內(nèi)存庫實例-庫角色-10個,應(yīng)用詳情:應(yīng)用主機1.IP 應(yīng)用進程號1;應(yīng)用主機2.IP 應(yīng)用進號2;應(yīng)用主機3.IP 應(yīng)用進程號3, 2018/3/16 01:11,請核查.

這時告警發(fā)出來后，應(yīng)用維護人員直接根據(jù)告警短信中的應(yīng)用詳情部分（進程主機IP地址、進程號），在BOSS后臺進程管理界面（Taskmon平臺）上查找進程的菜單路徑、名稱，審核影響，經(jīng)授權(quán)后執(zhí)行進程停止、啟動操作。

注：BOSS后臺進程管理界面

初學(xué)應(yīng)用

工作內(nèi)容調(diào)整投入到應(yīng)用維護中，再次收到了長事務(wù)告警，看著短信里面的主機IP和進程ID，想著如果直接把進程路徑及名稱寫出來不是更好嗎？經(jīng)過一段時間的學(xué)習(xí)，梳理清楚了在數(shù)據(jù)庫sql查詢方法，這時長事務(wù)告警調(diào)整成這樣的：

TT: 長事務(wù)告警:地市-主機IP-系統(tǒng)用戶-內(nèi)存庫實例-庫角色-2個,應(yīng)用詳情:應(yīng)用主機1.IP ping正常,200集群_CBE系統(tǒng)->200_離線二批->批價合賬合并進程_CBE_RATE728_689_1->intcb_proc->20053203146->應(yīng)用主機1.IP:應(yīng)用進程號1;應(yīng)用主機2.IP ping正常,200集群_臨時搶占進程->200_TMP_二批->TMP_批價合賬合并進程_CBE_RATE715_683_1->intcb_proc->20053202443->應(yīng)用主機2.IP:應(yīng)用進程號2, 2019/8/24 18:50,請核查.

告警發(fā)出來后，一眼就知道是什么業(yè)務(wù)進程、在平臺的哪個界面操作，這時不用再登主機查信息了，應(yīng)用維護人員（或移動值班室人員）直接登錄進程管理界面就可以處理了。

深入應(yīng)用

隨著應(yīng)用的深入學(xué)習(xí)，知道了進程的啟停不僅只能人工在界面處理，還可以通過調(diào)用接口實現(xiàn)；于是想到了正好可以做長事務(wù)告警的自愈處理，于是告警調(diào)整成下面這樣的：

內(nèi)存庫: TT: 長事務(wù)告警:地市-主機IP-系統(tǒng)用戶-內(nèi)存庫實例-庫角色-2個,應(yīng)用詳情:應(yīng)用主機1.IP ping正常,201集群_CBE系統(tǒng)->201_不計費流量話單匹配用戶資料_event_trans->CBE_RATE710_GPRS_FREE_731->event_trans->20180130020->應(yīng)用主機1.IP:應(yīng)用進程號1,已重啟;10.25.19.195 ping正常,201集群_CBE系統(tǒng)->201_離線二批->批價合賬合并進程_CBE_RATE710_735_1->intcb_proc->20153203690->應(yīng)用主機2.IP:應(yīng)用進程號2,已重啟; 2020/8/10 19:00,請核查.

梳理各個階段如下：

總結(jié)思考如下：

內(nèi)存庫長事務(wù)告警的自愈處理，最開始告警的處理、登記占用了大部分維護時間，且都是重復(fù)性的工作，現(xiàn)在告警短信包含了所有信息并且自動處理，維護人員可以將注意點轉(zhuǎn)變到告警原因的統(tǒng)計分析工作上，挖掘更有價值的信息；

本文列舉的樣例只是很小的一個點，提升的效果也是有限的；自以為其他事情也一樣，隨著技術(shù)的提升、角色的調(diào)整、思維的轉(zhuǎn)變，在不同階段對同一件事情往往會有不同的看法，所以需要經(jīng)常回頭看下以前做的事情，不斷完善；一個點帶來的效率的提升可以不斷正向激勵自己，陸續(xù)積累的點逐漸匯聚起來，提升工作效率。

目前現(xiàn)場引入了自動化運維平臺，再回頭看內(nèi)存庫長事務(wù)的告警處理，又能碰撞出什么樣的火花呢？且聽下回分解。