12月21日上午09點(diǎn)00分左右接短信告警，XXX庫(kù)節(jié)點(diǎn)1實(shí)例斷連，第一時(shí)間登陸環(huán)境檢查，發(fā)現(xiàn)XXX庫(kù)節(jié)點(diǎn)1主機(jī)于09點(diǎn)01分左右發(fā)生重啟完成。通過(guò)分析節(jié)點(diǎn)1集群日志發(fā)現(xiàn)08點(diǎn)35分到09點(diǎn)01分無(wú)報(bào)錯(cuò)信息，09點(diǎn)02分04秒左右節(jié)點(diǎn)1開(kāi)始啟動(dòng)集群，節(jié)點(diǎn)1數(shù)據(jù)庫(kù)后臺(tái)日志顯示8點(diǎn)51分切換日志后無(wú)報(bào)錯(cuò)信息，后續(xù)集群?jiǎn)?dòng)完成后開(kāi)始啟動(dòng)數(shù)據(jù)庫(kù)實(shí)例。

OSW日志顯示：示節(jié)點(diǎn)1在8點(diǎn)55分出現(xiàn)斷點(diǎn)，cpu和內(nèi)存資源正常，b隊(duì)列較高，節(jié)點(diǎn)1在故障時(shí)間8點(diǎn)55分左右IO耗盡，導(dǎo)致主機(jī)無(wú)法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點(diǎn)1網(wǎng)絡(luò)心跳超時(shí)，發(fā)起主機(jī)重啟。9點(diǎn)01分主機(jī)重啟完成。

8點(diǎn)55分左右IO耗盡的原因：節(jié)點(diǎn)1在8點(diǎn)45分左右，大量未使用綁定變量、全表掃描的同一類型高耗sql同時(shí)執(zhí)行，導(dǎo)致數(shù)據(jù)庫(kù)產(chǎn)生大量的direct path read異常等待事件，direct path read（sql發(fā)起從磁盤中讀操作，耗IO資源），最后IO資源耗盡，致主機(jī)無(wú)法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點(diǎn)1網(wǎng)絡(luò)心跳超時(shí)，發(fā)起主機(jī)重啟。9點(diǎn)01分主機(jī)重啟完成。

具體分析如下：

數(shù)據(jù)庫(kù)節(jié)點(diǎn)1主機(jī)9點(diǎn)1分重啟完成：

oracle集群日志顯示在8點(diǎn)35分到9點(diǎn)02分發(fā)起集群?jiǎn)?dòng)之間無(wú)報(bào)錯(cuò)信息：

oracle后臺(tái)日志顯示數(shù)據(jù)庫(kù)實(shí)例在8點(diǎn)51分到9點(diǎn)21分啟動(dòng)實(shí)例無(wú)報(bào)錯(cuò)信息：

Osw日志顯示節(jié)點(diǎn)1在8點(diǎn)55分出現(xiàn)斷點(diǎn)，cpu和內(nèi)存資源正常，b隊(duì)列較高

節(jié)點(diǎn)2Ping節(jié)點(diǎn)1私網(wǎng)也是在8點(diǎn)55分之后出現(xiàn)斷點(diǎn)：

節(jié)點(diǎn)2ping節(jié)點(diǎn)1私網(wǎng)在8點(diǎn)55分左右出現(xiàn)丟包，說(shuō)明節(jié)點(diǎn)1主機(jī)已宕：

節(jié)點(diǎn)1在8點(diǎn)時(shí)間段的IO情況來(lái)看，正常：

在故障時(shí)間點(diǎn)（8點(diǎn)55分左右）節(jié)點(diǎn)1主機(jī)IO出現(xiàn)大量磁盤讀動(dòng)作

8點(diǎn)50分左右節(jié)點(diǎn)1在宕掉之前出現(xiàn)明顯的IO等待：

通過(guò)非故障時(shí)間點(diǎn)與故障時(shí)間點(diǎn)進(jìn)行比較發(fā)現(xiàn)：節(jié)點(diǎn)1在故障時(shí)間8點(diǎn)55分左右IO耗盡，導(dǎo)致主機(jī)無(wú)法響應(yīng)，網(wǎng)絡(luò)通信失敗，節(jié)點(diǎn)1網(wǎng)絡(luò)心跳超時(shí)，發(fā)起主機(jī)重啟。9點(diǎn)01分主機(jī)重啟完成。

進(jìn)一步檢查8點(diǎn)55分左右IO耗盡的原因，發(fā)現(xiàn)節(jié)點(diǎn)1在8點(diǎn)45分左右數(shù)據(jù)庫(kù)產(chǎn)生大量的direct path read異常等待事件，direct path read（sql發(fā)起從磁盤中讀操作，耗IO資源）

AWR報(bào)告顯示：direct path read大量物理讀占大量IO資源

產(chǎn)生direct path read大量物理讀源頭的sql如下：同一類型的高耗sql語(yǔ)句，SQL沒(méi)有經(jīng)過(guò)審核進(jìn)行上線

sql語(yǔ)句如下所示：未使用綁定變量產(chǎn)生多個(gè)不同sql_id，多個(gè)全表掃會(huì)話跑同一類型高耗sql（大量類似SQL同時(shí)執(zhí)行），導(dǎo)致IO資源耗盡，并且這些sql都未經(jīng)數(shù)據(jù)庫(kù)側(cè)進(jìn)行評(píng)審上線。

高耗sql如下：全表掃描

檢查重啟后數(shù)據(jù)庫(kù)實(shí)例狀態(tài)、CRS狀態(tài)、監(jiān)聽(tīng)狀態(tài)等。并通知應(yīng)用檢查應(yīng)用

后續(xù)改進(jìn)措施：

1、   應(yīng)用側(cè)核查高耗sql模塊，并進(jìn)行優(yōu)化，數(shù)據(jù)庫(kù)側(cè)可以協(xié)助提供技術(shù)支持。

2、   開(kāi)發(fā)商加強(qiáng)上線評(píng)審，評(píng)審?fù)ㄟ^(guò)后方可上線，避免私自未經(jīng)評(píng)審上線。

3、應(yīng)用修改連接機(jī)制，進(jìn)行數(shù)據(jù)庫(kù)高可用配置（連接數(shù)據(jù)庫(kù)VIP，而不是物理IP）。