成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

Greenplum表故障處理--Primary和mirror

IT那活兒 / 2786人閱讀
Greenplum表故障處理--Primary和mirror

點擊上方“IT那活兒”公眾號，關注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/strong>

primary和mirror的主備同步機制

greenplum是基于postgreSQL進行開發(fā)的，主備是通過流復制實現(xiàn)，但segment節(jié)點的primary和mirror之間的數(shù)據(jù)同步是基于文件級別的同步實現(xiàn)的。
primary和mirror同步的內(nèi)容主要有兩部分：文件和數(shù)據(jù)。
之所以primary和mirror要同步文件，是因為primary和mirror之間可以自動failover，只有兩者保持同步才能相互替代，如果只把數(shù)據(jù)同步過去，pg_control、pg_clog、pg_subtrans 沒有同步，那么從primary切換到mirror就會出現(xiàn)問題。
master和slave卻不用擔心這些問題，Append Only 表的數(shù)據(jù)只會存在 Segment，所以wal日志足夠保持master和slave同步(只要是流復制，pg_control、pg_clog、pg_subtrans 這些文件slave會自動更新，無需從master同步)。
1）數(shù)據(jù)同步
當master向primary下發(fā)執(zhí)行計劃后，primary開始執(zhí)行，如果是dml操作，那么primary會產(chǎn)生XLOG及更新page。會在SlruPhysicalWritePage函數(shù)中(寫數(shù)據(jù)頁)產(chǎn)生FileRepOperationOpen、FileRepOperationWrite、FileRepOperationFlush、FileRepOperationClose等指令消息(消息中包含具體要更新的文件page及內(nèi)容)，通過primary sender進程向mirror發(fā)送message，然后mirror的mirror consumer等進程解析消息，執(zhí)行變更。
xlog通過XLogWrite函數(shù)(寫xlog)執(zhí)行同樣的操作，把xlog更新同步過去。
2）文件同步

primary的recovery進程會循環(huán)把primary的 pg_control、pg_clog、pg_subtrans 等文件覆蓋到mirror。同時檢查xlog是否一致，如果不一致以primary為主，對mirror進行覆蓋。除把primary部分文件同步到mirror之外recovery進程還會將mirror上面的臨時文件刪掉。

創(chuàng)建一個ao表并插入數(shù)據(jù)

通過pg_class系統(tǒng)表查找該表所屬的數(shù)據(jù)塊。
Primary所對應的數(shù)據(jù)塊的位置。
1. 到對應mirror下模擬mirror損壞的情況
修改mirror下16872.1這個數(shù)據(jù)塊，可以看到md5sum校驗值已經(jīng)不同。
這時查看表格發(fā)現(xiàn)可以正常查詢。
2. 模擬primary損壞的情況
同理修改primary下16872.1這個數(shù)據(jù)塊，會發(fā)現(xiàn)查詢報錯。
可以通過報錯信息提示查看數(shù)據(jù)塊所在的實例：
gpstate -c | grep seg0查找實例對應的primary主機和mirror主機。
Ms5sum校驗文件：
md5sum /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1
md5sum /home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
Mirror傳輸覆蓋到primary。
scp /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1 
192.168.**.***:/home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
之后該表可以正常查詢。


本文作者：陸 游(上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/129151.html

相關文章

  • 數(shù)據(jù)倉庫架構(gòu)的變遷

    摘要：前面我們簡單闡述了分布式數(shù)據(jù)庫的架構(gòu)，并通過一條簡單的查詢語句解釋了分布式的執(zhí)行計劃。 引言 第八屆中國架構(gòu)師大會（SACC2016）10月27號到29號在北京萬達索菲特大飯店成功舉辦。大會以架構(gòu)創(chuàng)新之路為主題，云集了國內(nèi)外頂尖專家，共同探討云計算和大數(shù)據(jù)等技術背景下，如何通過架構(gòu)創(chuàng)新及各種IT新技術來帶動企業(yè)轉(zhuǎn)型增效。作為一家專注于云端數(shù)據(jù)倉庫的初創(chuàng)公司，酷克數(shù)據(jù)受邀在SACC201...

    Raaabbit 評論0 收藏0

  • centos7.3下 greenplum-db 安裝、配置文檔

    摘要：下安裝配置文檔一系統(tǒng)要求系統(tǒng)版本要求根據(jù)官方文檔支持以下幾種系統(tǒng)文件系統(tǒng)要求數(shù)據(jù)存儲目錄為文件系統(tǒng)二下安裝服務器列表主節(jié)點數(shù)據(jù)節(jié)點數(shù)據(jù)節(jié)點主節(jié)點切換備用節(jié)點修改系統(tǒng)配置項關閉關閉防火墻修改內(nèi)核配置參數(shù)并執(zhí)行使之生 centos7.3下 greenplum-db 安裝、配置文檔 一.系統(tǒng)要求 1.系統(tǒng)版本要求:根據(jù)官方文檔： greenplumd-b支持以下幾種linux系統(tǒng): ...

    neuSnail 評論0 收藏0

  • 探索Greenplum的實踐，了解新一代大數(shù)據(jù)處理利器

    摘要：上有主節(jié)點和從節(jié)點兩部分，兩者主要的功能是生成查詢計劃并派發(fā)，以及協(xié)調(diào)并行計算，同時在上保存著，這個全局目錄存著一組數(shù)據(jù)庫系統(tǒng)本身所具有的元數(shù)據(jù)的系統(tǒng)表。 前言：近年來，互聯(lián)網(wǎng)的快速發(fā)展積累了海量大數(shù)據(jù)，而在這些大數(shù)據(jù)的處理上，不同技術棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數(shù)據(jù)倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以往大數(shù)據(jù)倉庫所面臨的很多...

    supernavy 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<