成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專(zhuān)欄INFORMATION COLUMN

hbase讀寫(xiě)原理

IT那活兒 / 2023人閱讀
hbase讀寫(xiě)原理

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/strong>



HBase讀流程
1. Client先訪(fǎng)問(wèn)zookeeper，從meta表讀取region的位置，然后讀取meta表中的數(shù)據(jù)。meta中又存儲(chǔ)了用戶(hù)表的region信息；
2. 根據(jù)namespace、表名和rowkey在meta表中找到對(duì)應(yīng)的region信息；
3. 找到這個(gè)region對(duì)應(yīng)的regionserver；
4. 查找對(duì)應(yīng)的region；
5. 先從MemStore找數(shù)據(jù)，如果沒(méi)有，再到BlockCache里面讀；
6. BlockCache還沒(méi)有，再到StoreFile上讀(為了讀取的效率)；
7. 如果是從StoreFile里面讀取的數(shù)據(jù)，不是直接返回給客戶(hù)端，而是先寫(xiě)入BlockCache，再返回給客戶(hù)端。



HBase寫(xiě)流程
1. Client向HregionServer發(fā)送寫(xiě)請(qǐng)求；
2. HregionServer將數(shù)據(jù)寫(xiě)到HLog（write ahead log）。為了數(shù)據(jù)的持久化和恢復(fù)；
3. HregionServer將數(shù)據(jù)寫(xiě)到內(nèi)存（MemStore）；
4. 反饋Client寫(xiě)成功。



數(shù)據(jù)flush過(guò)程
1. 當(dāng)MemStore數(shù)據(jù)達(dá)到閾值（默認(rèn)是128M，老版本是64M），將數(shù)據(jù)刷到硬盤(pán)，將內(nèi)存中的數(shù)據(jù)刪除，同時(shí)刪除HLog中的歷史數(shù)據(jù)；
2. 并將數(shù)據(jù)存儲(chǔ)到HDFS中；



數(shù)據(jù)合并過(guò)程
1. 當(dāng)數(shù)據(jù)塊達(dá)到4塊，Hmaster將數(shù)據(jù)塊加載到本地，進(jìn)行合并；
2. 當(dāng)合并的數(shù)據(jù)超過(guò)256M，進(jìn)行拆分，將拆分后的Region分配給不同的HregionServer管理；
3. 當(dāng)HregionServer宕機(jī)后，將HregionServer上的hlog拆分，然后分配給不同的HregionServer加載，修改.META.；
4. 注意：HLog會(huì)同步到HDFS。



Hlog災(zāi)難恢復(fù)應(yīng)用
1. 背景：大數(shù)據(jù)hbase集群中regionserver大面積重啟。       
2. 現(xiàn)象：regionserver重啟后，前臺(tái)業(yè)務(wù)開(kāi)始積壓，hbase產(chǎn)生大量GC。
3. 處理過(guò)程：把gc高積壓高的regionserver服務(wù)再次重啟，重啟幾次后發(fā)現(xiàn)積壓沒(méi)有任何改善，后觀察WAL log不斷跟新，后分析應(yīng)該是regionserver重啟導(dǎo)致hlog日志在進(jìn)行恢復(fù)，所以導(dǎo)致產(chǎn)生大量gc進(jìn)而積壓了前端的業(yè)務(wù)。后決定暫時(shí)不對(duì)regionserver進(jìn)行任何操作，持續(xù)觀察WAL log日志是否在跟新恢復(fù)。
4. 結(jié)果：大概兩個(gè)小時(shí)左右hlog災(zāi)難恢復(fù)完成后觀察GC發(fā)現(xiàn)幾乎沒(méi)有g(shù)c前端業(yè)務(wù)也正常處理積壓沒(méi)有持續(xù)增長(zhǎng)。



本文作者：徐 苗

本文來(lái)源：IT那活兒（上海新炬王翦團(tuán)隊(duì)）

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/129543.html

相關(guān)文章

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對(duì)文本進(jìn)行文法分析，生成語(yǔ)法樹(shù)。對(duì)語(yǔ)法樹(shù)進(jìn)一步進(jìn)行分析，類(lèi)似程序編譯器的語(yǔ)義分析，對(duì)語(yǔ)法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對(duì)語(yǔ)法樹(shù)應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡(jiǎn)介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫(kù)，它完全開(kāi)源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評(píng)論0 收藏0

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對(duì)文本進(jìn)行文法分析，生成語(yǔ)法樹(shù)。對(duì)語(yǔ)法樹(shù)進(jìn)一步進(jìn)行分析，類(lèi)似程序編譯器的語(yǔ)義分析，對(duì)語(yǔ)法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對(duì)語(yǔ)法樹(shù)應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡(jiǎn)介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫(kù)，它完全開(kāi)源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評(píng)論0 收藏0

  • HBase基礎(chǔ)

    摘要：回過(guò)頭來(lái)看關(guān)系數(shù)據(jù)庫(kù)，雖然每個(gè)表只有兩個(gè)維度，但可以通過(guò)表之間的關(guān)系來(lái)建立高維度屬性來(lái)描述事物。屬性識(shí)別屬性可以唯一的確定一條數(shù)據(jù)在關(guān)系數(shù)據(jù)庫(kù)中作為主鍵，在中作為。 HBase的讀寫(xiě)流程設(shè)計(jì) 寫(xiě)數(shù)據(jù)：先預(yù)寫(xiě)日式WAL，和寫(xiě)入內(nèi)容MemStore。WAL用來(lái)在節(jié)點(diǎn)宕機(jī)后恢復(fù)寫(xiě)入的數(shù)據(jù)。在MemStore寫(xiě)滿(mǎn)后會(huì)寫(xiě)入磁盤(pán)，生成一個(gè)新的HFile，一旦寫(xiě)入不會(huì)再修改。一個(gè)列族有一個(gè)MemS...

    xfee 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<