問(wèn)答專欄Q & A COLUMN
一、區(qū)別：
1、Hbase： 基于Hadoop數(shù)據(jù)庫(kù)，是一種NoSQL數(shù)據(jù)庫(kù)；HBase表是物理表，適合存放非結(jié)構(gòu)化的數(shù)據(jù)。
2、hive：本身不存儲(chǔ)數(shù)據(jù)，通過(guò)SQL來(lái)計(jì)算和處理HDFS上的結(jié)構(gòu)化數(shù)據(jù)，依賴HDFS和MapReduce；hive中的表是純邏輯表。
Hbase主要解決實(shí)時(shí)數(shù)據(jù)查詢問(wèn)題，
Hive主要解決數(shù)據(jù)處理和計(jì)算問(wèn)題，
二者通常協(xié)作配合使用。
二、適用場(chǎng)景：
1、Hbase：海量明細(xì)數(shù)據(jù)的隨機(jī)實(shí)時(shí)查詢，采集的網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)；
2、hive：適用于離線的批量數(shù)據(jù)計(jì)算，一般用于查詢分析統(tǒng)計(jì)。
評(píng)論0
加載中...
這兩個(gè)東西我都用過(guò)一段時(shí)間，很高興一起來(lái)討論這個(gè)問(wèn)題。
首先來(lái)說(shuō)一下這兩者都是hadoop大數(shù)據(jù)生態(tài)圈中的一員。底層的數(shù)據(jù)存儲(chǔ)都是使用的hdfs，除此之外其實(shí)兩者的關(guān)系并不大。
下面簡(jiǎn)單的分別說(shuō)一下兩者
1. Hbase的本質(zhì)就是一個(gè)數(shù)據(jù)庫(kù)，一個(gè)nosql
2. 是一個(gè)具有主備模式、分布式、可動(dòng)態(tài)增刪節(jié)點(diǎn)的分布式存儲(chǔ)系統(tǒng)
3.厲害之處：使用普通的硬件配置，實(shí)現(xiàn)了存儲(chǔ)并處理大量的數(shù)據(jù)
4. 特定 是列式存儲(chǔ)，所以是nosql
1.hive不能算做是數(shù)據(jù)庫(kù)，只能是hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，
2 .可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張 數(shù)據(jù)庫(kù)表
3.提供了HQL（類sql）查詢功能
4.在操作時(shí)，實(shí)際上是利用MapReduce去處理hdfs的數(shù)據(jù)
1. hive是為了簡(jiǎn)化MapReduce而用的，并不是用類存放數(shù)據(jù)的，本質(zhì)上還是在做運(yùn)算，
Hbase是真正的數(shù)據(jù)庫(kù)，是用來(lái)存放超大量數(shù)據(jù)的，且插入、查詢速度極快
2.用途：hive用來(lái)做數(shù)據(jù)統(tǒng)計(jì)分析，分析hdfs數(shù)據(jù)
hbase用來(lái)做分布式nosql數(shù)據(jù)庫(kù)
上述就是對(duì)兩者的介紹和區(qū)別，歡迎大家評(píng)論討論！ 關(guān)愛(ài)程序媛?。?！祝大家出任CTO，喜歡的歡迎關(guān)注，點(diǎn)贊?。?！哈哈。
評(píng)論0
加載中...
Hbase是什么？
Hbase是一個(gè)架構(gòu)在Hdfs文件系統(tǒng)上的列式存儲(chǔ),是開(kāi)源的，分布式，面向列的數(shù)據(jù)庫(kù)。適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。
Hbase是一個(gè)高可靠、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，可以在廉價(jià)的PC Server搭建大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群.
1,HBase位于Hadoop生態(tài)系統(tǒng)的結(jié)構(gòu)化存儲(chǔ)層。
2,HDFS作為其底層的文件存儲(chǔ)
3,MapReduct為Hbase提供高性能的計(jì)算能力
4,Zookeeper為HBase提供了穩(wěn)定的服務(wù)和failover的能力
Hive是什么？
hive是一個(gè)基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具?？梢詫⒔Y(jié)構(gòu)化數(shù)據(jù)映射為一張數(shù)據(jù)庫(kù)表，并且提供sql的查詢能力，可以將sql換換為MapReduce任務(wù)進(jìn)行。
下面我們看看Hive的架構(gòu)圖：
1，用戶接口，hive主要有三個(gè)接口，CLI(CLI啟動(dòng)的時(shí)候會(huì)同時(shí)氣筒一個(gè)Hive的副本)，Client(hive的客戶端，連結(jié)hive server)，web UI(通過(guò)瀏覽器訪問(wèn))
2，元數(shù)據(jù)存儲(chǔ)，hive將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中如：mysql。
3，Driver(解釋器、編譯器、優(yōu)化器、執(zhí)行器)：完成詞法分析，語(yǔ)法分析，優(yōu)化，編譯，優(yōu)化以及查詢計(jì)劃的生成，隨后由MapReduce使用。
4，Hadoop ，hive的數(shù)據(jù)存儲(chǔ)在Hdfs中。大部分的查詢由MapReduce完成。
Hbase
上面我們分別看了Hbase的特點(diǎn)，hive的特點(diǎn)，那么Hbase和Hive的差別是什么以及各自的使用場(chǎng)景是什么？
Hbase和Hive 二者都是以Hdfs為文件存儲(chǔ)。
Hbase支持列擴(kuò)展，可以對(duì)單元格修改。采取K-V的設(shè)計(jì)，因此查詢效率比較高，一般用于延遲忍耐低的場(chǎng)景；還有就是經(jīng)常需要擴(kuò)展屬性，修改屬性場(chǎng)景。
Hbase的查詢一般通過(guò)命令窗口進(jìn)行，語(yǔ)句比較負(fù)責(zé)，但是hive的采用標(biāo)準(zhǔn)的sql語(yǔ)法，門檻低，上手簡(jiǎn)單。當(dāng)然Hbase也有Phoenix可以去支持 sql這樣的語(yǔ)法操作。
下面看看hbase具體的應(yīng)用場(chǎng)景：
千萬(wàn)并發(fā)、PB存儲(chǔ)、KV基礎(chǔ)存儲(chǔ)、動(dòng)態(tài)列、強(qiáng)同步、稀疏表、二級(jí)索引、SQL
對(duì)象存儲(chǔ)：頭條類、新聞?lì)惖牡男侣?、網(wǎng)頁(yè)、圖片存儲(chǔ)在HBase之中，一些病毒公司的病毒庫(kù)也是存儲(chǔ)在HBase之中。
時(shí)序數(shù)據(jù)：HBase之上有OpenTSDB模塊，可以滿足時(shí)序類場(chǎng)景的需求。
推薦畫(huà)像：用戶的畫(huà)像，是一個(gè)比較大的稀疏矩陣。螞蟻的風(fēng)控就是構(gòu)建在HBase之上。
時(shí)空數(shù)據(jù)：主要是軌跡、氣象網(wǎng)格之類，滴滴打車的軌跡數(shù)據(jù)主要存在HBase之中，另外在技術(shù)所有大一點(diǎn)的數(shù)據(jù)量的車聯(lián)網(wǎng)企業(yè)，數(shù)據(jù)都是存在HBase之中
CubeDB OLAP：Kylin一個(gè)cube分析工具，底層的數(shù)據(jù)就是存儲(chǔ)在HBase之中，不少客戶自己基于離線計(jì)算構(gòu)建cube存儲(chǔ)在hbase之中，滿足在線報(bào)表查詢的需求。
消息/訂單：在電信領(lǐng)域、銀行領(lǐng)域，不少的訂單查詢底層的存儲(chǔ)，另外不少通信、消息同步的應(yīng)用構(gòu)建在HBase之上。
消息/訂單：在電信領(lǐng)域、銀行領(lǐng)域，不少的訂單查詢底層的存儲(chǔ)，另外不少通信、消息同步的應(yīng)用構(gòu)建在HBase之上。
Hive 不能支持列擴(kuò)展，支持追加，好像在新版本中可以支持修改，但是效率比較低。Hive處理的數(shù)據(jù)的吞吐量高，文件越大，hive的優(yōu)勢(shì)就約明顯。一半用于 延遲忍耐高的場(chǎng)景。
下面再來(lái)看看Hive的具體使用場(chǎng)景：
1，分析網(wǎng)絡(luò)日志。
2，ETL清洗數(shù)據(jù)。
3，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)。
4，數(shù)據(jù)挖掘
那么Hbase和Hive在具體的使用場(chǎng)景各自在什么位置呢？我們可以通過(guò)下圖來(lái)了解下：
通過(guò)ETL工具將數(shù)據(jù)源抽取到HDFS存儲(chǔ)，通過(guò)hive清洗處理和計(jì)算原始數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，統(tǒng)一化。如果是面向海量的查詢場(chǎng)景可以存儲(chǔ)Hbase，數(shù)據(jù)應(yīng)用從Hbase中查詢數(shù)據(jù)。
最后在總結(jié)：Hbase和Hive本身都不能存儲(chǔ)數(shù)據(jù)。二者都是對(duì)Hdfs上的文件在做了一次組織。從而適應(yīng)不同的場(chǎng)景。Hbase 在與查詢，動(dòng)態(tài)列場(chǎng)景更有優(yōu)勢(shì)，但是無(wú)法進(jìn)行數(shù)據(jù)分析和挖掘。二Hive本身無(wú)法在低延遲的場(chǎng)景下使用。Hive可以處理大量數(shù)據(jù)的ETL清洗。構(gòu)建統(tǒng)一的標(biāo)準(zhǔn)的數(shù)據(jù)倉(cāng)庫(kù)，從而提供基礎(chǔ)數(shù)據(jù)，共上層數(shù)據(jù)分析。所以hive更加偏向于數(shù)據(jù)分析。
數(shù)據(jù)僧，祝愿每個(gè)在數(shù)據(jù)道路上的人越走越好。歡迎大家在評(píng)論區(qū)留言，大家一起討論。
評(píng)論0
加載中...
HBase是一個(gè)數(shù)據(jù)模型，類似于Google的大表，旨在提供對(duì)大量結(jié)構(gòu)化數(shù)據(jù)的快速隨機(jī)訪問(wèn)。本教程提供了HBase的介紹，在Hadoop文件系統(tǒng)上設(shè)置HBase的過(guò)程以及與HBase shell交互的方法。它還介紹了如何使用java連接到HBase，以及如何使用java執(zhí)行HBase的基本操作。http://codingdict.com/article/8125
Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施工具，用于處理Hadoop中的結(jié)構(gòu)化數(shù)據(jù)。它位于Hadoop的頂部，用于匯總大數(shù)據(jù)，并使查詢和分析變得輕松。這是一個(gè)簡(jiǎn)短的教程，介紹如何將Apache Hive HiveQL與Hadoop分布式文件系統(tǒng)結(jié)合使用。本教程可以成為您成為Hive成功Hadoop開(kāi)發(fā)人員的第一步。http://codingdict.com/article/8149
評(píng)論0
加載中...
要給你回答這兩個(gè)所有的底層為不太合適、我就給你舉一個(gè)易懂的例子。
Hbase 對(duì)應(yīng)就的就是 Mongodb 非關(guān)系型數(shù)據(jù)
Hive 對(duì)應(yīng)的就是 Mysql 關(guān)系型數(shù)據(jù)庫(kù)
如果你要深入研究、單單一個(gè)組件都能讓你隨便研究一年。
所以先從業(yè)務(wù)出發(fā)去考慮使用哪個(gè)、量上來(lái)了再研究?jī)?yōu)化。
評(píng)論0
加載中...0
回答0
回答0
回答0
回答0
回答1
回答0
回答0
回答0
回答0
回答
