{eval=Array;=+count(Array);}

成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

問答專欄Q & A COLUMN

Spark SQL和Shark在架構上有哪些區(qū)別?

liaoyg8023liaoyg8023 回答0 收藏1
收藏問題

1條回答

alogy

alogy

回答于2022-06-28 14:15

Spark Shark |即Hive onSpark

a.在實現(xiàn)上是把HQL翻譯成Spark上的RDD操作,然后通過Hive的metadata獲取數(shù)據(jù)庫里的表信息,Shark獲取HDFS上的數(shù)據(jù)和文件夾放到Spark上運算.

b.它的最大特性就是快以及與Hive完全兼容

c.Shark使用了Hive的API來實現(xiàn)queryparsing和logic plan generation,最后的Physical Plan execution階段用Spark代替Hadoop MR。

d.通過配置Shark參數(shù),Shark可以自動在內存中緩存特定的RDD,實現(xiàn)數(shù)據(jù)重用,進而加快特定數(shù)據(jù)集的檢索。

e.Shark通過UDF實現(xiàn)特定的數(shù)據(jù)分析學習算法,使得SQL數(shù)據(jù)查詢和運算分析結合在一起,最大化RDD的重復使用。

Spark SQL

a.是基于Catalyst(翻譯為催化劑)引擎的交互式大數(shù)據(jù)SQL技術,使用SchemaRDD來操作SQL,比Shark支持更過的查詢表達式。

b.支持Hive|HBase|Oracle

評論0 贊同0
  •  加載中...

最新活動

您已邀請0人回答 查看邀請

我的邀請列表

  • 擅長該話題
  • 回答過該話題
  • 我關注的人
向幫助了您的網(wǎng)友說句感謝的話吧!
付費偷看金額在0.1-10元之間
<