數(shù)倉(cāng)精品文章

• 

  OPPO數(shù)據(jù)中臺(tái)之基石：基于Flink SQL構(gòu)建實(shí)數(shù)據(jù)倉(cāng)庫(kù)

  ...也是 Apache Flink contributor。本文主要內(nèi)容如下： OPPO 實(shí)時(shí)數(shù)倉(cāng)的演進(jìn)思路； 基于 Flink SQL 的擴(kuò)展工作； 構(gòu)建實(shí)時(shí)數(shù)倉(cāng)的應(yīng)用案例； 未來(lái)工作的思考和展望。 一.OPPO 實(shí)時(shí)數(shù)倉(cāng)的演進(jìn)思路 1.1.OPPO 業(yè)務(wù)與數(shù)據(jù)規(guī)模 大家都知道 OPPO 是...

  jeffrey_up 2019-07-24 10:55 評(píng)論0 收藏0
• 

  Data Lakehouse數(shù)據(jù)湖到底是什么呢？

  ...我們都在使用兩種數(shù)據(jù)存儲(chǔ)方式來(lái)架構(gòu)數(shù)據(jù)：數(shù)據(jù)倉(cāng)庫(kù)：數(shù)倉(cāng)這樣的一種數(shù)據(jù)存儲(chǔ)架構(gòu)，它主要存儲(chǔ)的是以關(guān)系型數(shù)據(jù)庫(kù)組織起來(lái)的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)通過(guò)轉(zhuǎn)換、整合以及清理，并導(dǎo)入到目標(biāo)表中。在數(shù)倉(cāng)中，數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)與...

  Tecode 2022-06-28 18:59 評(píng)論0 收藏0
• 

  為什么我們需要數(shù)據(jù)湖?

  ...比文件系統(tǒng)更差除了實(shí)時(shí)數(shù)據(jù)載體的問(wèn)題，還有引入實(shí)時(shí)數(shù)倉(cāng)后，和離線(xiàn)數(shù)倉(cāng)的統(tǒng)一的問(wèn)題，比如實(shí)時(shí)數(shù)倉(cāng)的數(shù)據(jù)治理、權(quán)限管理，是不是要單獨(dú)做一套？如何統(tǒng)一實(shí)時(shí)數(shù)據(jù)和離線(xiàn)數(shù)據(jù)的計(jì)算口徑？?jī)商讛?shù)據(jù)系統(tǒng)的資源浪費(fèi)嚴(yán)重...

  Tecode 2022-06-28 18:59 評(píng)論0 收藏0
• 

  ES寫(xiě)入性能優(yōu)化

  背景: 有1億多的用戶(hù)畫(huà)像中數(shù)倉(cāng)需要導(dǎo)入ES。大多數(shù)字段都是sql統(tǒng)計(jì)數(shù)據(jù)，無(wú)法區(qū)分哪些發(fā)生了變化，所以不能增量更新。只能每天全量刷數(shù)據(jù)。在刷數(shù)據(jù)的過(guò)程中出現(xiàn)了更新緩慢、內(nèi)存問(wèn)題。于是做了一些寫(xiě)入優(yōu)化。 * 解...

  dailybird 2019-08-16 15:24 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉(cāng)技術(shù)公司，成為一線(xiàn)CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  ashe 2019-06-24 17:59 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉(cāng)技術(shù)公司，成為一線(xiàn)CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  caoym 2019-06-21 16:43 評(píng)論0 收藏0
• 

  功能簡(jiǎn)介 智能大數(shù)據(jù)平臺(tái) USDP

  ...式計(jì)算引擎FLUME1.9.0數(shù)據(jù)采集與轉(zhuǎn)儲(chǔ)服務(wù)HIVE2.3.6常用的HQL數(shù)倉(cāng)工具IMPALA2.10.0分布式計(jì)算服務(wù)KYLIN3.1.0數(shù)倉(cāng)維度建模服務(wù)LIVY0.7.0Spark的REST服務(wù)PHOENIX4.14.3HBaseSQL化查詢(xún)分析工具PRESTO0.234分布式計(jì)算服務(wù)SPARK2.4.6分布式計(jì)算引擎SQOOP1.4.7數(shù)據(jù)...

  ernest.wang 2022-07-12 17:24 評(píng)論0 收藏2278
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉(cāng)技術(shù)公司，成為一線(xiàn)CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  pinecone 2019-06-24 17:59 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉(cāng)技術(shù)公司，成為一線(xiàn)CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  hufeng 2019-06-21 16:42 評(píng)論0 收藏0