airflow精品文章

• 

  [原]數(shù)據(jù)科學(xué)教程：如何使用Airflow調(diào)度數(shù)據(jù)科學(xué)工作流

  概述 Airflow 是一個(gè)我們正在用的工作流調(diào)度器，相對(duì)于傳統(tǒng)的crontab任務(wù)管理，Airflow很好的為我們理清了復(fù)雜的任務(wù)依賴關(guān)系、監(jiān)控任務(wù)執(zhí)行的情況。我們喜歡它是因?yàn)樗鼘懘a太容易了，也便于調(diào)試、維護(hù)和繼承重用，而...

  v1 2019-07-25 10:35 評(píng)論0 收藏0
• 

  airflow探索篇

  airflow是一個(gè) Airbnb 的 Workflow 開(kāi)源項(xiàng)目，在Github 上已經(jīng)有超過(guò)兩千星。data pipeline調(diào)度和監(jiān)控工作流的平臺(tái)，用于用來(lái)創(chuàng)建、監(jiān)控和調(diào)整data pipeline。類似的產(chǎn)品有：Azkaban、oozie pip方式安裝 默認(rèn)已經(jīng)安裝python >= 2.7 以及 pip安裝...

  leap_frog 2019-07-30 15:23 評(píng)論0 收藏0
• 

  一個(gè)適合小公司用的 data pipeline 工具

  ...工具 airbnb是我很喜歡的公司，他們有很多開(kāi)源的工具，airflow我覺(jué)得是最實(shí)用的代表。airflow 是能進(jìn)行數(shù)據(jù)pipeline的管理，甚至是可以當(dāng)做更高級(jí)的cron job 來(lái)使用。現(xiàn)在一般的大廠都說(shuō)自己的數(shù)據(jù)處理是ETL，美其名曰 data pipeline，...

  2i18ns 2019-07-24 18:19 評(píng)論0 收藏0
• 

  [譯] 解密 Airbnb 的數(shù)據(jù)流編程神器：Airflow 中的技巧和陷阱

  ... 前言 Airbnb的數(shù)據(jù)工程師 Maxime Beauchemin 激動(dòng)地表示道：Airflow 是一個(gè)我們正在用的工作流調(diào)度器，現(xiàn)在的版本已經(jīng)更新到1.6.1了，并且引入了一些列調(diào)度引擎的改革。我們喜歡它是因?yàn)樗鼘懘a太容易了，也便于調(diào)試和維護(hù)。...

  zsy888 2019-07-25 10:21 評(píng)論0 收藏0
• 

  數(shù)據(jù)科學(xué)部門如何使用Python和R組合完成任務(wù)

  ...統(tǒng)，可以非常出色地完成數(shù)據(jù)倉(cāng)庫(kù)的定義和管理。通過(guò) airflow 我們又可以很好的對(duì)ETL過(guò)程做全流程的監(jiān)控。所以，在第二步，我依然建議使用Python作為數(shù)據(jù)治理的工具。 四、數(shù)據(jù)分析 數(shù)據(jù)分析首先涉及的就是探索式分析，這一...

  Apollo 2019-07-25 10:19 評(píng)論0 收藏0
• 

  ApacheCN 學(xué)習(xí)資源匯總 2019.1

  ...na 5.2 中文文檔 Kudu 1.4.0 中文文檔 Spring Boot 1.5.2 中文文檔 Airflow 中文文檔 區(qū)塊鏈 Solidity 中文文檔 數(shù)學(xué)筆記 MIT 18.06 線性代數(shù)筆記 Python 數(shù)據(jù)科學(xué) NumPy 中文文檔 Pandas 中文文檔 Matplotlib 中文文檔 UCB Data8 課本：計(jì)算與推斷思維 UCB ...

  cheng10 2019-07-31 10:01 評(píng)論0 收藏0
• 

  ApacheCN 學(xué)習(xí)資源匯總 2018.12

  ...na 5.2 中文文檔 Kudu 1.4.0 中文文檔 Spring Boot 1.5.2 中文文檔 Airflow 中文文檔 區(qū)塊鏈 Solidity 中文文檔 數(shù)學(xué)筆記 MIT 18.06 線性代數(shù)筆記 Python 數(shù)據(jù)科學(xué) NumPy 中文文檔 Pandas 中文文檔 Matplotlib 中文文檔 UCB Data8 課本：計(jì)算與推斷思維 UCB ...

  izhuhaodev 2019-06-26 18:41 評(píng)論0 收藏0
• 

  ApacheCN 學(xué)習(xí)資源匯總 2018.12

  ...na 5.2 中文文檔 Kudu 1.4.0 中文文檔 Spring Boot 1.5.2 中文文檔 Airflow 中文文檔 區(qū)塊鏈 Solidity 中文文檔 數(shù)學(xué)筆記 MIT 18.06 線性代數(shù)筆記 Python 數(shù)據(jù)科學(xué) NumPy 中文文檔 Pandas 中文文檔 Matplotlib 中文文檔 UCB Data8 課本：計(jì)算與推斷思維 UCB ...

  khs1994 2019-07-30 18:41 評(píng)論0 收藏0
• 

  功能簡(jiǎn)介 智能大數(shù)據(jù)平臺(tái) USDP

  ...ZEPPELIN0.8.2可視化管理服務(wù)ZKUI2.0.0Zookeeper可視化管理服務(wù)AIRFLOW1.10.12任務(wù)調(diào)度服務(wù)OOZIE5.2.0任務(wù)調(diào)度服務(wù)RANGER1.2.0授權(quán)服務(wù)ATLAS1.2.0元數(shù)據(jù)管理服務(wù)ALERTMANAGER0.21.0發(fā)送監(jiān)控告警信息GRAFANA6.5.1展示監(jiān)控?cái)?shù)據(jù)INFLUXDB1.8.0存儲(chǔ)監(jiān)控?cái)?shù)據(jù)NODEEXPORT...

  ernest.wang 2022-07-12 17:24 評(píng)論0 收藏2278