摘要：再如通過處理流數(shù)據(jù)生成簡單的報(bào)告，如五分鐘的窗口聚合數(shù)據(jù)平均值。復(fù)雜的事情還有在流數(shù)據(jù)中進(jìn)行數(shù)據(jù)多維度關(guān)聯(lián)聚合塞選，從而找到復(fù)雜事件中的根因。因?yàn)楦鞣N需求，也就造就了現(xiàn)在不斷出現(xiàn)實(shí)時(shí)計(jì)算框架，而下文我們將重磅介紹我們推薦的實(shí)時(shí)計(jì)算框架。

先廣而告之，本文摘自本人《大數(shù)據(jù)重磅炸彈——實(shí)時(shí)計(jì)算框架 Flink》課程第二篇，內(nèi)容首發(fā)自我的知識(shí)星球，后面持續(xù)在星球里更新，這里做個(gè)預(yù)告，今晚 12 點(diǎn)后漲價(jià)至 199。

自己之前發(fā)布過一篇 Chat 《大數(shù)據(jù)“重磅炸彈”：實(shí)時(shí)計(jì)算框架 Flink》，里面介紹了多種需求：

小田，你看能不能做個(gè)監(jiān)控大屏實(shí)時(shí)查看促銷活動(dòng)銷售額（GMV）？

小朱，搞促銷活動(dòng)的時(shí)候能不能實(shí)時(shí)統(tǒng)計(jì)下網(wǎng)站的 PV/UV 啊？

小鵬，我們現(xiàn)在搞促銷活動(dòng)能不能實(shí)時(shí)統(tǒng)計(jì)銷量 Top5 ??？

小李，怎么回事??？現(xiàn)在搞促銷活動(dòng)結(jié)果服務(wù)器宕機(jī)了都沒告警，能不能加一個(gè)？

小劉，服務(wù)器這會(huì)好卡，是不是出了什么問題啊，你看能不能做個(gè)監(jiān)控大屏實(shí)時(shí)查看機(jī)器的運(yùn)行情況？

小趙，我們線上的應(yīng)用頻繁出現(xiàn) Error 日志，但是只有靠人肉上機(jī)器查看才知道情況，能不能在出現(xiàn)錯(cuò)誤的時(shí)候及時(shí)告警通知？

小夏，我們 1 元秒殺促銷活動(dòng)中有件商品被某個(gè)用戶薅了 100 件，怎么都沒有風(fēng)控??？

小宋，你看我們搞促銷活動(dòng)能不能根據(jù)每個(gè)顧客的瀏覽記錄實(shí)時(shí)推薦不同的商品啊？

……

大數(shù)據(jù)發(fā)展至今，數(shù)據(jù)呈指數(shù)倍的增長，對(duì)實(shí)效性的要求也越來越高，于是像上面這種需求也變得越來越多了。

那這些場景對(duì)應(yīng)著什么業(yè)務(wù)需求呢？我們來總結(jié)下，大概如下：

初看這些需求，是不是感覺很難？

那么我們接下來來分析一下該怎么去實(shí)現(xiàn)？

從這些需求來看，最根本的業(yè)務(wù)都是需要實(shí)時(shí)查看數(shù)據(jù)信息，那么首先我們得想想如何去采集這些實(shí)時(shí)數(shù)據(jù)，然后將采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行實(shí)時(shí)的計(jì)算，最后將計(jì)算后的結(jié)果下發(fā)到第三方。

就上面這些需求，我們需要采集些什么數(shù)據(jù)呢？

買家搜索記錄信息

買家瀏覽的商品信息

買家下單訂單信息

網(wǎng)站的所有瀏覽記錄

機(jī)器 CPU/MEM/IO 信息

應(yīng)用日志信息

采集后的數(shù)據(jù)實(shí)時(shí)上報(bào)后，需要做實(shí)時(shí)的計(jì)算，那我們?cè)趺磳?shí)現(xiàn)計(jì)算呢？

計(jì)算所有商品的總銷售額

統(tǒng)計(jì)單個(gè)商品的銷量，最后求 Top5

關(guān)聯(lián)用戶信息和瀏覽信息、下單信息

統(tǒng)計(jì)網(wǎng)站所有的請(qǐng)求 IP 并統(tǒng)計(jì)每個(gè) IP 的請(qǐng)求數(shù)量

計(jì)算一分鐘內(nèi)機(jī)器 CPU/MEM/IO 的平均值、75 分位數(shù)值

過濾出 Error 級(jí)別的日志信息

實(shí)時(shí)計(jì)算后的數(shù)據(jù)，需要及時(shí)的下發(fā)到下游，這里說的下游代表可能是：

告警方式（郵件、短信、釘釘、微信）

在計(jì)算層會(huì)將計(jì)算結(jié)果與閾值進(jìn)行比較，超過閾值觸發(fā)告警，讓運(yùn)維提前收到通知，及時(shí)做好應(yīng)對(duì)措施，減少故障的損失大小。

存儲(chǔ)（消息隊(duì)列、DB、文件系統(tǒng)等）

數(shù)據(jù)存儲(chǔ)后，監(jiān)控大盤（Dashboard）從存儲(chǔ)（ElasticSearch、HBase 等）里面查詢對(duì)應(yīng)指標(biāo)的數(shù)據(jù)就可以查看實(shí)時(shí)的監(jiān)控信息，做到對(duì)促銷活動(dòng)的商品銷量、銷售額，機(jī)器 CPU、MEM 等有實(shí)時(shí)監(jiān)控，運(yùn)營、運(yùn)維、開發(fā)、領(lǐng)導(dǎo)都可以實(shí)時(shí)查看并作出對(duì)應(yīng)的措施。

讓運(yùn)營知道哪些商品是爆款，哪些店鋪成交額最多，哪些商品成交額最高，哪些商品瀏覽量最多；

讓運(yùn)維可以時(shí)刻了解機(jī)器的運(yùn)行狀況，出現(xiàn)宕機(jī)或者其他不穩(wěn)定情況可以及時(shí)處理；

讓開發(fā)知道自己項(xiàng)目運(yùn)行的情況，從 Error 日志知道出現(xiàn)了哪些 Bug；

讓領(lǐng)導(dǎo)知道這次促銷賺了多少 money。

從數(shù)據(jù)采集到數(shù)據(jù)計(jì)算再到數(shù)據(jù)下發(fā)，整個(gè)流程在上面的場景對(duì)實(shí)時(shí)性要求還是很高的，任何一個(gè)地方出現(xiàn)問題都將影響最后的效果！

前面說了這么多場景，這里我們總結(jié)一下實(shí)時(shí)計(jì)算常用的場景有哪些呢？

交通信號(hào)燈數(shù)據(jù)

道路上車流量統(tǒng)計(jì)（擁堵狀況）

公安視頻監(jiān)控

服務(wù)器運(yùn)行狀態(tài)監(jiān)控

金融證券公司實(shí)時(shí)跟蹤股市波動(dòng)，計(jì)算風(fēng)險(xiǎn)價(jià)值

數(shù)據(jù)實(shí)時(shí) ETL

銀行或者支付公司涉及金融盜竊的預(yù)警

……

另外我自己在我的群里也有做過調(diào)研（不完全統(tǒng)計(jì)），他們?cè)诠?Flink（一個(gè)實(shí)時(shí)計(jì)算框架）使用場景有這些：

總結(jié)一下大概有下面這四類：

實(shí)時(shí)數(shù)據(jù)存儲(chǔ)

實(shí)時(shí)數(shù)據(jù)存儲(chǔ)的時(shí)候做一些微聚合、過濾某些字段、數(shù)據(jù)脫敏，組建數(shù)據(jù)倉庫，實(shí)時(shí) ETL。

實(shí)時(shí)數(shù)據(jù)分析

實(shí)時(shí)數(shù)據(jù)接入機(jī)器學(xué)習(xí)框架（TensorFlow）或者一些算法進(jìn)行數(shù)據(jù)建模、分析，然后動(dòng)態(tài)的給出商品推薦、廣告推薦

實(shí)時(shí)監(jiān)控告警

金融相關(guān)涉及交易、實(shí)時(shí)風(fēng)控、車流量預(yù)警、服務(wù)器監(jiān)控告警、應(yīng)用日志告警

實(shí)時(shí)數(shù)據(jù)報(bào)表

活動(dòng)營銷時(shí)銷售額/銷售量大屏，TopN 商品

說到實(shí)時(shí)計(jì)算，這里不得不講一下和傳統(tǒng)的離線計(jì)算的區(qū)別！

再講這兩個(gè)區(qū)別之前，我們先來看看流處理和批處理的區(qū)別：

看完流處理與批處理這兩者的區(qū)別之后，我們來抽象一下前面文章的場景需求（實(shí)時(shí)計(jì)算）：

實(shí)時(shí)計(jì)算需要不斷的從 MQ 中讀取采集的數(shù)據(jù)，然后處理計(jì)算后往 DB 里存儲(chǔ)，在計(jì)算這層你無法感知到會(huì)有多少數(shù)據(jù)量過來、要做一些簡單的操作（過濾、聚合等）、及時(shí)將數(shù)據(jù)下發(fā)。

相比傳統(tǒng)的離線計(jì)算，它卻是這樣的：

在計(jì)算這層，它從 DB（不限 MySQL，還有其他的存儲(chǔ)介質(zhì)）里面讀取數(shù)據(jù)，該數(shù)據(jù)一般就是固定的（前一天、前一星期、前一個(gè)月），然后再做一些復(fù)雜的計(jì)算或者統(tǒng)計(jì)分析，最后生成可供直觀查看的報(bào)表（dashboard）。

數(shù)據(jù)量大且時(shí)間周期長（一天、一星期、一個(gè)月、半年、一年）

在大量數(shù)據(jù)上進(jìn)行復(fù)雜的批量運(yùn)算

數(shù)據(jù)在計(jì)算之前已經(jīng)固定，不再會(huì)發(fā)生變化

能夠方便的查詢批量計(jì)算的結(jié)果

在大數(shù)據(jù)中與離線計(jì)算對(duì)應(yīng)的則是實(shí)時(shí)計(jì)算，那么實(shí)時(shí)計(jì)算有什么特點(diǎn)呢？由于應(yīng)用場景的各不相同，所以這兩種計(jì)算引擎接收數(shù)據(jù)的方式也不太一樣：離線計(jì)算的數(shù)據(jù)是固定的（不再會(huì)發(fā)生變化），通常離線計(jì)算的任務(wù)都是定時(shí)的，如：每天晚上 0 點(diǎn)的時(shí)候定時(shí)計(jì)算前一天的數(shù)據(jù)，生成報(bào)表；然而實(shí)時(shí)計(jì)算的數(shù)據(jù)源卻是流式的。

這里我不得不講講什么是流式數(shù)據(jù)呢？我的理解是比如你在淘寶上下單了某個(gè)商品或者點(diǎn)擊瀏覽了某件商品，你就會(huì)發(fā)現(xiàn)你的頁面立馬就會(huì)給你推薦這種商品的廣告和類似商品的店鋪，這種就是屬于實(shí)時(shí)數(shù)據(jù)處理然后作出相關(guān)推薦，這類數(shù)據(jù)需要不斷的從你在網(wǎng)頁上的點(diǎn)擊動(dòng)作中獲取數(shù)據(jù)，之后進(jìn)行實(shí)時(shí)分析然后給出推薦。

數(shù)據(jù)實(shí)時(shí)到達(dá)

數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制

數(shù)據(jù)規(guī)模大且無法預(yù)知容量

原始數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)昂貴

實(shí)時(shí)計(jì)算一時(shí)爽，一直實(shí)時(shí)計(jì)算一直爽，對(duì)于持續(xù)生成最新數(shù)據(jù)的場景，采用流數(shù)據(jù)處理是非常有利的。例如，再監(jiān)控服務(wù)器的一些運(yùn)行指標(biāo)的時(shí)候，能根據(jù)采集上來的實(shí)時(shí)數(shù)據(jù)進(jìn)行判斷，當(dāng)超出一定閾值的時(shí)候發(fā)出警報(bào)，進(jìn)行提醒作用。再如通過處理流數(shù)據(jù)生成簡單的報(bào)告，如五分鐘的窗口聚合數(shù)據(jù)平均值。復(fù)雜的事情還有在流數(shù)據(jù)中進(jìn)行數(shù)據(jù)多維度關(guān)聯(lián)、聚合、塞選，從而找到復(fù)雜事件中的根因。更為復(fù)雜的是做一些復(fù)雜的數(shù)據(jù)分析操作，如應(yīng)用機(jī)器學(xué)習(xí)算法，然后根據(jù)算法處理后的數(shù)據(jù)結(jié)果提取出有效的信息，作出、給出不一樣的推薦內(nèi)容，讓不同的人可以看見不同的網(wǎng)頁（千人千面）。

數(shù)據(jù)處理唯一性（如何保證數(shù)據(jù)只處理一次？至少一次？最多一次？）

數(shù)據(jù)處理的及時(shí)性（采集的實(shí)時(shí)數(shù)據(jù)量太大的話可能會(huì)導(dǎo)致短時(shí)間內(nèi)處理不過來，如何保證數(shù)據(jù)能夠及時(shí)的處理，不出現(xiàn)數(shù)據(jù)堆積？）

數(shù)據(jù)處理層和存儲(chǔ)層的可擴(kuò)展性（如何根據(jù)采集的實(shí)時(shí)數(shù)據(jù)量的大小提供動(dòng)態(tài)擴(kuò)縮容？）

數(shù)據(jù)處理層和存儲(chǔ)層的容錯(cuò)性（如何保證數(shù)據(jù)處理層和存儲(chǔ)層高可用，出現(xiàn)故障時(shí)數(shù)據(jù)處理層和存儲(chǔ)層服務(wù)依舊可用？）

本文從日常需求來分析該如何去實(shí)現(xiàn)這類需求，需要實(shí)時(shí)采集、實(shí)時(shí)計(jì)算、實(shí)時(shí)下發(fā)，并用圖片把需求完成后的效果圖展示了出來，接著我們分析了對(duì)實(shí)時(shí)性要求高的計(jì)算這塊，然后將離線計(jì)算與實(shí)時(shí)計(jì)算進(jìn)行了對(duì)比、批處理與流處理進(jìn)行對(duì)比、離線計(jì)算的特點(diǎn)與實(shí)時(shí)計(jì)算的特點(diǎn)進(jìn)行了對(duì)比，再加上我自己的調(diào)研結(jié)果，歸納了實(shí)時(shí)計(jì)算的四種使用場景，提出了使用實(shí)時(shí)計(jì)算時(shí)要面臨的挑戰(zhàn)。因?yàn)楦鞣N需求，也就造就了現(xiàn)在不斷出現(xiàn)實(shí)時(shí)計(jì)算框架，而下文我們將重磅介紹我們推薦的實(shí)時(shí)計(jì)算框架 —— Flink。

https://github.com/zhisheng17/flink-learning/

以后這個(gè)項(xiàng)目的所有代碼都將放在這個(gè)倉庫里，包含了自己學(xué)習(xí) flink 的一些 demo 和博客。

1、Flink 從0到1學(xué)習(xí) —— Apache Flink 介紹

2、Flink 從0到1學(xué)習(xí) —— Mac 上搭建 Flink 1.6.0 環(huán)境并構(gòu)建運(yùn)行簡單程序入門

3、Flink 從0到1學(xué)習(xí) —— Flink 配置文件詳解

4、Flink 從0到1學(xué)習(xí) —— Data Source 介紹

5、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Source ？

6、Flink 從0到1學(xué)習(xí) —— Data Sink 介紹

7、Flink 從0到1學(xué)習(xí) —— 如何自定義 Data Sink ？

8、Flink 從0到1學(xué)習(xí) —— Flink Data transformation(轉(zhuǎn)換)

9、Flink 從0到1學(xué)習(xí) —— 介紹 Flink 中的 Stream Windows

10、Flink 從0到1學(xué)習(xí) —— Flink 中的幾種 Time 詳解

11、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 ElasticSearch

12、Flink 從0到1學(xué)習(xí) —— Flink 項(xiàng)目如何運(yùn)行？

13、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Kafka

14、Flink 從0到1學(xué)習(xí) —— Flink JobManager 高可用性配置

15、Flink 從0到1學(xué)習(xí) —— Flink parallelism 和 Slot 介紹

16、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)批量寫入到 MySQL

17、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RabbitMQ

18、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HBase

19、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 HDFS

20、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Redis

21、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Cassandra

22、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 Flume

23、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 InfluxDB

24、Flink 從0到1學(xué)習(xí) —— Flink 讀取 Kafka 數(shù)據(jù)寫入到 RocketMQ

25、Flink 從0到1學(xué)習(xí) —— 你上傳的 jar 包藏到哪里去了

26、Flink 從0到1學(xué)習(xí) —— 你的 Flink job 日志跑到哪里去了

27、阿里巴巴開源的 Blink 實(shí)時(shí)計(jì)算框架真香

28、Flink 從0到1學(xué)習(xí) —— Flink 中如何管理配置？

29、Flink 從0到1學(xué)習(xí)—— Flink 不可以連續(xù) Split(分流)？

30、Flink 從0到1學(xué)習(xí)—— 分享四本 Flink 國外的書和二十多篇 Paper 論文

31、Flink 架構(gòu)、原理與部署測試

32、為什么說流處理即未來？

33、OPPO 數(shù)據(jù)中臺(tái)之基石：基于 Flink SQL 構(gòu)建實(shí)時(shí)數(shù)據(jù)倉庫

34、流計(jì)算框架 Flink 與 Storm 的性能對(duì)比

35、Flink狀態(tài)管理和容錯(cuò)機(jī)制介紹

36、Apache Flink 結(jié)合 Kafka 構(gòu)建端到端的 Exactly-Once 處理

37、360深度實(shí)踐：Flink與Storm協(xié)議級(jí)對(duì)比

38、如何基于Flink+TensorFlow打造實(shí)時(shí)智能異常檢測平臺(tái)？只看這一篇就夠了

39、Apache Flink 1.9 重大特性提前解讀

40、Flink 全網(wǎng)最全資源（視頻、博客、PPT、入門、實(shí)戰(zhàn)、源碼解析、問答等持續(xù)更新）

41、Flink 靈魂兩百問，這誰頂?shù)米。?/p> 源碼解析

1、Flink 源碼解析 —— 源碼編譯運(yùn)行

2、Flink 源碼解析 —— 項(xiàng)目結(jié)構(gòu)一覽

3、Flink 源碼解析—— local 模式啟動(dòng)流程

4、Flink 源碼解析 —— standalone session 模式啟動(dòng)流程

5、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Job Manager 啟動(dòng)

6、Flink 源碼解析 —— Standalone Session Cluster 啟動(dòng)流程深度分析之 Task Manager 啟動(dòng)

7、Flink 源碼解析 —— 分析 Batch WordCount 程序的執(zhí)行過程

8、Flink 源碼解析 —— 分析 Streaming WordCount 程序的執(zhí)行過程

9、Flink 源碼解析 —— 如何獲取 JobGraph？

10、Flink 源碼解析 —— 如何獲取 StreamGraph？

11、Flink 源碼解析 —— Flink JobManager 有什么作用？

12、Flink 源碼解析 —— Flink TaskManager 有什么作用？

13、Flink 源碼解析 —— JobManager 處理 SubmitJob 的過程

14、Flink 源碼解析 —— TaskManager 處理 SubmitJob 的過程

15、Flink 源碼解析 —— 深度解析 Flink Checkpoint 機(jī)制

16、Flink 源碼解析 —— 深度解析 Flink 序列化機(jī)制

17、Flink 源碼解析 —— 深度解析 Flink 是如何管理好內(nèi)存的？

18、Flink Metrics 源碼解析 —— Flink-metrics-core

19、Flink Metrics 源碼解析 —— Flink-metrics-datadog

20、Flink Metrics 源碼解析 —— Flink-metrics-dropwizard

21、Flink Metrics 源碼解析 —— Flink-metrics-graphite

22、Flink Metrics 源碼解析 —— Flink-metrics-influxdb

23、Flink Metrics 源碼解析 —— Flink-metrics-jmx

24、Flink Metrics 源碼解析 —— Flink-metrics-slf4j

25、Flink Metrics 源碼解析 —— Flink-metrics-statsd

26、Flink Metrics 源碼解析 —— Flink-metrics-prometheus

26、Flink Annotations 源碼解析

27、Flink 源碼解析 —— 如何獲取 ExecutionGraph ？

28、大數(shù)據(jù)重磅炸彈——實(shí)時(shí)計(jì)算框架 Flink

29、Flink Checkpoint-輕量級(jí)分布式快照

30、Flink Clients 源碼解析原文出處：zhisheng的博客，歡迎關(guān)注我的公眾號(hào)：zhisheng