資訊專欄INFORMATION COLUMN
摘要：需求背景系統(tǒng)有數(shù)據(jù)識(shí)別數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量。可用性分析可用性表格分析場(chǎng)景影響降級(jí)原因某臺(tái)數(shù)據(jù)同步下線無(wú)影響數(shù)據(jù)同步無(wú)狀態(tài)，調(diào)度平臺(tái)重連其他的數(shù)據(jù)同步服務(wù)。
需求背景
系統(tǒng)有數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量。現(xiàn)在針對(duì)以下幾個(gè)需求進(jìn)行講解
1、支持冗余設(shè)計(jì)
2、支持任務(wù)自動(dòng)分發(fā)，支持自動(dòng)負(fù)載均衡
3、支持隨時(shí)擴(kuò)容節(jié)點(diǎn)而無(wú)需關(guān)停原有的系統(tǒng)和業(yè)務(wù)
調(diào)度平臺(tái)
使用Nginx方式來(lái)調(diào)用數(shù)據(jù)中心，通過(guò)注冊(cè)中心獲取數(shù)據(jù)中心的服務(wù)列表
可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務(wù)；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時(shí)；
讀取控制臺(tái)DB的配置信息，定時(shí)執(zhí)行數(shù)據(jù)同步任務(wù)
對(duì)數(shù)據(jù)同步的調(diào)用，可以按照簡(jiǎn)單的輪詢方式，也可以根據(jù)數(shù)據(jù)同步服務(wù)器的性能情況，進(jìn)行負(fù)載均衡
數(shù)據(jù)同步
負(fù)責(zé)執(zhí)行數(shù)據(jù)庫(kù)異構(gòu)數(shù)據(jù)同步任務(wù)，可支持增量，全量模式，用DataX框架來(lái)實(shí)現(xiàn)
服務(wù)于調(diào)度平臺(tái)的調(diào)用
會(huì)存儲(chǔ)數(shù)據(jù)同步的執(zhí)行結(jié)果，供控制臺(tái)進(jìn)行展示
會(huì)上報(bào)服務(wù)器的性能指標(biāo)到數(shù)據(jù)同步DB，以供調(diào)度平臺(tái)參考
控制臺(tái)
配置管理界面，服務(wù)于用戶進(jìn)行數(shù)據(jù)同步任務(wù)的配置信息，并存儲(chǔ)到控制臺(tái)DB中；
數(shù)據(jù)識(shí)別
負(fù)責(zé)針對(duì)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行數(shù)據(jù)識(shí)別任務(wù)
數(shù)據(jù)脫敏
按照內(nèi)置規(guī)則、自定義配置，負(fù)責(zé)脫敏數(shù)據(jù)
可提前進(jìn)行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉(zhuǎn)換環(huán)節(jié)調(diào)用
三個(gè)輔助服務(wù)發(fā)現(xiàn)模塊
注冊(cè)中心
用于服務(wù)發(fā)現(xiàn)和注冊(cè)
數(shù)據(jù)同步注冊(cè)實(shí)例并定期報(bào)心跳
可以用zookeerper來(lái)實(shí)現(xiàn)
調(diào)度平臺(tái)通過(guò)域名訪問(wèn)注冊(cè)中心獲取數(shù)據(jù)同步的地址列表
Nginx
和域名系統(tǒng)配合，協(xié)助調(diào)度平臺(tái)訪問(wèn)注冊(cè)中心獲取數(shù)據(jù)同步地址列表
和域名系統(tǒng)配合，協(xié)助用戶訪問(wèn)控制臺(tái)進(jìn)行配置管理
可用性分析高可用通過(guò)Nginx、注冊(cè)中心來(lái)實(shí)現(xiàn)，可以支持動(dòng)態(tài)擴(kuò)容。每個(gè)主要模塊都是以無(wú)狀態(tài)集群方式部署的，各自模塊都可以通過(guò)注冊(cè)中心來(lái)實(shí)現(xiàn)服務(wù)注冊(cè)，模塊之間的調(diào)用服務(wù)發(fā)現(xiàn)來(lái)獲取，并以域名方式實(shí)現(xiàn)。
考慮到擴(kuò)展，所以設(shè)想的方案是盡可能的做到每個(gè)服務(wù)職責(zé)單一。
這樣的拆分，也是考量到每個(gè)環(huán)節(jié)的瓶頸都不一樣，目前預(yù)估不是很精確，這樣可以為后續(xù)擴(kuò)展提供方便性。
數(shù)據(jù)脫敏、數(shù)據(jù)識(shí)別需要多帶帶獨(dú)立出來(lái)，原因：本身的服務(wù)不在數(shù)據(jù)同步中，可能提前預(yù)處理進(jìn)行。
通過(guò)集群部署方式，支持冗余設(shè)計(jì)。
調(diào)度平臺(tái)、Nginx集群通過(guò)數(shù)據(jù)同步性能情況,實(shí)現(xiàn)任務(wù)自動(dòng)分發(fā)，支持自動(dòng)負(fù)載均衡。
可用性分析可用性表格分析
| 場(chǎng)景 | 影響 | 降級(jí) | 原因 |
|---|---|---|---|
| 某臺(tái)數(shù)據(jù)同步下線 | 無(wú)影響 | - | 數(shù)據(jù)同步無(wú)狀態(tài)，調(diào)度平臺(tái)重連其他的數(shù)據(jù)同步服務(wù)。 |
| 所有數(shù)據(jù)同步下線 | 調(diào)度平臺(tái)無(wú)法執(zhí)行數(shù)據(jù)同步任務(wù) | 控制臺(tái)正常運(yùn)行；調(diào)度平臺(tái)把數(shù)據(jù)同步任務(wù)放入執(zhí)行隊(duì)列，等待執(zhí)行 | - |
| 某個(gè)Nginx下線 | 無(wú)影響 | - | 多Nginx部署，數(shù)據(jù)完全同步，注冊(cè)中心、控制臺(tái)域名通過(guò)SLB自動(dòng)切換到其他存活的Nginx |
| 控制臺(tái)DB宕機(jī) | 調(diào)度中心無(wú)影響，控制臺(tái)無(wú)法更新配置 | 調(diào)度平臺(tái)開啟配置緩存后，對(duì)配置的讀取不受數(shù)據(jù)庫(kù)宕機(jī)影響 | |
| 某臺(tái)數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏下線 | 無(wú)影響 | - | 數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏無(wú)狀態(tài)，數(shù)據(jù)同步重連其他的數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏同步服務(wù) |
| 全部數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏下線 | 無(wú)影響 | - | 數(shù)據(jù)同步可執(zhí)行在線脫敏功能，會(huì)影響任務(wù)時(shí)長(zhǎng)。 |
數(shù)據(jù)同步、控制臺(tái)、調(diào)度平臺(tái)、數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務(wù)模塊，相互協(xié)作完成配置中心業(yè)務(wù)功能，Nginx、注冊(cè)中心是輔助微服務(wù)之間進(jìn)行服務(wù)發(fā)現(xiàn)的模塊。
采用微服務(wù)架構(gòu)設(shè)計(jì)，架構(gòu)和部署（部署方式可以用容器思路來(lái)操作）都有一些復(fù)雜，但是每個(gè)服務(wù)職責(zé)單一，易于擴(kuò)展。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/11990.html
摘要：接下來(lái)我們以余額寶為例，重點(diǎn)剖析天弘基金在日志數(shù)據(jù)分析領(lǐng)域是如何突破的此前，天弘基金一直使用開源的日志方案，研發(fā)和運(yùn)維人員通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行處理，使用日志文件進(jìn)行查詢檢索。 雙十一剛剛結(jié)束，其實(shí)最緊張的不是商鋪理貨，也不是網(wǎng)友緊盯大促商品準(zhǔn)備秒殺，而是網(wǎng)購(gòu)幕后的運(yùn)維人員，他們最擔(dān)心：什么網(wǎng)絡(luò)中斷、應(yīng)用卡頓、響應(yīng)速度慢，服務(wù)器宕機(jī)……雙十一作為電商 IT 部門的頭等大事，大促前，運(yùn)維人員就需要...
摘要：華為云數(shù)據(jù)庫(kù)安全服務(wù)，簡(jiǎn)稱，經(jīng)過(guò)華為內(nèi)部大規(guī)模實(shí)踐和廣泛邀請(qǐng)各行業(yè)企業(yè)試用后，已經(jīng)在今年上線華為云。華為數(shù)據(jù)庫(kù)安全服務(wù)能夠更加全面的解決前文提到的敏感數(shù)據(jù)泄露的問(wèn)題。5月12日，第九屆中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)（DTCC2018）在北京落下帷幕，縱觀三天的會(huì)議議程，當(dāng)前全球主要的數(shù)據(jù)庫(kù)例如Oracle，MySQL，SQL Server，PostgreSQL等紛紛亮相大會(huì)，來(lái)自國(guó)內(nèi)外互聯(lián)網(wǎng)、金融、教育...
摘要：阿里云成為唯一入選的中國(guó)產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務(wù)能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計(jì)算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對(duì)外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
摘要：阿里云成為唯一入選的中國(guó)產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務(wù)能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計(jì)算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對(duì)外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
閱讀 991·2021-10-25 09:48
閱讀 691·2021-08-23 09:45
閱讀 2550·2019-08-30 15:53
閱讀 1805·2019-08-30 12:45
閱讀 732·2019-08-29 17:21
閱讀 3546·2019-08-27 10:56
閱讀 2605·2019-08-26 13:48
閱讀 753·2019-08-26 12:24
