大數(shù)據(jù)架構(gòu)設(shè)計(jì)SEARCH AGGREGATION
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會(huì)涉及事務(wù)，所以數(shù)據(jù)庫(kù)引擎必選innodb，innodb支持事務(wù)，事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開(kāi)啟序列化級(jí)別，這樣就完全隔離事務(wù)，但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2：讀寫(xiě)分離，數(shù)據(jù)庫(kù)分成主庫(kù)和從庫(kù)，主庫(kù)負(fù)責(zé)寫(xiě)數(shù)據(jù)，叢庫(kù)負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問(wèn)題。3：冷熱數(shù)據(jù)分離，美團(tuán)，餓了么部分設(shè)計(jì)采用冷熱...
Vultr
|
1453人閱讀
回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢(xún)本省就是業(yè)內(nèi)目前的痛點(diǎn)，暫時(shí)沒(méi)有太好的解決方案，kylin等框架也只是一個(gè)折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話(huà)sparkSql、presto等都是不錯(cuò)的方案，分鐘級(jí)別可以返回。
Paul_King
|
763人閱讀
回答:大家在剛開(kāi)始搭建項(xiàng)目的時(shí)候可能考慮的不夠全面，隨著產(chǎn)品的推廣 、業(yè)務(wù)場(chǎng)景的復(fù)雜和使用用戶(hù)越來(lái)越多 數(shù)據(jù)會(huì)呈現(xiàn)快速增長(zhǎng)。當(dāng)數(shù)據(jù)達(dá)到千萬(wàn)級(jí)的時(shí)候 就會(huì)發(fā)現(xiàn) 查詢(xún)速度越來(lái)越慢 用戶(hù)體驗(yàn)也就越來(lái)越差，那怎樣提升千萬(wàn)級(jí)數(shù)據(jù)查詢(xún)效率呢？小萌簡(jiǎn)單整理了一下，希望對(duì)大家有所幫助！優(yōu)化數(shù)據(jù)庫(kù)設(shè)計(jì)：數(shù)據(jù)字段類(lèi)型使用varchar/nvarchar 替換 char/nchar，變長(zhǎng)字段存儲(chǔ)空間小，節(jié)省存儲(chǔ)空間。在查詢(xún)的...
phodal
|
993人閱讀
回答:沒(méi)什么意義，關(guān)鍵是架構(gòu)，你的架構(gòu)和API用的是linux定義的，你再怎么改，還是linux。人家為什么敢叫l(wèi)inux，而不叫unix，那是人家雖然沒(méi)有全改，但起碼有自己的架構(gòu)設(shè)計(jì)在里面，所以，別人才承認(rèn)你是Linux，而不是unix換個(gè)皮。所以在操作系統(tǒng)里架構(gòu)和API的改寫(xiě)和設(shè)計(jì)才是真正????B的地方。起碼目前的中國(guó)，我還沒(méi)見(jiàn)識(shí)過(guò)這種大神！
wqj97
|
1022人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型，負(fù)責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計(jì)。高性能的數(shù)據(jù)架構(gòu)（High Performance Data Architecture），正是我們架構(gòu)轉(zhuǎn)型的重點(diǎn)。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線(xiàn)上消費(fèi)的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢(shì)，全球銀行業(yè)正迎來(lái)一場(chǎng)聲勢(shì)浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費(fèi)者的生活及行為模式帶來(lái)翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競(jìng)...
Lowky
|
627人閱讀
...應(yīng)用都需要有 APM 體系，可以隨時(shí)分析性能的情況；在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化；最重要的，整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代，監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系，可以隨時(shí)分析性能的情況；在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化；最重要的，整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代，監(jiān)控、服務(wù)治理、調(diào)度這...
需求背景 系統(tǒng)有數(shù)據(jù)識(shí)別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量?，F(xiàn)在針對(duì)以下幾個(gè)需求進(jìn)行講解 1、支持冗余設(shè)計(jì)2、支持任務(wù)自動(dòng)分發(fā)，支持自動(dòng)負(fù)載均衡3、支持隨時(shí)擴(kuò)容節(jié)點(diǎn)而...
...出版的技術(shù)圖書(shū) 即將出版的《深入理解XXXXXXXXX》 《海量數(shù)據(jù)處理與大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)》 《MySQL技術(shù)大全：開(kāi)發(fā)、優(yōu)化與運(yùn)維實(shí)戰(zhàn)》 《深入理解高并發(fā)編程》 《并發(fā)編程核心知識(shí)》 《冰河的滲透實(shí)戰(zhàn)筆記》 《我要進(jìn)大廠(chǎng)系列之面...
...的差不多的在線(xiàn)比賽平臺(tái)非常有趣，用戶(hù)可以上傳自己的數(shù)據(jù)，創(chuàng)建自己的項(xiàng)目并且可以使用交互式的筆記本， 支持實(shí)時(shí)代碼，數(shù)學(xué)方程，可視化和markdonw。讓人不經(jīng)思考它是如何把jupyter集成和擴(kuò)展的這么好的，使用的什么樣...
...的差不多的在線(xiàn)比賽平臺(tái)非常有趣，用戶(hù)可以上傳自己的數(shù)據(jù)，創(chuàng)建自己的項(xiàng)目并且可以使用交互式的筆記本， 支持實(shí)時(shí)代碼，數(shù)學(xué)方程，可視化和markdonw。讓人不經(jīng)思考它是如何把jupyter集成和擴(kuò)展的這么好的，使用的什么樣...
...各個(gè)微服務(wù)可被獨(dú)立部署，服務(wù)間是松耦合的關(guān)系，以及數(shù)據(jù)和治理的去中心化管理。微服務(wù)能夠幫助企業(yè)應(yīng)對(duì)業(yè)務(wù)復(fù)雜、頻繁更新以及團(tuán)隊(duì)規(guī)模龐大帶來(lái)的挑戰(zhàn)，實(shí)現(xiàn)IT對(duì)業(yè)務(wù)創(chuàng)新的驅(qū)動(dòng)。 1月12日，網(wǎng)易云主辦的微服務(wù)實(shí)踐...
...能，20年間軟件研發(fā)行業(yè)趨勢(shì)發(fā)生了翻天覆地的變化。大數(shù)據(jù)、云計(jì)算、AI等新興領(lǐng)域逐漸改變我們的生活方式，Devops、容器、深度學(xué)習(xí)、敏捷等技術(shù)方式和工作理念對(duì)軟件研發(fā)從業(yè)者提出更高要求。 由麥思博（msup）有限公司主...
...小問(wèn)題來(lái)解決。那么8G內(nèi)存的計(jì)算機(jī)一次大概能排多大的數(shù)據(jù)量，可以在有限的時(shí)間內(nèi)排完呢？也就是100G的大文件要怎么切法，切成多少份比較合適？這個(gè)是考察候選人的時(shí)間空間復(fù)雜度估算能力，需要一定的計(jì)算機(jī)組織和算法...
...小問(wèn)題來(lái)解決。那么8G內(nèi)存的計(jì)算機(jī)一次大概能排多大的數(shù)據(jù)量，可以在有限的時(shí)間內(nèi)排完呢？也就是100G的大文件要怎么切法，切成多少份比較合適？這個(gè)是考察候選人的時(shí)間空間復(fù)雜度估算能力，需要一定的計(jì)算機(jī)組織和算法...
... 搭建后端Server服務(wù)。 編寫(xiě)后端Server代碼。 設(shè)計(jì)Server底層數(shù)據(jù)存儲(chǔ)架構(gòu)。 關(guān)注Server的高可用、可擴(kuò)展、負(fù)載均衡、高性能等諸多繁瑣問(wèn)題。 這些事情可能會(huì)耗掉你80%以上的時(shí)間和精力，結(jié)果服務(wù)可用性、穩(wěn)定性、可擴(kuò)展性等都...
...聊移動(dòng)端的架構(gòu)設(shè)計(jì)。 李文杰：我們的項(xiàng)目劃分成了：數(shù)據(jù)層、UI 層、邏輯層。 上海-李博：我們使用的是 MVVM（Model-View-ViewModel），然后使用了一些 React Native。 韓兵：MVC 這樣的模式可以代替咱們移動(dòng)端架構(gòu)嗎？ 攻城獅：MVC、M...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
一、活動(dòng)亮點(diǎn)：全球31個(gè)節(jié)點(diǎn)覆蓋 + 線(xiàn)路升級(jí)，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
legendaryedu
