大數(shù)據(jù)分析系統(tǒng)架構(gòu)SEARCH AGGREGATION
回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn)，暫時(shí)沒有太好的解決方案，kylin等框架也只是一個(gè)折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話sparkSql、presto等都是不錯(cuò)的方案，分鐘級(jí)別可以返回。
Paul_King
|
765人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會(huì)涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級(jí)別，這樣就完全隔離事務(wù)，但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負(fù)責(zé)寫數(shù)據(jù)，叢庫負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團(tuán)，餓了么部分設(shè)計(jì)采用冷熱...
Vultr
|
1456人閱讀
回答:隨著大數(shù)據(jù)技術(shù)開始逐漸落地應(yīng)用，未來不僅IT互聯(lián)網(wǎng)領(lǐng)域的從業(yè)者需要掌握大數(shù)據(jù)技術(shù)，傳統(tǒng)行業(yè)從業(yè)者也需要掌握一定的大數(shù)據(jù)技術(shù)，尤其是管理類崗位，掌握大數(shù)據(jù)技術(shù)對(duì)于提升自身的資源整合能力，以及擴(kuò)展自身的能力邊界，都有比較積極的意義。從我近些年帶大數(shù)據(jù)方向研究生的情況來看，早期選擇大數(shù)據(jù)方向的同學(xué)，往往都來自于數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)大類專業(yè)的同學(xué)，近兩年管理學(xué)專業(yè)的同學(xué)也開始選擇大數(shù)據(jù)方向了，這是一個(gè)明顯...
moven_j
|
1403人閱讀
回答:從系統(tǒng)架構(gòu)本身來說，一般系統(tǒng)優(yōu)化主要從三個(gè)方面入手，數(shù)據(jù)持久層、業(yè)務(wù)邏輯層和前端展示層。數(shù)據(jù)持久層限制系統(tǒng)性能主要有兩個(gè)方面，一是數(shù)據(jù)庫自身的性能，二是對(duì)數(shù)據(jù)庫操作的方式，數(shù)據(jù)庫自身相對(duì)簡(jiǎn)單，一般通過優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數(shù)據(jù)庫來提升性能；數(shù)據(jù)庫操作主要是數(shù)據(jù)庫讀寫操作，可以通過SQL優(yōu)化的方式來提升讀寫速度，或者通過緩存的方式減低并發(fā)、提升性能。業(yè)務(wù)邏輯層代碼層面常...
senntyou
|
1216人閱讀
回答:分布式架構(gòu)是軟件系統(tǒng)分布式系統(tǒng)存儲(chǔ)是基于存儲(chǔ)、服務(wù)器、數(shù)據(jù)庫技術(shù)、容災(zāi)熱備等技術(shù)的系統(tǒng)集成數(shù)字經(jīng)濟(jì)時(shí)代，各個(gè)企業(yè)、個(gè)人都在生產(chǎn)數(shù)據(jù)，利用數(shù)據(jù)，數(shù)據(jù)也在社會(huì)中不斷流動(dòng)、循環(huán)，為這個(gè)時(shí)代創(chuàng)造著價(jià)值與機(jī)遇。盡管數(shù)據(jù)如此珍貴，但我們?nèi)匀粫?huì)聽到在集中式存儲(chǔ)場(chǎng)景中，由于網(wǎng)絡(luò)攻擊、火災(zāi)、地震而造成數(shù)據(jù)故障、丟失等問題。為了防止數(shù)據(jù)出現(xiàn)故障、數(shù)據(jù)丟失、服務(wù)器出錯(cuò)、數(shù)據(jù)無法恢復(fù)等情況，越來越多企業(yè)開始把集中存儲(chǔ)轉(zhuǎn)變...
cocopeak
|
670人閱讀
回答:這種現(xiàn)象也是國內(nèi)軟件行業(yè)現(xiàn)狀的體現(xiàn)，不是程序員不想談?wù)撀酚珊筒僮飨到y(tǒng)，而是想談卻談不起來！要不找?guī)讉€(gè)大學(xué)的計(jì)算機(jī)教授來嘮五塊錢的操作系統(tǒng)，看看有幾個(gè)能聊明白？或者大家想想咱有能拿的出手的操作系統(tǒng)供大家談?wù)摰膯?？但這個(gè)問題仍然值得我們深思，我認(rèn)為有以下幾點(diǎn)原因?qū)е铝舜蠹叶嗾務(wù)搒ql，架構(gòu)，并發(fā)和框架，而很少談?wù)撀酚珊筒僮飨到y(tǒng)的現(xiàn)象。人們談?wù)摱嗟耐撬孀愕?，?duì)于未曾接觸的卻無從談起都說沒有實(shí)踐就沒...
TesterHome
|
627人閱讀
...這些數(shù)據(jù)進(jìn)行復(fù)雜的應(yīng)用成了現(xiàn)今數(shù)據(jù)倉庫、商業(yè)智能和數(shù)據(jù)分析技術(shù)的研究熱點(diǎn)。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應(yīng)用質(zhì)量問題。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技...
...些 數(shù)據(jù)進(jìn)行復(fù)雜的應(yīng)用成了現(xiàn)今數(shù)據(jù)倉庫、商業(yè)智能和數(shù)據(jù)分析技術(shù)的研究熱點(diǎn)。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應(yīng)用質(zhì)量問題。 充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技...
...據(jù)分布式存儲(chǔ)的部署模式：分離式or超融合數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是穩(wěn)定可靠，一是指系統(tǒng)在運(yùn)行過程中有能力提供連續(xù)可靠的服務(wù)，長(zhǎng)時(shí)間無故障運(yùn)行；二是指當(dāng)故障發(fā)生之后，有能力快速定位，及時(shí)排查，故障范...
...目、公司的公告新聞等；第二代產(chǎn)品端普遍規(guī)劃了很多大數(shù)據(jù)分析的一些需求，會(huì)在官網(wǎng)展示全量數(shù)據(jù)分析后投資偏好、投資的金額都跑到哪里去，前端用地圖來展示，對(duì)于個(gè)人也會(huì)有還款日歷，代收數(shù)據(jù)分析等，因?yàn)樾枰苋?..
...目、公司的公告新聞等；第二代產(chǎn)品端普遍規(guī)劃了很多大數(shù)據(jù)分析的一些需求，會(huì)在官網(wǎng)展示全量數(shù)據(jù)分析后投資偏好、投資的金額都跑到哪里去，前端用地圖來展示，對(duì)于個(gè)人也會(huì)有還款日歷，代收數(shù)據(jù)分析等，因?yàn)樾枰苋?..
...技術(shù)領(lǐng)域一年一度的行業(yè)盛事，每年從互聯(lián)網(wǎng)架構(gòu)最熱門系統(tǒng)架構(gòu)設(shè)計(jì)、人工智能、機(jī)器學(xué)習(xí)、工程效率、未來的編程語言、分布式架構(gòu)等領(lǐng)域甄選前沿的有典型代表的技術(shù)創(chuàng)新及研發(fā)實(shí)踐的架構(gòu)案例，分享他們?cè)诒灸甓茸钪档?..
...技術(shù)領(lǐng)域一年一度的行業(yè)盛事，每年從互聯(lián)網(wǎng)架構(gòu)最熱門系統(tǒng)架構(gòu)設(shè)計(jì)、人工智能、機(jī)器學(xué)習(xí)、工程效率、未來的編程語言、分布式架構(gòu)等領(lǐng)域甄選前沿的有典型代表的技術(shù)創(chuàng)新及研發(fā)實(shí)踐的架構(gòu)案例，分享他們?cè)诒灸甓茸钪档?..
...所謂云存儲(chǔ)，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。而實(shí)現(xiàn)適應(yīng)用戶需求的云存儲(chǔ)，...
...能與機(jī)器學(xué)習(xí)5大技術(shù)專場(chǎng)。其中包含未來的編程語言、系統(tǒng)設(shè)計(jì)與架構(gòu)、微服務(wù)架構(gòu)及 Serverless、中間件平臺(tái)、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個(gè)技術(shù)專題。 史海峰、惠...
...能與機(jī)器學(xué)習(xí)5大技術(shù)專場(chǎng)。其中包含未來的編程語言、系統(tǒng)設(shè)計(jì)與架構(gòu)、微服務(wù)架構(gòu)及 Serverless、中間件平臺(tái)、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個(gè)技術(shù)專題。 史海峰、惠...
...深度解析（第2版）》 《看透SpringMVC源代碼分析與實(shí)踐》 數(shù)據(jù)分析與挖掘類 《Python編程從入門到實(shí)踐》 《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》 《Python高性能編程》 《Python并發(fā)編程》 《Python自動(dòng)化運(yùn)維 技術(shù)與最佳實(shí)踐》 《利用Python進(jìn)...
...，SAS Emerging Technologies的董事，超過25年技術(shù)服務(wù)經(jīng)驗(yàn)，在數(shù)據(jù)分析，設(shè)計(jì)，開發(fā)方面很強(qiáng)的實(shí)力。
...端平臺(tái)部，總的來說是負(fù)責(zé)偏后端的部門。 之前做過的系統(tǒng)還挺多的，即時(shí)通訊系統(tǒng)，推薦系統(tǒng)，支付攤銷績(jī)效系統(tǒng)，以及很多太短的通用平臺(tái)與系統(tǒng)，主要關(guān)注架構(gòu)、數(shù)據(jù)庫、O2O等方面的技術(shù)。 壹佰案例： 作為同時(shí)負(fù)責(zé)過58...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
一、活動(dòng)亮點(diǎn)：全球31個(gè)節(jié)點(diǎn)覆蓋 + 線路升級(jí)，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
