大數(shù)據(jù)架構(gòu)與系統(tǒng)SEARCH AGGREGATION
回答:這個太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級響應(yīng)的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
785人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級別，這樣就完全隔離事務(wù)，但是會導致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負責寫數(shù)據(jù)，叢庫負責讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團，餓了么部分設(shè)計采用冷熱...
Vultr
|
1582人閱讀
回答:隨著大數(shù)據(jù)技術(shù)開始逐漸落地應(yīng)用，未來不僅IT互聯(lián)網(wǎng)領(lǐng)域的從業(yè)者需要掌握大數(shù)據(jù)技術(shù)，傳統(tǒng)行業(yè)從業(yè)者也需要掌握一定的大數(shù)據(jù)技術(shù)，尤其是管理類崗位，掌握大數(shù)據(jù)技術(shù)對于提升自身的資源整合能力，以及擴展自身的能力邊界，都有比較積極的意義。從我近些年帶大數(shù)據(jù)方向研究生的情況來看，早期選擇大數(shù)據(jù)方向的同學，往往都來自于數(shù)學、統(tǒng)計學和計算機大類專業(yè)的同學，近兩年管理學專業(yè)的同學也開始選擇大數(shù)據(jù)方向了，這是一個明顯...
moven_j
|
1509人閱讀
回答:我認為專業(yè)還是選你自己喜歡的比較好，因為喜歡你才會用心去做，才會堅持。前途這個東西，就是堅持不懈。
nanchen2251
|
1170人閱讀
回答:從系統(tǒng)架構(gòu)本身來說，一般系統(tǒng)優(yōu)化主要從三個方面入手，數(shù)據(jù)持久層、業(yè)務(wù)邏輯層和前端展示層。數(shù)據(jù)持久層限制系統(tǒng)性能主要有兩個方面，一是數(shù)據(jù)庫自身的性能，二是對數(shù)據(jù)庫操作的方式，數(shù)據(jù)庫自身相對簡單，一般通過優(yōu)化配置、采用高可用方案、搭建集群或者使用性能更好的數(shù)據(jù)庫來提升性能；數(shù)據(jù)庫操作主要是數(shù)據(jù)庫讀寫操作，可以通過SQL優(yōu)化的方式來提升讀寫速度，或者通過緩存的方式減低并發(fā)、提升性能。業(yè)務(wù)邏輯層代碼層面常...
senntyou
|
1311人閱讀
回答:分布式架構(gòu)是軟件系統(tǒng)分布式系統(tǒng)存儲是基于存儲、服務(wù)器、數(shù)據(jù)庫技術(shù)、容災熱備等技術(shù)的系統(tǒng)集成數(shù)字經(jīng)濟時代，各個企業(yè)、個人都在生產(chǎn)數(shù)據(jù)，利用數(shù)據(jù)，數(shù)據(jù)也在社會中不斷流動、循環(huán)，為這個時代創(chuàng)造著價值與機遇。盡管數(shù)據(jù)如此珍貴，但我們?nèi)匀粫牭皆诩惺酱鎯鼍爸?，由于網(wǎng)絡(luò)攻擊、火災、地震而造成數(shù)據(jù)故障、丟失等問題。為了防止數(shù)據(jù)出現(xiàn)故障、數(shù)據(jù)丟失、服務(wù)器出錯、數(shù)據(jù)無法恢復等情況，越來越多企業(yè)開始把集中存儲轉(zhuǎn)變...
cocopeak
|
699人閱讀
...應(yīng)用都需要有 APM 體系，可以隨時分析性能的情況；在大數(shù)據(jù)時代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計算能力的提升，數(shù)據(jù)庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進化到人工智能時代，監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系，可以隨時分析性能的情況；在大數(shù)據(jù)時代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計算能力的提升，數(shù)據(jù)庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進化到人工智能時代，監(jiān)控、服務(wù)治理、調(diào)度這...
...出版的技術(shù)圖書 即將出版的《深入理解XXXXXXXXX》 《海量數(shù)據(jù)處理與大數(shù)據(jù)技術(shù)實戰(zhàn)》 《MySQL技術(shù)大全：開發(fā)、優(yōu)化與運維實戰(zhàn)》 《深入理解高并發(fā)編程》 《并發(fā)編程核心知識》 《冰河的滲透實戰(zhàn)筆記》 《我要進大廠系列之面...
大數(shù)據(jù)時代為數(shù)據(jù)存儲帶來壓力，越來越多的組織需要在云計算的技術(shù)基礎(chǔ)上搭建起能夠存儲大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲平臺。云存儲應(yīng)云而生。 所謂云存儲，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機器學習、人工智能、智能硬件、效率管理等 20 個技術(shù)專題。 史海峰、惠新宸、袁進輝、沈劍、陳皓等經(jīng)驗豐富的一線技術(shù)團隊帶頭人現(xiàn)場分享...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機器學習、人工智能、智能硬件、效率管理等 20 個技術(shù)專題。 史海峰、惠新宸、袁進輝、沈劍、陳皓等經(jīng)驗豐富的一線技術(shù)團隊帶頭人現(xiàn)場分享...
大數(shù)據(jù)分布式存儲的部署模式：分離式or超融合數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是穩(wěn)定可靠，一是指系統(tǒng)在運行過程中有能力提供連續(xù)可靠的服務(wù)，長時間無故障運行；二是指當故障發(fā)生之后，有能力快速定位，及時排查，...
大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? ? 根據(jù)IDC的報告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當于每位美國人每分鐘寫3條Tweet，而...
?????? 大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? 根據(jù)IDC的報告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當于每位美國人每分鐘寫3條...
...系統(tǒng)，以及很多太短的通用平臺與系統(tǒng)，主要關(guān)注架構(gòu)、數(shù)據(jù)庫、O2O等方面的技術(shù)。 壹佰案例： 作為同時負責過58同城和58到家業(yè)務(wù)的架構(gòu)師，可否從架構(gòu)方向談下兩項業(yè)務(wù)的技術(shù)難點有何不同？ 沈劍：58同城是一個信息平臺...
大數(shù)據(jù)的應(yīng)用開發(fā)過于偏向底層，具有學習難度大，涉及技術(shù)面廣的問題，這制約了大數(shù)據(jù)的普及。現(xiàn)在需要一種技術(shù)，把大數(shù)據(jù)開發(fā)中一些通用的，重復使用的基礎(chǔ)代碼、算法封裝為類庫，降低大數(shù)據(jù)的學習門檻，降低開...
...下游依賴關(guān)系圖，在故障發(fā)生時，開發(fā)人員可以借助依賴數(shù)據(jù)快速定位到問題的來源，極大縮短問題修復時間（MTTR）。借助架構(gòu)圖，我們還可以梳理出系統(tǒng)中存在的強弱依賴，在業(yè)務(wù)高峰期對弱依賴進行降級，或者針對系統(tǒng)依...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
營銷賬號總被封？TK直播頻繁掉線？雙ISP靜態(tài)住宅IP+輕量云主機打包套餐來襲，確保開出來的云主機不...
大模型的訓練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
