大數(shù)據(jù)架構(gòu)師SEARCH AGGREGATION
回答:到底怎樣的程序員能稱(chēng)為架構(gòu)師？首先要知道架構(gòu)師是做什么的，架構(gòu)師主要職責(zé)是確認(rèn)和評(píng)估系統(tǒng)需求，給出開(kāi)發(fā)規(guī)范，搭建系統(tǒng)實(shí)現(xiàn)的核心構(gòu)架，并澄清技術(shù)細(xì)節(jié)、掃清主要難點(diǎn)的技術(shù)人員。那么怎樣從一個(gè)程序員成為架構(gòu)師呢，我總結(jié)了以下幾個(gè)方面： 意識(shí)方面首先程序員自身想往架構(gòu)師方向發(fā)展，然后換位思考與架構(gòu)師的差距，該如何努力才能符合一個(gè)優(yōu)秀的架構(gòu)師，所以關(guān)注范圍是不同的，程序員專(zhuān)注于具體細(xì)節(jié)，而架構(gòu)師專(zhuān)注于宏觀視...
edgardeng
|
678人閱讀
回答:大家在剛開(kāi)始搭建項(xiàng)目的時(shí)候可能考慮的不夠全面，隨著產(chǎn)品的推廣 、業(yè)務(wù)場(chǎng)景的復(fù)雜和使用用戶(hù)越來(lái)越多 數(shù)據(jù)會(huì)呈現(xiàn)快速增長(zhǎng)。當(dāng)數(shù)據(jù)達(dá)到千萬(wàn)級(jí)的時(shí)候 就會(huì)發(fā)現(xiàn) 查詢(xún)速度越來(lái)越慢 用戶(hù)體驗(yàn)也就越來(lái)越差，那怎樣提升千萬(wàn)級(jí)數(shù)據(jù)查詢(xún)效率呢？小萌簡(jiǎn)單整理了一下，希望對(duì)大家有所幫助！優(yōu)化數(shù)據(jù)庫(kù)設(shè)計(jì)：數(shù)據(jù)字段類(lèi)型使用varchar/nvarchar 替換 char/nchar，變長(zhǎng)字段存儲(chǔ)空間小，節(jié)省存儲(chǔ)空間。在查詢(xún)的...
phodal
|
995人閱讀
回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢(xún)本省就是業(yè)內(nèi)目前的痛點(diǎn)，暫時(shí)沒(méi)有太好的解決方案，kylin等框架也只是一個(gè)折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話(huà)sparkSql、presto等都是不錯(cuò)的方案，分鐘級(jí)別可以返回。
Paul_King
|
765人閱讀
回答:其實(shí)根本就沒(méi)有什么數(shù)據(jù)分析師，或者說(shuō)，人人都是數(shù)據(jù)分析師。懂我這個(gè)意思嗎？我的文章里，也寫(xiě)過(guò)很多數(shù)據(jù)行業(yè)的知識(shí)，你可以去看看，其實(shí)有時(shí)候想想，你就不一定非得從事這樣的行業(yè)了。就拿數(shù)據(jù)挖掘來(lái)說(shuō)吧，據(jù)我所知，廠商今年都混的不怎么樣，為什么？客戶(hù)需求很少，而且都是定制化的，整個(gè)項(xiàng)目的周期很長(zhǎng)。還有就是一個(gè)企業(yè)里，互聯(lián)網(wǎng)公司可能還好一點(diǎn)，數(shù)據(jù)分析師根本不需要那么多，你看看ucloud的數(shù)據(jù)分析報(bào)錄比，20...
bingchen
|
1004人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型，負(fù)責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計(jì)。高性能的數(shù)據(jù)架構(gòu)（High Performance Data Architecture），正是我們架構(gòu)轉(zhuǎn)型的重點(diǎn)。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費(fèi)的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢(shì)，全球銀行業(yè)正迎來(lái)一場(chǎng)聲勢(shì)浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費(fèi)者的生活及行為模式帶來(lái)翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競(jìng)...
Lowky
|
629人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會(huì)涉及事務(wù)，所以數(shù)據(jù)庫(kù)引擎必選innodb，innodb支持事務(wù)，事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開(kāi)啟序列化級(jí)別，這樣就完全隔離事務(wù)，但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2：讀寫(xiě)分離，數(shù)據(jù)庫(kù)分成主庫(kù)和從庫(kù)，主庫(kù)負(fù)責(zé)寫(xiě)數(shù)據(jù)，叢庫(kù)負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問(wèn)題。3：冷熱數(shù)據(jù)分離，美團(tuán)，餓了么部分設(shè)計(jì)采用冷熱...
Vultr
|
1456人閱讀
...目前從事分布式服務(wù)架構(gòu)的設(shè)計(jì)與開(kāi)發(fā)工作，在阿里的大數(shù)據(jù)平臺(tái)上進(jìn)行應(yīng)用程序開(kāi)發(fā)。 我們整個(gè)系統(tǒng)架構(gòu)采用了前后端分離的思想，前端關(guān)注數(shù)據(jù)展現(xiàn)，后端關(guān)注數(shù)據(jù)生產(chǎn)，通過(guò) REST服務(wù)將前后端整合起來(lái)，所有的應(yīng)用都...
...族應(yīng)用商店的研發(fā)工作，關(guān)注服務(wù)化、分布式、NoSQL、大數(shù)據(jù)等領(lǐng)域。 以下是分享實(shí)錄整理：《 魅族應(yīng)用商店云端架構(gòu)實(shí)踐 》 魅族應(yīng)用商店作為國(guó)內(nèi)最早的應(yīng)用分發(fā)平臺(tái)，積極探索，首創(chuàng)了許多新業(yè)務(wù)模式，比較典型的：應(yīng)用...
...小問(wèn)題來(lái)解決。那么8G內(nèi)存的計(jì)算機(jī)一次大概能排多大的數(shù)據(jù)量，可以在有限的時(shí)間內(nèi)排完呢？也就是100G的大文件要怎么切法，切成多少份比較合適？這個(gè)是考察候選人的時(shí)間空間復(fù)雜度估算能力，需要一定的計(jì)算機(jī)組織和算法...
...小問(wèn)題來(lái)解決。那么8G內(nèi)存的計(jì)算機(jī)一次大概能排多大的數(shù)據(jù)量，可以在有限的時(shí)間內(nèi)排完呢？也就是100G的大文件要怎么切法，切成多少份比較合適？這個(gè)是考察候選人的時(shí)間空間復(fù)雜度估算能力，需要一定的計(jì)算機(jī)組織和算法...
...。2、流量的敏感性。傳統(tǒng)PC和web的應(yīng)用架構(gòu)可能不太關(guān)注數(shù)據(jù)量、流量，但移動(dòng)端、無(wú)線端，流量有限，用戶(hù)非常關(guān)注。所以在架構(gòu)和協(xié)議設(shè)計(jì)以及數(shù)據(jù)上，要給予非常重點(diǎn)的關(guān)注。3、消息的可達(dá)性。在PC和web端一般認(rèn)為消息發(fā)...
...水平擴(kuò)容、分庫(kù)分表、異步削峰這樣的技術(shù)或者我所在的數(shù)據(jù)領(lǐng)域的中間件的出現(xiàn)和發(fā)展門(mén)檻是不是很高呢？是不是一個(gè)架構(gòu)師應(yīng)該有的核心競(jìng)爭(zhēng)力？ 在我看來(lái)，也不是，起碼不全是。 因?yàn)檎_的技術(shù)選型，中間件的合理運(yùn)用...
...，編碼必備Spring5，做應(yīng)用必不可少的最新框架MyBatis，玩數(shù)據(jù)庫(kù)必不可少的組件file畫(huà)外音：大家捫心自問(wèn)，除了寫(xiě)業(yè)務(wù)代碼，看過(guò)多少優(yōu)秀開(kāi)源代碼？二、分布式架構(gòu)隨著業(yè)務(wù)越來(lái)越復(fù)雜，數(shù)據(jù)量越來(lái)越大，并發(fā)量越來(lái)越大，單...
...，編碼必備Spring5，做應(yīng)用必不可少的最新框架MyBatis，玩數(shù)據(jù)庫(kù)必不可少的組件file畫(huà)外音：大家捫心自問(wèn)，除了寫(xiě)業(yè)務(wù)代碼，看過(guò)多少優(yōu)秀開(kāi)源代碼？二、分布式架構(gòu)隨著業(yè)務(wù)越來(lái)越復(fù)雜，數(shù)據(jù)量越來(lái)越大，并發(fā)量越來(lái)越大，單...
...應(yīng)用都需要有 APM 體系，可以隨時(shí)分析性能的情況；在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化；最重要的，整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代，監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系，可以隨時(shí)分析性能的情況；在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫(kù)的使用也發(fā)生了重大的變化；最重要的，整個(gè) DevOps 也在進(jìn)化到人工智能時(shí)代，監(jiān)控、服務(wù)治理、調(diào)度這...
...，有些需要用戶(hù)使用時(shí)流暢；有些產(chǎn)品用戶(hù)可以容忍看舊數(shù)據(jù)，而有些則必須是新內(nèi)容；有些產(chǎn)品用戶(hù)一天打開(kāi)很多次，而有些看一次就關(guān)掉了。這些產(chǎn)品需求的差異都會(huì)影響你的決策。 二是評(píng)測(cè)標(biāo)準(zhǔn)，用什么來(lái)測(cè)量性能的好...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
一、活動(dòng)亮點(diǎn)：全球31個(gè)節(jié)點(diǎn)覆蓋 + 線路升級(jí)，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
