大數(shù)據(jù)部門架構(gòu)SEARCH AGGREGATION
回答:這個太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級響應(yīng)的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
767人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型，負責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計。高性能的數(shù)據(jù)架構(gòu)（High Performance Data Architecture），正是我們架構(gòu)轉(zhuǎn)型的重點。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢，全球銀行業(yè)正迎來一場聲勢浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
635人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級別，這樣就完全隔離事務(wù)，但是會導(dǎo)致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負責(zé)寫數(shù)據(jù)，叢庫負責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團，餓了么部分設(shè)計采用冷熱...
Vultr
|
1462人閱讀
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時代轉(zhuǎn)變?yōu)镈T時代，以數(shù)據(jù)為核心，用數(shù)據(jù)進行決策，基于數(shù)據(jù)驅(qū)動企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會有更廣泛的應(yīng)用空間，對于大數(shù)據(jù)的理解主要分為以下幾個層面。1.數(shù)據(jù)來源：對于大數(shù)據(jù)時代而言更多強調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進行進一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1329人閱讀
...系統(tǒng)，以及很多太短的通用平臺與系統(tǒng)，主要關(guān)注架構(gòu)、數(shù)據(jù)庫、O2O等方面的技術(shù)。 壹佰案例： 作為同時負責(zé)過58同城和58到家業(yè)務(wù)的架構(gòu)師，可否從架構(gòu)方向談下兩項業(yè)務(wù)的技術(shù)難點有何不同？ 沈劍：58同城是一個信息平臺...
越來越多的公司言并稱大數(shù)據(jù)，而大數(shù)據(jù)管道和存儲集群的規(guī)模甚至可以是業(yè)務(wù)集群的一百倍的規(guī)模。這里有多少機器是真正在做有價值的事情，而有多少cpu cycle是白白被浪費掉了呢？data pipeline 中充斥著驚人的浪費！只是我...
...臺的技術(shù)公司，服務(wù)器仍然保持著100%的本地化。它有5個數(shù)據(jù)中心，擁有45，000臺服務(wù)器，以及一個圍繞著維護傳統(tǒng)技術(shù)所需的遺留技能組織起來的一個IT團隊。 我們需要大量資源來保持實體基礎(chǔ)設(shè)施的與時俱進，但在這個...
... 質(zhì)量對于運維來說的是提供反饋。及時提供指標，提供數(shù)據(jù)給研發(fā)側(cè)，告訴真實的用戶體驗。提供數(shù)據(jù)報表給產(chǎn)品側(cè)，用戶的實際使用情況。這種反饋的數(shù)據(jù)可以指導(dǎo)模塊的性能優(yōu)化，長期的架構(gòu)調(diào)整，業(yè)務(wù)的模式轉(zhuǎn)型。但是...
...頁、樣式，效率能高嗎？讓后端人員去搶DBA的飯碗，去做數(shù)據(jù)庫優(yōu)化，效率能高嗎？ 不專業(yè)的人做不專業(yè)的事情，可能和公司的發(fā)展歷程、組織架構(gòu)、人員規(guī)劃有關(guān)；也可能和任務(wù)安排有關(guān)。 公司發(fā)展初期，養(yǎng)不起很多專業(yè)的...
...用了新興的產(chǎn)品，像通過軟件即服務(wù)（SaaS）交付的大數(shù)據(jù)分析功能?！ ∷麄兡軌?qū)⒎浅?fù)雜的信息簡化成視圖，放到一個頁面上，任何人都可以查看，舊金山桌面即服務(wù)提供商Centered Networks的高級工程師Nathan Smith如是...
... 如圖所示，企業(yè)上云的三大架構(gòu)為 IT 架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)，在不同的公司，不同的人、不同的角色，關(guān)注的重點不同。 對大部分的企業(yè)來講，上云的訴求是從 IT 部門發(fā)起的，發(fā)起人往往是運維部門，他們關(guān)注計算、網(wǎng)...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
一、活動亮點：全球31個節(jié)點覆蓋 + 線路升級，跨境業(yè)務(wù)福音！爆款云主機0.5折起：香港、海外多節(jié)點...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
高勝山
宋華
