海量數(shù)據(jù)的處理SEARCH AGGREGATION
回答:我是做JAVA后臺開發(fā)的，目前為止最多處理過每天600萬左右的數(shù)據(jù)！數(shù)據(jù)不算特別多，但是也算是經(jīng)歷過焦頭爛額，下面淺談下自己和團(tuán)隊怎么做的？后臺架構(gòu):前置部門:負(fù)責(zé)接收別的公司推過來的數(shù)據(jù)，因為每天的數(shù)據(jù)量較大，且分布不均，使用十分鐘推送一次報文的方式，使用batch框架進(jìn)行數(shù)據(jù)落地，把落地成功的數(shù)據(jù)某個字段返回給調(diào)用端，讓調(diào)用端驗證是否已經(jīng)全部落地成功的，保證數(shù)據(jù)的一致性！核心處理:使用了spr...
李增田
|
1919人閱讀
回答:使用SQL處理數(shù)據(jù)時，數(shù)據(jù)會在數(shù)據(jù)庫內(nèi)直接進(jìn)行處理，而且sql處理本身可以對sql語句做優(yōu)化，按照最優(yōu)的策略自動執(zhí)行。使用Java處理時，需要把數(shù)據(jù)從數(shù)據(jù)庫讀入到Java程序內(nèi)存，其中有網(wǎng)絡(luò)處理和數(shù)據(jù)封裝的操作，數(shù)據(jù)量比較大時，有一定的延遲，所以相對來說數(shù)據(jù)處理就慢一些。當(dāng)然，這個只是大體示意圖，實際根據(jù)業(yè)務(wù)不同會更復(fù)雜。兩者側(cè)重的點不同，有各自適合的業(yè)務(wù)領(lǐng)域，需要根據(jù)實際情況選用合適的方式。
stefanieliang
|
2289人閱讀
回答:假如淘寶這么做了，那就得打通客戶到數(shù)據(jù)庫服務(wù)器的網(wǎng)絡(luò)，同時在前端寫明數(shù)據(jù)庫賬號密碼實例名。我覺得挺好
zone
|
1370人閱讀
回答:首先明確下定義：計算時間是指計算機(jī)實際執(zhí)行的時間，不是人等待的時間，因為等待時間依賴于有多少資源可以調(diào)度。首先我們不考慮資源問題，討論時間的預(yù)估。執(zhí)行時間依賴于執(zhí)行引擎是 Spark 還是 MapReduce。Spark 任務(wù)Spark 任務(wù)的總執(zhí)行時間可以看 Spark UI，以下圖為例Spark 任務(wù)是分多個 Physical Stage 執(zhí)行的，每個stage下有很多個task，task 的...
silenceboy
|
1164人閱讀
回答:首先建議題主描述清楚應(yīng)用場景，否則別人做的方案可能都不符合需求。就Hadoop和OpenStack的糾結(jié)而言，支撐數(shù)據(jù)分析用前者，做資源管理用后者。=================補(bǔ)充=============題主的需求，實質(zhì)是搭建一個IoT實時大數(shù)據(jù)平臺，而不是一般意義的私有云。IoTa大數(shù)據(jù)平臺除了數(shù)據(jù)采集和結(jié)果反饋，其余部分和一般的大數(shù)據(jù)平臺相差不多。OpenStack長于管理VM資源管理...
MonoLog
|
1156人閱讀
...和模型，現(xiàn)已成為研究模糊的、不較精確的、不完整的及海量信息處理的重要工具。粒計算是一個含義廣泛的術(shù)語，覆蓋了所有有關(guān)粒的理論、方法學(xué)、技術(shù)和工具的研究，并認(rèn)為粒計算是模糊信息?；?、Rough集理論和區(qū)間計算...
...和模型，現(xiàn)已成為研究模糊的、不較精確的、不完整的及海量信息處理的重要工具。粒計算是一個含義廣泛的術(shù)語，覆蓋了所有有關(guān)粒的理論、方法學(xué)、技術(shù)和工具的研究，并認(rèn)為粒計算是模糊信息粒化、Rough集理論和區(qū)間計算...
...據(jù)處理技術(shù)已經(jīng)無法勝任，需求催生技術(shù)，一套用來處理海量數(shù)據(jù)的技術(shù)應(yīng)運(yùn)而生，這就是發(fā)數(shù)據(jù)技術(shù)。梳理海量數(shù)據(jù)的核心技術(shù)：海量數(shù)據(jù)的儲存（分布式）海量數(shù)據(jù)的運(yùn)算（分布式）這些核心技術(shù)的實現(xiàn)是不需要用戶從零開...
...和模型，現(xiàn)已成為研究模糊的、不較精確的、不完整的及海量信息處理的重要工具。粒計算是一個含義廣泛的術(shù)語，覆蓋了所有有關(guān)粒的理論、方法學(xué)、技術(shù)和工具的研究，并認(rèn)為粒計算是模糊信息?；?、Rough集理論和區(qū)間計算...
...和模型，現(xiàn)已成為研究模糊的、不較精確的、不完整的及海量信息處理的重要工具。粒計算是一個含義廣泛的術(shù)語，覆蓋了所有有關(guān)粒的理論、方法學(xué)、技術(shù)和工具的研究，并認(rèn)為粒計算是模糊信息?；?、Rough集理論和區(qū)間計算...
...提出了巨大的挑戰(zhàn)。其中主要表現(xiàn)在智能交通行業(yè)領(lǐng)域中海量的交通流信息和卡口過車抓拍圖片、智慧城市行業(yè)領(lǐng)域中的海量視頻錄像文件等非結(jié)構(gòu)化數(shù)據(jù)，安防行業(yè)的主要用戶公安、交警都有著需要對海量圖片和視頻文件進(jìn)行...
...日后臺架構(gòu)專場的出品人我今天給大家?guī)怼稑?gòu)造高可靠海量用戶服務(wù)-SNG數(shù)億級日活躍業(yè)務(wù)后臺核心技術(shù)揭秘》，一起探討怎么從可用性的維度提升海量服務(wù)的可靠性及海量服務(wù)的故障處理方式，包括：SNG后臺架構(gòu)的概覽；面...
...音樂，圖片，視頻監(jiān)控文件，軟件，鏡像，掃描件等其他海量文件的存儲，這些都可以使用，主要還是易用性跟性價比。 分享三： 從架構(gòu)來看，云存儲比緊耦合設(shè)計的傳統(tǒng)存儲有更好的橫向擴(kuò)展性，這樣在容量和性能上有...
...音樂，圖片，視頻監(jiān)控文件，軟件，鏡像，掃描件等其他海量文件的存儲，這些都可以使用，主要還是易用性跟性價比。分享三：從架構(gòu)來看，云存儲比緊耦合設(shè)計的傳統(tǒng)存儲有更好的橫向擴(kuò)展性，這樣在容量和性能上有更大的...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
一、活動亮點：全球31個節(jié)點覆蓋 + 線路升級，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
rose
