Java大數(shù)據(jù)內(nèi)存序列化淺談（一）

Lycheeee 發(fā)布于2019-08-14 12:02 / 2329人閱讀

摘要：談任何技術(shù)前，不討論實(shí)際的應(yīng)用場(chǎng)景都是耍流氓。業(yè)務(wù)只讀不寫(xiě)，且數(shù)據(jù)量不大，這兩個(gè)特性很大程度上決定了我們的系統(tǒng)架構(gòu)。

談任何技術(shù)前，不討論實(shí)際的應(yīng)用場(chǎng)景都是耍流氓。

首先說(shuō)下自身項(xiàng)目背景。業(yè)務(wù)只讀不寫(xiě)，且數(shù)據(jù)量不大，這兩個(gè)特性很大程度上決定了我們的系統(tǒng)架構(gòu)。

  Step 0 數(shù)據(jù)平臺(tái)持久化數(shù)據(jù)到數(shù)據(jù)庫(kù)（SQLServer）中,然后壓縮數(shù)據(jù)庫(kù)文件成壓縮文件
Step 1 上傳壓縮文件到云端，利用云端進(jìn)行自動(dòng)同步
Step 2 通知各個(gè)節(jié)點(diǎn)下載數(shù)據(jù)，下載到指定目錄
Step 3 解壓文件，附加數(shù)據(jù)庫(kù)文件為新庫(kù)
Step 4 節(jié)點(diǎn)讀取新數(shù)據(jù)庫(kù)數(shù)據(jù)到內(nèi)存，新舊數(shù)據(jù)內(nèi)存切換，新數(shù)據(jù)生效，舊數(shù)據(jù)失效

通過(guò)描述看到我們的業(yè)務(wù)服務(wù)器其實(shí)把數(shù)據(jù)庫(kù)作為一個(gè)臨時(shí)數(shù)據(jù)存儲(chǔ)，一旦讀取過(guò)新數(shù)據(jù)，便不再訪問(wèn)數(shù)據(jù)庫(kù)，因?yàn)閿?shù)據(jù)全部讀到內(nèi)存當(dāng)中。我們

托管Hadoop集群 USDP大數(shù)據(jù)平臺(tái) java內(nèi)存占用大大數(shù)據(jù)內(nèi)存數(shù)據(jù)庫(kù) 大數(shù)據(jù)一 java查看內(nèi)存數(shù)據(jù)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/64248.html

相關(guān)文章

Java學(xué)習(xí)路線總結(jié)，搬磚工逆襲Java架構(gòu)師（全網(wǎng)最強(qiáng)）

摘要：哪吒社區(qū)技能樹(shù)打卡打卡貼函數(shù)式接口簡(jiǎn)介領(lǐng)域優(yōu)質(zhì)創(chuàng)作者哪吒公眾號(hào)作者架構(gòu)師奮斗者掃描主頁(yè)左側(cè)二維碼，加入群聊，一起學(xué)習(xí)一起進(jìn)步歡迎點(diǎn)贊收藏留言前情提要無(wú)意間聽(tīng)到領(lǐng)導(dǎo)們的談話(huà)，現(xiàn)在公司的現(xiàn)狀是碼農(nóng)太多，但能獨(dú)立帶隊(duì)的人太少，簡(jiǎn)而言之，不缺干 ? 哪吒社區(qū)Java技能樹(shù)打卡?【打卡貼 day2...

Scorpion 2021-11-18 10:02 評(píng)論0 收藏0
淺談java中的并發(fā)控制

摘要：并發(fā)需要解決的問(wèn)題功能性問(wèn)題線程同步面臨兩個(gè)問(wèn)題，想象下有兩個(gè)線程在協(xié)作工作完成某項(xiàng)任務(wù)。鎖可用于規(guī)定一個(gè)臨界區(qū)，同一時(shí)間臨界區(qū)內(nèi)僅能由一個(gè)線程訪問(wèn)。并發(fā)的數(shù)據(jù)結(jié)構(gòu)線程安全的容器，如等。并發(fā)指在宏觀上的同一時(shí)間內(nèi)同時(shí)執(zhí)行多個(gè)任務(wù)。為了滿(mǎn)足這一需求，現(xiàn)代的操作系統(tǒng)都抽象出線程的概念，供上層應(yīng)用使用。這篇博文不打算詳細(xì)展開(kāi)分析，而是對(duì)java并發(fā)中的概念和工具做一個(gè)梳理。沿著并發(fā)模...

Gilbertat 2019-08-16 12:39 評(píng)論0 收藏0
淺談 Java 字符串（String, StringBuffer, StringBuilder）

摘要：與類(lèi)基本相同，都是可變字符換字符串序列，不同點(diǎn)是是線程安全的，是線程不安全的。和區(qū)別在大部分情況下是線程安全的可變字符序列。在程序中可將字符串緩沖區(qū)安全地用于多線程。轉(zhuǎn)載自飄過(guò)的小牛我們先要記住三者的特征： String 字符串常量 StringBuffer 字符串變量（線程安全） StringBuilder 字符串變量（非線程安全）一、定義 showImg(/...

ShowerSun 2019-08-14 12:10 評(píng)論0 收藏0
淺談Java并發(fā)編程系列（四）—— 原子性、可見(jiàn)性與有序性

摘要：內(nèi)存模型是圍繞著在并發(fā)過(guò)程中如何處理原子性可見(jiàn)性和有序性這個(gè)特征來(lái)建立的，我們來(lái)看下哪些操作實(shí)現(xiàn)了這個(gè)特性?？梢?jiàn)性可見(jiàn)性是指當(dāng)一個(gè)線程修改了共享變量的值，其他線程能夠立即得知這個(gè)修改。 Java內(nèi)存模型是圍繞著在并發(fā)過(guò)程中如何處理原子性、可見(jiàn)性和有序性這3個(gè)特征來(lái)建立的，我們來(lái)看下哪些操作實(shí)現(xiàn)了這3個(gè)特性。原子性（atomicity）：由Java內(nèi)存模型來(lái)直接保證原子性變量操作包括...

tianren124 2019-08-14 15:50 評(píng)論0 收藏0
Java開(kāi)發(fā) 大廠面試整理

摘要：用戶(hù)態(tài)不能干擾內(nèi)核態(tài)所以指令就有兩種特權(quán)指令和非特權(quán)指令不同的狀態(tài)對(duì)應(yīng)不同的指令。非特權(quán)指令所有程序均可直接使用。用戶(hù)態(tài)常態(tài)目態(tài)執(zhí)行非特權(quán)指令。這是我今年從三月份開(kāi)始，主要的大廠面試經(jīng)過(guò)，有些企業(yè)面試的還沒(méi)來(lái)得及整理，可能有些沒(méi)有帶答案就發(fā)出來(lái)了，還請(qǐng)各位先思考如果是你怎么回答面試官？這篇文章會(huì)持續(xù)更新，請(qǐng)各位持續(xù)關(guān)注，希望對(duì)你有所幫助！面試清單平安產(chǎn)險(xiǎn) 飛豬上汽大通浩鯨科...

Scorpion 2019-08-16 17:18 評(píng)論0 收藏0