摘要：宋體云端運(yùn)算與內(nèi)存數(shù)據(jù)庫革命性技術(shù)值得關(guān)注宋體被點(diǎn)名為革命性技術(shù)的第二梯隊(duì)注預(yù)估年發(fā)酵者，則包含了兩項(xiàng)，分別是云端運(yùn)算內(nèi)存數(shù)據(jù)庫系統(tǒng)。宋體云端技術(shù)對(duì)于大數(shù)據(jù)處理與分析的重要性，著實(shí)無庸置疑。

前兩天有人在微博發(fā)問，用什么樣的方式講述大數(shù)據(jù)和云計(jì)算才能非專業(yè)人士聽的更清楚，其實(shí)關(guān)于大數(shù)據(jù)的案例有很多，商業(yè)智能分析也多次提到過關(guān)于數(shù)據(jù)挖掘的價(jià)值和意義，只不過在今天看數(shù)據(jù)比以前還多而已，大數(shù)據(jù)并不可怕，可怕的是他的實(shí)時(shí)分析能力，會(huì)讓缺點(diǎn)和真相赤裸裸暴露在人們面前，那么當(dāng)云計(jì)算遭遇大數(shù)據(jù)一股腦向企業(yè)涌進(jìn)的時(shí)候，企業(yè)能否駕馭呢？

　　所謂的大數(shù)據(jù)主要涵蓋3V面向，分別是處理時(shí)效（Velocity）、數(shù)據(jù)格式（Variety）與數(shù)據(jù)量（Volume）；所以大數(shù)據(jù)并非單一技術(shù)，而是眾多技術(shù)項(xiàng)目的集合體，它們的共同目的，都是在一定時(shí)間內(nèi)處理完大量的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。唯有駕馭個(gè)中關(guān)鍵技術(shù)，方能分析處理大數(shù)據(jù)，建立商業(yè)應(yīng)用價(jià)值。

　　繼續(xù)訴說Wal-Mart比父親更早知道女兒懷孕的故事。2012年初的某一天，美國(guó)明尼蘇達(dá)州有一名父親，怒氣沖沖跑到賣場(chǎng)并質(zhì)問主管，為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒？此舉是否鼓勵(lì)未成年女生懷孕？

　　然而后來事實(shí)證明，這名父親的女兒果真懷孕，賣場(chǎng)并非憑空亂灑廣告郵件。人們不禁好奇，Wal-Mart何以如此神通廣大，竟然能夠隔空挖掘真相？答案就在于大數(shù)據(jù)的實(shí)時(shí)分析，包括這名女孩搜尋商品的關(guān)鍵詞詞，以及在社交網(wǎng)站所顯露的行為軌跡，其實(shí)都已蘊(yùn)藏豐富價(jià)值，足以表明她懷孕的事實(shí)，而接下來的時(shí)間，她最需要采購哪些商品，答案便呼之欲出。

　　由此可見，倘若善用巨量資料實(shí)時(shí)性分析，這些看似枯燥瑣碎的資料，立即就能蛻變?yōu)轲埜粌r(jià)值的資產(chǎn)，造就無窮無盡的商機(jī)。它可以幫助精品服飾業(yè)者，快速洞察顧客的喜好變化，立即形成較佳的生產(chǎn)銷售決策，繼而創(chuàng)造源源不斷的營(yíng)收增長(zhǎng)動(dòng)能；它可以幫助投信業(yè)者，從Tweets中分析大眾的情緒變化，藉以提高股市行情預(yù)測(cè)的精準(zhǔn)度，創(chuàng)造遠(yuǎn)遠(yuǎn)優(yōu)于同業(yè)的基金投資報(bào)酬率。

　　也難怪各方都對(duì)巨量資料趨之若鶩，譬如美國(guó)歐巴馬政府即在2012年3月間做成決定，此后將投入高達(dá)2億美元的研究與開發(fā)經(jīng)費(fèi)，藉以改善巨量資料時(shí)代中，所需之開發(fā)、搜集、儲(chǔ)存、管理、分享與分析工具與技術(shù)，以期利用這些技術(shù)加速科學(xué)及工程上的發(fā)現(xiàn)腳步、強(qiáng)化國(guó)家安全，并改善相關(guān)的教育及學(xué)習(xí)模式。

　　大數(shù)據(jù)到底是個(gè)“神馬”東西

　　的確，雖然這些神乎其技的大數(shù)據(jù)應(yīng)用，無不讓企業(yè)心生向往，然而多數(shù)IT主管卻對(duì)于個(gè)中技術(shù)一半未解，導(dǎo)致影響所屬企業(yè)商業(yè)價(jià)值的產(chǎn)出，殊為可惜。

　　究竟企業(yè)如何基于大數(shù)據(jù)的分析與應(yīng)用需求，提高其技術(shù)整備度？知名研究機(jī)構(gòu)Gartner在其發(fā)表的“Hype Cycle for Big Data”當(dāng)中所呈現(xiàn)的巨量資料優(yōu)先矩陣（Priority Matrix for Big Data），即已針對(duì)眾多技術(shù)今后的興衰浮沉，進(jìn)行大致的預(yù)測(cè)；如此一來，哪些技術(shù)被定位為“革命性（Transformational）”,亟需密切留意，哪些技術(shù)處于高度（High）發(fā)展的軌道，值得善加運(yùn)用，而哪些技術(shù)大抵維持中度（Moderate）發(fā)展格局，未來大起的機(jī)會(huì)不高，若要為此挹注大量投資，恐需再三思考，企業(yè)IT人員心中即有基本的譜圖與脈絡(luò)。

　　根據(jù)Gartner預(yù)測(cè)，從現(xiàn)在起的兩年之內(nèi)，率先達(dá)到革命性等級(jí)的技術(shù)，便是字段式數(shù)據(jù)庫（Column Store-DBMS），將呈現(xiàn)高度發(fā)展者，則為預(yù)測(cè)分析技術(shù)，至于社交媒體監(jiān)控、Web分析等技術(shù)，發(fā)展?fàn)顩r持平。如此觀之，舉凡字段式數(shù)據(jù)庫、預(yù)測(cè)分析，將會(huì)是企業(yè)亟需優(yōu)先布局的標(biāo)的。

　　探究字段式數(shù)據(jù)庫之所以搶得頭香，其實(shí)并不難理解，因?yàn)閷?duì)于數(shù)據(jù)擷取、保存、使用、分享與分析等用途而言，數(shù)據(jù)庫系統(tǒng)皆堪稱是最關(guān)鍵的載體，因此其面對(duì)大數(shù)據(jù)的讀寫效率、及近實(shí)時(shí)（Near Real-Time）運(yùn)算能力的強(qiáng)弱，肯定需要審慎考慮；在此情況下，傳統(tǒng)以Row為索引存取基礎(chǔ)的數(shù)據(jù)庫，效能顯然不彰，無法承擔(dān)因大數(shù)據(jù)而衍生的大量工作負(fù)載（Work Load），倘若不為此做改變，后頭的進(jìn)階型分析應(yīng)用，可說連想都不必再想了。

　　當(dāng)然，隨著Hadoop大行其道，連帶使得諸如BigTable、HBase或Cassandra等Key-Value數(shù)據(jù)庫開始抬頭，這些可被統(tǒng)稱為“NoSQL”的數(shù)據(jù)庫，不論是Key-Value Database、In-memory Database、Graph Database或Document Database,都有別傳統(tǒng)關(guān)系數(shù)據(jù)庫結(jié)構(gòu)，似乎都更將貼近大數(shù)據(jù)的處理需求，既然如此，何不直接采用NoSQL數(shù)據(jù)庫、而非字段式數(shù)據(jù)庫？

　　事實(shí)上，NoSQL另一層意涵為“Not Only SQL”,旨在補(bǔ)現(xiàn)有SQL之不足，而非取代SQL,企業(yè)宜先從數(shù)據(jù)庫I/O需求、Schema Free需求、單一數(shù)據(jù)表的儲(chǔ)存需求…等不同面向，徹底檢視其于處理大數(shù)據(jù)的過程中，究竟可能面臨哪些難題，而這些難題，哪些是SQL可以解決的、哪些又是SQL所不能解決的，莫要為了追求時(shí)髦而時(shí)髦；如此看來，字段式數(shù)據(jù)庫被企業(yè)所倚賴的空間，確實(shí)十分寬廣，最起碼，它對(duì)于數(shù)據(jù)的讀取效能，肯定比NoSQL數(shù)據(jù)庫強(qiáng)大許多。

　　云端運(yùn)算與內(nèi)存數(shù)據(jù)庫 革命性技術(shù)值得關(guān)注

　　被Gartner點(diǎn)名為革命性技術(shù)的“第二梯隊(duì)”（注：預(yù)估2~5年發(fā)酵）者，則包含了兩項(xiàng)，分別是云端運(yùn)算、內(nèi)存數(shù)據(jù)庫系統(tǒng)（In-Memory DBMS）。

　　至于同樣落在2~5年區(qū)間的高度發(fā)展技術(shù)，項(xiàng)目就相當(dāng)繁多，包括先進(jìn)的詐欺偵測(cè)暨分析技術(shù)、以云端為基礎(chǔ)的網(wǎng)格運(yùn)算、數(shù)據(jù)科學(xué)家、內(nèi)存分析（In-Memory Analytics）、內(nèi)存數(shù)據(jù)網(wǎng)格（In-Memory Data Grids）、政府公開數(shù)據(jù)（Open Government Data）、預(yù)測(cè)模型解決方案（Predictive Modeling Solutions）、社交分析（Social Analytics）、社交內(nèi)容（Social Content），以及文本金分析（Text Analytics）。

　　云端技術(shù)對(duì)于大數(shù)據(jù)處理與分析的重要性，著實(shí)無庸置疑。先從私有云角度來看，要想透過不管是MPI或MapReduce進(jìn)行大數(shù)據(jù)的分布式計(jì)算，都需奠基于計(jì)算、儲(chǔ)存或網(wǎng)絡(luò)等資源的靈活調(diào)度，值此時(shí)刻，若舍棄云端，似乎就唯有斥巨資部署超級(jí)計(jì)算機(jī)一途了。

　　其次談到公有云。盡管各行各業(yè)都可因大數(shù)據(jù)分析而獲益，但多數(shù)應(yīng)用場(chǎng)域，其實(shí)并非無時(shí)無刻都需要做分析，使用頻率甚至長(zhǎng)達(dá)每季一次、或每半年一次；在此前提下，企業(yè)若僅為了并非實(shí)時(shí)性的巨量資料分析，因而投注大量人力、物力與時(shí)間等成本建構(gòu)Hadoop環(huán)境，投資報(bào)酬率似乎不太劃算，的確值得商榷。

　　此時(shí)此刻，企業(yè)若能以彈性付費(fèi)的方式，向公有云服務(wù)供貨商，租賃大數(shù)據(jù)分析所需之計(jì)算資源，且能比照內(nèi)部On-Premise管理規(guī)則進(jìn)行相關(guān)設(shè)定，實(shí)在稱得上是美事一樁。以微軟為例，即在Windows Azure公有云端平臺(tái)上提供Hadoop租用服務(wù)，讓企業(yè)無需投資布建大量服務(wù)器及數(shù)據(jù)庫，便可隨需推動(dòng)大數(shù)據(jù)運(yùn)算任務(wù)，甚至標(biāo)榜能將 Windows與SQL Server方便管理的特性帶到Hadoop環(huán)境，便是相當(dāng)?shù)湫偷脑贫薆ig Data服務(wù)。

　　至于內(nèi)存數(shù)據(jù)庫，即是將關(guān)系數(shù)據(jù)庫、甚至是字段式數(shù)據(jù)庫，整個(gè)置于內(nèi)存之中，這般做法的好處是，以往最讓人詬病的磁盤I/O瓶頸，即可聲應(yīng)而破，從而大幅提振效能、縮短數(shù)據(jù)庫作業(yè)的響應(yīng)時(shí)間；身處現(xiàn)今凡事講究超速的時(shí)代，企業(yè)若能更快獲致商業(yè)運(yùn)算結(jié)果，也意謂其獲得勝利的可能性愈大。

　　所以大家不難發(fā)現(xiàn)，當(dāng)內(nèi)存數(shù)據(jù)庫被Gartner預(yù)期會(huì)在2~5年成為革命性技術(shù)的同時(shí)，“In-Memory”這個(gè)字眼仍在高度發(fā)展技術(shù)象限中反復(fù)出現(xiàn)，包括內(nèi)存分析、內(nèi)存數(shù)據(jù)網(wǎng)格等，也就充分凸顯出，“效能”對(duì)于大數(shù)據(jù)處理，實(shí)在太過重要，而效能表現(xiàn)的強(qiáng)弱，甚至對(duì)于最終商業(yè)應(yīng)用的績(jī)效影響至巨。

　　另值得一提的，在Gartner點(diǎn)名會(huì)在2~5年轉(zhuǎn)為“中度發(fā)展”的技術(shù)名單中，其間不乏是近來非常熱門的項(xiàng)目，譬如MapReduce、NoSQL數(shù)據(jù)庫、數(shù)據(jù)庫SaaS（Database Software as a Service;dbSaaS），此一看似將由熱轉(zhuǎn)冷的發(fā)展趨勢(shì)，亦值得企業(yè)保持關(guān)注。