資訊專欄INFORMATION COLUMN
摘要：在未來十年，管理數(shù)據(jù)倉庫的服務器的數(shù)量將增加倍以便迎合倍的大數(shù)據(jù)增長。毫無疑問，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎設施等，也會引發(fā)云計算數(shù)據(jù)倉庫數(shù)據(jù)挖掘商業(yè)智能等應用的連鎖反應。
大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢?
?
根據(jù)IDC的報告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976萬年。在未來十年，管理數(shù)據(jù)倉庫的服務器的數(shù)量將增加10倍以便迎合50倍的大數(shù)據(jù)增長。?
?
毫無疑問，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎設施等，也會引發(fā)云計算、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能等應用的連鎖反應。2011年企業(yè)會將更多的多TB(1TB=1000GB)數(shù)據(jù)集用于商務智能和商務分析;到2020年，全球數(shù)據(jù)使用量預計暴增44倍，達到35.2ZB(1ZB=10億TB)。
?
大數(shù)據(jù)面臨的挑戰(zhàn)——RISC已無法滿足未來的企業(yè)架構(gòu)需求?
?
對于海量的數(shù)據(jù)信息，如何對這些數(shù)據(jù)進行復雜的應用成了現(xiàn)今數(shù)據(jù)倉庫、商業(yè)智能和數(shù)據(jù)分析技術(shù)的研究熱點。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應用質(zhì)量問題。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應用。傳統(tǒng)的數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)性很強，即其中的數(shù)據(jù)為完全結(jié)構(gòu)化的數(shù)據(jù)，而目前數(shù)據(jù)較大特點就是半結(jié)構(gòu)化，因此此類數(shù)據(jù)挖掘比面向單個數(shù)據(jù)倉庫的數(shù)據(jù)挖掘要復雜得多。?
?
談到傳統(tǒng)數(shù)據(jù)倉庫的時候，大家不免就會買存儲設備，選服務器，不管是IBM Power或者是Oracle架構(gòu)的，這些其實都是在傳統(tǒng)時代非常有名的數(shù)據(jù)庫品牌，把它構(gòu)建在一起，構(gòu)成數(shù)據(jù)倉庫，微軟、COCNOS等都提供解決方案。?
?
但從目前來看，現(xiàn)有的數(shù)據(jù)倉庫已經(jīng)遠遠不能滿足未來的企業(yè)大數(shù)據(jù)架構(gòu)。?
?
對企業(yè)業(yè)務來說，不光要有高擴展性，而且是動態(tài)的需求，能夠讓設備自由擴充，不用去管數(shù)據(jù)倉庫、應用具體運行在這些機器的哪一臺上，這些計算能力的耗費完全是根據(jù)業(yè)務的伸縮而來的。
?
傳統(tǒng)的架構(gòu)做這類的項目十年到二十年的時間，它們有一個特點，數(shù)據(jù)倉庫的訪問和傳統(tǒng)的不同，所謂的不同就是查詢特別大，查詢的語句特別長、特別復雜，不像去銀行的存提款只是在眾多的記錄中查詢一兩條，它符合大數(shù)據(jù)查詢的特征，傳統(tǒng)的查詢索引作用非常有限。在數(shù)據(jù)庫中涉及多張表的連接，同時還有匯總、算標準差等復雜的運算。但是相反它的并發(fā)請求不是很多，一個企業(yè)就是人再多，不會同時超過一千個業(yè)務分析員在分析數(shù)據(jù)。
?
因此，在數(shù)據(jù)倉庫誕生的第一天，系統(tǒng)一直就有一個瓶頸，要把大查詢分解成小任務，這些小任務由并行的服務器來完成，我們強調(diào)小的機器要多，而不要大的機器CPU數(shù)少。因此，數(shù)據(jù)倉庫天生就是MPP、開放架構(gòu)的CPU加上并行擴展橫向擴展數(shù)量，從這方面來看，擴展性較差，并行處理能力有限的RISC架構(gòu)已經(jīng)不能代表未來的企業(yè)架構(gòu)。
?
而以英特爾為代表的X86處理器天生就是為大數(shù)據(jù)應用而生，Oracle推出的Exadata數(shù)據(jù)倉庫服務器采用了英特爾至強(Nehalem)處理器、DDR3內(nèi)存和40Gbps InfiniBand，Exadata數(shù)據(jù)庫機第二版的CPU、內(nèi)存和網(wǎng)絡速度分別提高了80%、200%、100%，單個數(shù)據(jù)庫服務器內(nèi)存容量則達到了72GB，原始磁盤容量和每機架磁盤容量達到100TB、336TB，Sun FlashFire內(nèi)存卡則實現(xiàn)了高性能的OLTP。
?
當大數(shù)據(jù)遭遇云計算
?
云計算為什么能盛行呢?在互聯(lián)網(wǎng)領域應用系統(tǒng)的構(gòu)建：客戶群體是不確定的、系統(tǒng)規(guī)模不確定、系統(tǒng)投資不固定、業(yè)務應用有很清晰的并行分割特征、數(shù)據(jù)倉庫系統(tǒng)的構(gòu)建、數(shù)據(jù)倉庫規(guī)?？晒浪?、數(shù)據(jù)倉庫的系統(tǒng)投資與業(yè)務分析的價值和回報相關(guān)、商業(yè)智能應用屬于整體應用、Saas模式構(gòu)建數(shù)據(jù)倉庫系統(tǒng)。?
?
在大數(shù)據(jù)技術(shù)上用云計算構(gòu)建下一代數(shù)據(jù)倉庫成為熱門話題，這當中包括大數(shù)據(jù)管理，分布式進行文件系統(tǒng)，如Hadoop、Mapreduce數(shù)據(jù)分割與訪問執(zhí)行;同時SQL支持，以Hive HADOOP為代表的SQL界面支持。從系統(tǒng)需求來看，大數(shù)據(jù)的架構(gòu)對系統(tǒng)提出了新的挑戰(zhàn)：
?
1、集成度更高：這意味著一個標準機箱較大限度完成特定任務，華碩不久推出的一款高密度機架式服務器RS720，2U高度較大能采用支持4個雙路計算節(jié)點，實現(xiàn)單機8個英特爾5600系列處理器和高達總計768G內(nèi)存資源。
?
2、配置更合理、速度更快：存儲、控制器、I/O通道、內(nèi)存、CPU、網(wǎng)絡均衡設計，針對數(shù)據(jù)倉庫訪問最優(yōu)設計，比傳統(tǒng)類似平臺高出一個數(shù)量級以上，這方面的經(jīng)典案例是數(shù)據(jù)倉庫頭號廠商Teradata，其采用雙路Xeon六核處理器的企業(yè)級數(shù)據(jù)倉庫5650可輕松為數(shù)千名用戶處理更復雜、更大量的工作負載、持續(xù)負載以及批負載、操作性查詢、簡單報表和復雜的分析，所有功能均在同一個平臺上運行。與上一代產(chǎn)品相比，動態(tài)企業(yè)級數(shù)據(jù)倉庫5650的性能提高了43%，占地面積保持不變，減少了能源消耗和空間需求。
?
3、整體能耗更低：同等計算任務，能耗較低。
?
4、系統(tǒng)更加穩(wěn)定可靠：能夠消除各種單點故障環(huán)節(jié)，統(tǒng)一一個部件、器件的品質(zhì)和標準。
?
5、管理維護費用低：數(shù)據(jù)藏的常規(guī)管理全部集成。?
?
6、可規(guī)劃和預見的系統(tǒng)擴容、升級路線圖。
?
云計算環(huán)境作為大數(shù)據(jù)處理平臺
1.云計算環(huán)境中基本計算單元的分化
?
企業(yè)云計算平臺上雖然有多個并行計算的CPU，但并沒有創(chuàng)造出具有超強數(shù)據(jù)處理能力的超級CPU，因此云計算平臺需要的是有并行運算能力的軟件系統(tǒng)。同時，當所有用戶的數(shù)據(jù)全部放在云端時，雖然存儲容量可以很方便地擴充，但面對大量用戶同時發(fā)起的海量數(shù)據(jù)處理請求，簡單的數(shù)據(jù)處理邏輯已經(jīng)無法滿足需要。
?
可以看到，國內(nèi)有相當多的電商企業(yè)，用小型機和Oracle扛了好幾年，并請了全國最牛的Oracle的專家不停優(yōu)化他的Oracle和小型機，初期發(fā)展可能很快，但是后來由于數(shù)據(jù)量激增，業(yè)務開始受到嚴重影響，最典型的例子無疑是京東商城前段時間發(fā)生的大規(guī)模訪問請求宕機事件，因此他們開始逐漸放棄了Oracle或者MS-SQL，并逐漸轉(zhuǎn)向MySQL X86的分布式架構(gòu)。
?
目前的基本計算單元常常是普通的X86服務器，它們組成了一個大的云，而未來的云計算單元里有可能有存儲單元、計算單元、協(xié)調(diào)單元，總體的效率會更高。?
?
2、對系統(tǒng)穩(wěn)定性的需求?
?
在應對大規(guī)模訪問的時候有一些系統(tǒng)穩(wěn)定性的追求，來自很多方面，來自網(wǎng)絡穩(wěn)定性、數(shù)據(jù)庫穩(wěn)定性。對系統(tǒng)而言，需要把握一個大原則，需要消除任何單點故障。不光是網(wǎng)絡上單點故障，還有來自你呼叫中心里的單點故障，只要有單點故障一定要消除掉。因為對于電商行業(yè)而言，每一秒都是錢，電子商務業(yè)務如果宕機一個小時，損失多少是可以算出來的，電商行業(yè)需要非常全面的技術(shù)系統(tǒng)監(jiān)控報警系統(tǒng)。有時候你會發(fā)現(xiàn)你如果通過技術(shù)系統(tǒng)的監(jiān)控去推導出你的技術(shù)發(fā)生問題已經(jīng)晚了。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/3602.html
摘要：毫無疑問，大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲架構(gòu)及數(shù)據(jù)中心基礎設施等，也會引發(fā)云計算數(shù)據(jù)倉庫數(shù)據(jù)挖掘商業(yè)智能等應用的連鎖反應。 ?????? 大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? 根據(jù)IDC的報告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當于每位美國人每分鐘寫3條Tweet，而且還是不停地寫2.6976...
摘要：據(jù)國外媒體報道，微軟和英特爾本周發(fā)布的財報，清楚地表明了這兩家昔日的霸主在把重心轉(zhuǎn)向云計算時面臨的挑戰(zhàn)。英特爾數(shù)據(jù)中心業(yè)務包括云計算數(shù)據(jù)中心用芯片，英特爾稱其云計算數(shù)據(jù)中心用芯片業(yè)務相當強勁。 據(jù)國外媒體報道，微軟和英特爾本周發(fā)布的財報，清楚地表明了這兩家昔日的PC霸主在把重心轉(zhuǎn)向云計算時面臨的挑戰(zhàn)。微軟云計算業(yè)務長期增長前景強勁。盡管上一財季微軟云計算業(yè)務Azure營收增長逾1倍，微軟在周...
摘要：云計算有能力革新醫(yī)療保健行業(yè)，可以通過分散化的方式提高效率，并通過提供與內(nèi)部組織相媲美的服務來改善患者體驗，而成本卻大大降低。云計算對醫(yī)療行業(yè)的另一個重要優(yōu)勢是靈活性，因為提供商可根據(jù)需要擴大或縮小資源。如今，在全球范圍內(nèi)，許多國家在尋求數(shù)字化醫(yī)療服務方面面臨著無數(shù)的問題。由于資源（包括員工和財務）的減少，對數(shù)字化服務的需求不斷上升，以及不斷增長的需求，各國的醫(yī)療體系面臨著前所未有的挑戰(zhàn)。所...
摘要：近年來，云計算技術(shù)得到蓬勃發(fā)展，增長快速。云計算已經(jīng)成為當前信息技術(shù)產(chǎn)業(yè)發(fā)展和應用創(chuàng)新的熱點。中國聯(lián)通年也成立了云數(shù)據(jù)公司，完成沃云網(wǎng)絡商用部署，部署十大云數(shù)據(jù)中心個省會城市的云計算資源池。云計算技術(shù)可以解決現(xiàn)有數(shù)據(jù)中心中遺留的一些問題。近年來，云計算技術(shù)得到蓬勃發(fā)展，增長快速。云計算已經(jīng)成為當前信息技術(shù)產(chǎn)業(yè)發(fā)展和應用創(chuàng)新的熱點。在我國，云計算已度過了初期的市場培育、概念炒作階段，目前進入到...
摘要：云計算機器學習平臺的另一個大問題是所有公共云所共有的問題供應商鎖定。無論組織是使用云計算機器學習平臺還是其他類型的機器學習解決方案，收集這些數(shù)據(jù)并將其轉(zhuǎn)換為可用的數(shù)據(jù)都是一項艱巨的任務。云計算機器學習的替代品組織有很多其他平臺的替代品。云計算機器學習平臺，有時也被稱為機器學習即服務(MLaaS)解決方案，可以讓企業(yè)更加輕松地采用人工智能(AI)。但專家表示，中小企業(yè)在考慮采用這些服務之前應該...
閱讀 3773·2021-09-24 09:48
閱讀 1261·2021-09-10 10:51
閱讀 3445·2019-08-30 13:03
閱讀 3483·2019-08-30 12:51
閱讀 1529·2019-08-30 11:22
閱讀 1249·2019-08-29 18:38
閱讀 2207·2019-08-29 16:41
閱讀 3436·2019-08-29 15:32
