摘要：導(dǎo)語(yǔ)本期訪談對(duì)象劉睿民，柏睿數(shù)據(jù)科技。由于計(jì)程車司機(jī)接二連三游行抗議，法國(guó)政府已頒布法令禁用。技術(shù)人攻略為什么會(huì)從數(shù)據(jù)挖掘，轉(zhuǎn)向數(shù)據(jù)庫(kù)引擎研發(fā)后來(lái)發(fā)現(xiàn)，所謂的數(shù)據(jù)挖掘在中國(guó)，很容易走偏。

文：Gracia (本文為原創(chuàng)內(nèi)容，部分或全文轉(zhuǎn)載均需經(jīng)過(guò)作者授權(quán)，并保留完整的作者信息和技術(shù)人攻略介紹。)

導(dǎo)語(yǔ)：本期訪談對(duì)象劉睿民（Dowson Liu），柏睿數(shù)據(jù)科技CEO。和Dowson的會(huì)面約在早上10點(diǎn)，在望京SOHO 塔2，15層走廊的盡頭，我找到掛著柏睿銘牌的白色小門。門上著鎖，沒(méi)有朝向走廊的窗戶，看不見(jiàn)內(nèi)部陳設(shè)。為這次早到等候了足足二十分鐘后， Dowson準(zhǔn)時(shí)出現(xiàn)。這是我第一次見(jiàn)到他，平頭、眼鏡、濃眉，說(shuō)話略帶東北口音，語(yǔ)速不徐不緩。門后是一間帶落地窗的大辦公室，視野開(kāi)闊。他解釋說(shuō)，這間辦公室的主要用途是會(huì)客，負(fù)責(zé)業(yè)務(wù)的工程師約有20人，駐守在側(cè)邊的塔樓。核心研發(fā)團(tuán)隊(duì)則分布在海外，或在干燥炎熱的內(nèi)華達(dá)沙漠，或在細(xì)雨紛飛的西雅圖，或在沿海季風(fēng)吹拂下的悉尼。

1995年入行，Dowson正好趕上行業(yè)信息化的黃金時(shí)期。在美國(guó)高度發(fā)達(dá)、自由競(jìng)爭(zhēng)的IT市場(chǎng)歷練10年，曾師從圖靈獎(jiǎng)獲得者Jim Grey，還在惠普實(shí)驗(yàn)室從事過(guò)海量并行內(nèi)存數(shù)據(jù)庫(kù)開(kāi)發(fā)，根正苗紅，習(xí)得一身硬本事；回國(guó)后的10年，歷任華勝天成CTO、惠普大中華區(qū)數(shù)據(jù)挖掘總監(jiān)、SUN/ORACLE大中華區(qū)服務(wù)總裁，創(chuàng)造過(guò)一年翻22倍，近10億人民幣的銷售奇跡，bonus拿到手軟。

這位典型的海歸精英，手下已擁有3家公司，開(kāi)一輛銀白色的路虎越野車。一切順風(fēng)順?biāo)?，卻掩不住那顆愛(ài)冒險(xiǎn)的心。剛到美國(guó)不久，Dowson就和印度人開(kāi)起了咨詢公司，一年時(shí)間，簽下千萬(wàn)大單，從南到北把業(yè)務(wù)跑了個(gè)遍；iPad上市之前，他自己手畫(huà)電路板，投錢做出20塊平板，一年時(shí)間燒掉500萬(wàn)。從上次創(chuàng)業(yè)摔的跟頭中，他意識(shí)到：憑個(gè)人能力可以做出優(yōu)質(zhì)產(chǎn)品，卻難以帶動(dòng)產(chǎn)業(yè)上下游的配合與發(fā)展，任何產(chǎn)業(yè)級(jí)的影響力都離不開(kāi)長(zhǎng)期的深厚積累。

在數(shù)據(jù)庫(kù)領(lǐng)域摸爬滾打20年，Dowson深知這一波大數(shù)據(jù)革命的顛覆性，點(diǎn)滴信息正匯集成財(cái)富創(chuàng)造的新系統(tǒng)，大煙囪社會(huì)的權(quán)力結(jié)構(gòu)，將進(jìn)一步向超級(jí)信息符號(hào)組成的社會(huì)轉(zhuǎn)移。站在這場(chǎng)權(quán)力爭(zhēng)奪戰(zhàn)的邊緣，Dowson敏銳察覺(jué)到，過(guò)去鐵板一塊、巨頭扎堆的企業(yè)級(jí)市場(chǎng)已開(kāi)始松動(dòng)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，無(wú)力承載海量數(shù)據(jù)的處理和分析。隨著新一輪窗口期開(kāi)啟，數(shù)據(jù)庫(kù)領(lǐng)域進(jìn)入戰(zhàn)國(guó)時(shí)代，各類列式架構(gòu)、內(nèi)存架構(gòu)、NoSQL、NewSQL等新型數(shù)據(jù)庫(kù)層出不窮、各領(lǐng)風(fēng)騷，動(dòng)搖著舊有權(quán)利系統(tǒng)的支柱。

2013年9月，Dowson創(chuàng)立柏睿數(shù)據(jù)，研發(fā)基于MPP架構(gòu)的海量?jī)?nèi)存數(shù)據(jù)庫(kù)引擎。過(guò)往的人脈讓他得以組建陣容豪華、實(shí)力強(qiáng)大的海外團(tuán)隊(duì)，并在過(guò)去半年里進(jìn)展神速。他的目標(biāo)是取代Oracle，做企業(yè)級(jí)市場(chǎng)數(shù)據(jù)處理的顛覆者。

在長(zhǎng)達(dá)5個(gè)半小時(shí)的采訪過(guò)程中，Dowson對(duì)國(guó)內(nèi)基礎(chǔ)領(lǐng)域的淪陷痛心不已。從他父輩那代起，國(guó)家的產(chǎn)業(yè)導(dǎo)向就偏重于對(duì)模式的迷戀，而非技術(shù)和品質(zhì)上的精益求精。他母親曾親手拉出中國(guó)第一根單模光纖，但“高科技”光纖的質(zhì)量，最終卻受制于“低科技”的橡膠產(chǎn)業(yè)。這樣的荒誕故事仍在不斷上演，投射出當(dāng)下社會(huì)的事態(tài)與人心。在公眾知識(shí)分子許知遠(yuǎn)眼里：整個(gè)中國(guó)都陷入了一種同質(zhì)化、低水平的競(jìng)爭(zhēng)，人們有高度的競(jìng)爭(zhēng)感，卻缺少真正的創(chuàng)造力。IT、互聯(lián)網(wǎng)也概莫能外，在漫天“互聯(lián)網(wǎng)思維”的紛擾下，Dowson堅(jiān)持做著高技術(shù)含量的基礎(chǔ)研發(fā)，這群理想豐沛，不被骨感現(xiàn)實(shí)所惑的人，會(huì)是未來(lái)中國(guó)創(chuàng)新的脊梁。

注：照片拍攝于2003年，科羅拉多海拔5000米的山頂。

技術(shù)人攻略：你從什么時(shí)候開(kāi)始觀察到海量數(shù)據(jù)處理在企業(yè)級(jí)領(lǐng)域的趨勢(shì)？

  
2012年我離開(kāi)Sun Microsystem/Oracle時(shí)，看到兩個(gè)趨勢(shì)，當(dāng)時(shí)OpenStack已經(jīng)誕生，企業(yè)級(jí)市場(chǎng)的云是必然趨勢(shì)。云產(chǎn)生之后，會(huì)引發(fā)第二個(gè)趨勢(shì)，企業(yè)的業(yè)務(wù)不斷向定制化APP轉(zhuǎn)移，大量數(shù)據(jù)從移動(dòng)端收集上來(lái)，需要進(jìn)行實(shí)時(shí)、動(dòng)態(tài)的處理。


  舉個(gè)例子，某家生產(chǎn)型企業(yè)客戶，擁有超過(guò)兩萬(wàn)個(gè)小終端，分別提供給理貨員、快遞員、倉(cāng)庫(kù)管理員和促銷員使用，這些不同角色通過(guò)APP掃碼、跟蹤，產(chǎn)生實(shí)時(shí)銷售數(shù)據(jù)，快速反饋到下一個(gè)環(huán)節(jié)。和2C的業(yè)務(wù)環(huán)境相比，企業(yè)用戶對(duì)動(dòng)態(tài)數(shù)據(jù)實(shí)時(shí)處理的迫切性更高，倒逼企業(yè)信息處理能力往上走。
  
  
傳統(tǒng)零售和物流企業(yè)，受電商沖擊最大。淘寶已經(jīng)能利用數(shù)據(jù)做好生意了，零售企業(yè)要么被逼死，要么去適應(yīng)這個(gè)環(huán)境。同樣有危機(jī)感的，還有電信行業(yè)，電信已成為管道，但所有的數(shù)據(jù)都要從管道里走，所以他們非常積極，想對(duì)自己平臺(tái)上產(chǎn)生的數(shù)據(jù)做分析，以期獲得更廣泛的利用。是否能抓住大數(shù)據(jù)的機(jī)會(huì)，對(duì)企業(yè)生死存亡至關(guān)重要。
  
  
硅谷這一波數(shù)據(jù)革命，對(duì)產(chǎn)業(yè)已經(jīng)造成了很大影響。全球各大租車公司，被Uber弄得快要翻船，這可是影響全球幾十萬(wàn)人的事業(yè)。由于計(jì)程車司機(jī)接二連三游行抗議，法國(guó)政府已頒布法令禁用Uber。Uber成功的表象是互聯(lián)網(wǎng)的勝利，但真正原因是對(duì)數(shù)據(jù)的控制和優(yōu)化。這其實(shí)是一次權(quán)利的重新洗牌，掌握了數(shù)據(jù)就掌握了這一波產(chǎn)業(yè)革命的先機(jī)。
  
  
于是我開(kāi)始做一些嘗試，對(duì)全國(guó)3萬(wàn)家超市的零售詳細(xì)數(shù)據(jù)進(jìn)行挖掘分析，客戶主要是P&G、可口可樂(lè)、聯(lián)合利華這樣的公司。過(guò)程中對(duì)比后發(fā)現(xiàn)，由于淘寶產(chǎn)生的數(shù)據(jù)量遠(yuǎn)大于零售ERP的結(jié)構(gòu)化數(shù)據(jù)。如果將ERP數(shù)據(jù)和網(wǎng)絡(luò)上的數(shù)據(jù)做結(jié)合，會(huì)大大擴(kuò)展消費(fèi)數(shù)據(jù)的外延。除消費(fèi)習(xí)慣以外，用戶的情感分析，時(shí)空軌跡分析，都可以算出來(lái)。

技術(shù)人攻略：為什么會(huì)從數(shù)據(jù)挖掘，轉(zhuǎn)向數(shù)據(jù)庫(kù)引擎研發(fā)？

  
后來(lái)發(fā)現(xiàn)，所謂的數(shù)據(jù)挖掘在中國(guó)，很容易走偏。機(jī)器剝奪了人的決策功能，這恰恰是許多玩政治的人不愿意看到的。我這人不愿意介入政治，過(guò)去管惠普大中華區(qū)數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)那段時(shí)間，公司內(nèi)部幾個(gè)集團(tuán)，因?yàn)榧冋卧虼蚣?。業(yè)務(wù)做得再好，都仍被犧牲掉，很不喜歡這種失控的環(huán)境。我對(duì)自己的定位，就是一個(gè)技術(shù)人，在可以憑技術(shù)吃飯的情況下，干嘛要去玩政治？
  
  
我真正意識(shí)到應(yīng)該把未來(lái)事業(yè)方向，放在自己擅長(zhǎng)的領(lǐng)域，還緣于曾經(jīng)摔過(guò)的一次大跤。2005年我花了599美金，從美國(guó)買了一個(gè)Toshiba e740掌上電腦，當(dāng)時(shí)特別喜歡，想著如果能把它做得薄、更大就好了。那會(huì)兒蘋(píng)果才出到iPhone2，我把它拆解之后，發(fā)現(xiàn)電路板并不復(fù)雜，部件也都能采購(gòu)到。于是自己畫(huà)了個(gè)4層電路板，基于Ubuntu 8.5切割出一個(gè)系統(tǒng)。2010年初，花了40萬(wàn)，去深圳加工出了20臺(tái)產(chǎn)品，厚度和后來(lái)的iPad差不多。出于成本考慮，產(chǎn)品采用了電阻屏，但我寫(xiě)了一套算法，做出了和電容屏很接近的觸感。
  
  
當(dāng)年5月，蘋(píng)果iPad上市。我在這個(gè)領(lǐng)域玩了一年多，把自己的500萬(wàn)花光后，發(fā)現(xiàn)不能這樣下去。技術(shù)我可以做得很好，但我想達(dá)到的目標(biāo)，不是500萬(wàn)能干完的，可能需要5個(gè)億，甚至50個(gè)億才能打通。有的事情并不是錢能玩出來(lái)的，而是需要產(chǎn)業(yè)經(jīng)驗(yàn)和人脈的積累，需要產(chǎn)業(yè)鏈上下游的人和你配合，否則很難把整個(gè)事情玩透。
  
  
這塊業(yè)務(wù)我后來(lái)轉(zhuǎn)讓了中信21CN，他們把這套東西用在了藥店的工業(yè)掃碼終端上，現(xiàn)在這塊業(yè)務(wù)已經(jīng)到了阿里健康那兒。投進(jìn)去的500萬(wàn)就算是交了個(gè)學(xué)費(fèi)，很貴，但也重新認(rèn)識(shí)了一次自我。沒(méi)有人是萬(wàn)能的，你只能干自己最擅長(zhǎng)的事，我最擅長(zhǎng)的事不是做平板，不是做數(shù)據(jù)挖掘這種應(yīng)用型的事情，而是做數(shù)據(jù)庫(kù)研發(fā)。

技術(shù)人攻略：數(shù)據(jù)庫(kù)引擎研發(fā)是基礎(chǔ)性技術(shù)，你在這一領(lǐng)域有哪些積累？

  
我在數(shù)據(jù)庫(kù)領(lǐng)域做了差不多20年，從實(shí)施，到研發(fā)，再到銷售等不同類型的工作都做過(guò)。2013年9月起，創(chuàng)辦柏睿數(shù)據(jù)庫(kù)，研發(fā)面向企業(yè)級(jí)IT市場(chǎng)的，海量并行內(nèi)存處理架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)引擎。之所以能從事基礎(chǔ)研發(fā)，和我原來(lái)在惠普的工作經(jīng)歷有密切關(guān)系。
  
  
我在惠普是三進(jìn)三出。大學(xué)畢業(yè)后，我加入新加坡電信，做BSS/OSS大機(jī)開(kāi)發(fā)。1997年底去了美國(guó)，做電信系統(tǒng)相關(guān)的IT改造。隨后加入Tandem，做Nonstop SQL商業(yè)數(shù)據(jù)庫(kù)的開(kāi)發(fā)，認(rèn)識(shí)了我的導(dǎo)師Jim Gray,他憑借在數(shù)據(jù)庫(kù)方面的開(kāi)創(chuàng)性貢獻(xiàn)獲得過(guò)圖靈獎(jiǎng)。后來(lái)Tandem被康柏收購(gòu)，康柏又被惠普收購(gòu)，就這么第一次進(jìn)了惠普。
  
  
第二次進(jìn)惠普是在1999年，惠普實(shí)驗(yàn)室接了一個(gè)沃爾瑪?shù)捻?xiàng)目，節(jié)點(diǎn)數(shù)高達(dá)512個(gè)節(jié)點(diǎn)。在那里遇到我現(xiàn)在的導(dǎo)師Dave Cracknell，那真是是一個(gè)非常好的年代，每天睡到11點(diǎn)去辦公室，中午吃飯的時(shí)候，和導(dǎo)師交流遇到的問(wèn)題，然后一直寫(xiě)代碼到夜里2、3點(diǎn)。
  
  
惠普這家公司是錢多、任性，因?yàn)楣局鳂I(yè)是硬件，對(duì)數(shù)據(jù)庫(kù)并不是很理解。Tandem的Nonstop SQL，幾乎可以等同于Teradata，但惠普沒(méi)有意識(shí)到它的重要性。直到2006年，Mark Hurd（Oracle現(xiàn)任CEO）執(zhí)掌惠普期間，重新拾起Nonstop SQL，把它變成Neoview這個(gè)新產(chǎn)品。導(dǎo)師讓我回去，一起重做這個(gè)東西，于是我第三次進(jìn)了惠普。 回去后我負(fù)責(zé)HP Neoview數(shù)據(jù)倉(cāng)庫(kù)在國(guó)內(nèi)的業(yè)務(wù)拓展，經(jīng)常硅谷、北京兩邊跑，把國(guó)內(nèi)市場(chǎng)的需求反饋給導(dǎo)師?？上б荒甓嘁院?，Mark Hurd離開(kāi)惠普，這個(gè)產(chǎn)品又被砍掉。原來(lái)做這件事的小伙伴們，都不想輕易放棄。在柏睿，我能繼續(xù)和這群小伙伴一起，把未完成的夢(mèng)想堅(jiān)持下去。
  
  
整個(gè)研發(fā)團(tuán)隊(duì)共有12人，完全用remote的方式協(xié)作，分布在美國(guó)、澳洲、英國(guó)和印度，不少都是我在惠普實(shí)驗(yàn)室的同事。我的導(dǎo)師Dave Cracknell，在硅谷負(fù)責(zé)整個(gè)項(xiàng)目的管理。
  
  
海外12個(gè)人的研發(fā)團(tuán)隊(duì)投入很大，但效率也很高。2013年初，我們的產(chǎn)品還類似于VoltDB，只能做兩張表的JOIN查詢。半年之內(nèi)迭代了9個(gè)版本，取得了突破性進(jìn)展，已經(jīng)能支持至少32張表的復(fù)雜JOIN查詢。去年4月，SQL引擎的性能和SAP HANA還差得很遠(yuǎn)，現(xiàn)在基本上和HANA站在同一個(gè)起跑線上。而且從整體的發(fā)展路徑上來(lái)看，會(huì)超越HANA。

技術(shù)人攻略：企業(yè)級(jí)市場(chǎng)對(duì)數(shù)據(jù)處理的需求，和互聯(lián)網(wǎng)公司有什么區(qū)別？你們的產(chǎn)品解決了大數(shù)據(jù)處理的哪些問(wèn)題？

  
早在80年代，IBM已經(jīng)在大機(jī)上實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的處理，但需求量并不大?；ヂ?lián)網(wǎng)積累到一定量，非結(jié)構(gòu)數(shù)據(jù)大量產(chǎn)生，這種情況會(huì)帶來(lái)新需求。首先是解決海量數(shù)據(jù)的存儲(chǔ)，接下來(lái)是分析這些數(shù)據(jù)，最后是解決數(shù)據(jù)分析實(shí)時(shí)性問(wèn)題。
  
  
Hadoop只解決了數(shù)據(jù)的存儲(chǔ)，于是出來(lái)了MapReduce方法，可對(duì)數(shù)據(jù)做一定程度的分析。從數(shù)學(xué)上看，MapReduce屬于暴力拆解，用很多PC服務(wù)器，不斷循環(huán)迭代，非常野蠻。好比用炸藥把山炸掉，產(chǎn)生一堆數(shù)據(jù)的大碎石頭，最后還得整理這些石頭。這種方式導(dǎo)致MapReduce只能做ETL數(shù)據(jù)清洗，無(wú)法實(shí)現(xiàn)交互式的SQL查詢，因?yàn)檎麄€(gè)處理過(guò)程中，數(shù)據(jù)和邏輯并沒(méi)有建立任何關(guān)聯(lián)。
  
  
從嚴(yán)格意義上來(lái)說(shuō)，關(guān)系型數(shù)據(jù)庫(kù)依然是最強(qiáng)大的數(shù)據(jù)挖掘工具。只有把結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，先做數(shù)據(jù)清洗，變成有邏輯含義的結(jié)構(gòu)及非結(jié)構(gòu)化數(shù)據(jù)，放到數(shù)據(jù)庫(kù)里，才能做出符合數(shù)學(xué)范式的精確查詢。2014年8月，Google公開(kāi)了基于海量并行處理架構(gòu)架構(gòu)（MPP），近實(shí)時(shí)數(shù)據(jù)挖掘倉(cāng)庫(kù)Mesa的論文，也證明它最終要走回結(jié)構(gòu)化這條路。
  
  
企業(yè)級(jí)市場(chǎng)對(duì)數(shù)據(jù)處理的需求，和互聯(lián)網(wǎng)公司的處理方式并不完全一樣?；ヂ?lián)網(wǎng)提供快速的解決方法，不是成熟的產(chǎn)品。對(duì)于企業(yè)級(jí)用戶來(lái)說(shuō)，沒(méi)有哪家能有阿里這樣的實(shí)力，雇兩萬(wàn)programmer寫(xiě)代碼。別說(shuō)兩萬(wàn)，200個(gè)人都不可能。
  
  
企業(yè)用戶要的并不是阿里所擁有的東西，而是想要一套完整的解決方案，裝上就能解決問(wèn)題。比如處理4個(gè)T的數(shù)據(jù)，兩分鐘以后見(jiàn)東西。只有一個(gè)Admin來(lái)管理這一套工具，頂多配10個(gè)人，絕對(duì)不可能搞一個(gè)大型的IT部門。因?yàn)槠髽I(yè)用戶的主業(yè)還是造機(jī)器、做紡織、做電器。我們?yōu)槠髽I(yè)級(jí)市場(chǎng)提供一整套的解決方案，從文件系統(tǒng)開(kāi)始，到預(yù)處理，再到最終的數(shù)據(jù)分析，而且可以幫他們快速在云上部署。
  
  
為實(shí)現(xiàn)數(shù)據(jù)處理的實(shí)時(shí)性，我們分了三步進(jìn)行。首先是提升Hadoop文件系統(tǒng)的效率，MapReduce為了增加寫(xiě)的效率，把數(shù)據(jù)都切碎了，這種邏輯和存儲(chǔ)分開(kāi)的方式，導(dǎo)致讀的時(shí)候不知道數(shù)據(jù)存在哪兒。電信用戶一天的增量數(shù)據(jù)是10個(gè)T，在沒(méi)有索引的情況下，想找到客戶真正要的那片數(shù)據(jù)，非常難。我們?cè)贖DFS上做了大量?jī)?yōu)化，能把讀取文件的速度，從網(wǎng)絡(luò)訪問(wèn)提升到相當(dāng)于讀取本地盤的速度。
  
  
接下來(lái)做了內(nèi)存數(shù)據(jù)網(wǎng)格這個(gè)產(chǎn)品，MapReduce太慢，跑下來(lái)4、5個(gè)小時(shí)，不能等那么長(zhǎng)時(shí)間才做分析，那就必須在內(nèi)存中重寫(xiě)。我們的實(shí)現(xiàn)方式很像挖煤礦，先做勘察，分辨出哪些是煤，哪些是石頭，每一層用不同的方式挖進(jìn)去。具體的實(shí)現(xiàn)過(guò)程，是用HASH把數(shù)據(jù)分層，在幾秒鐘之內(nèi)起成千上萬(wàn)個(gè)模板，每個(gè)模板對(duì)應(yīng)數(shù)據(jù)處理的不同粒度，相當(dāng)于尺寸不同的篩子，對(duì)數(shù)據(jù)做預(yù)處理。
  
  
第三步，經(jīng)過(guò)清洗之后，數(shù)據(jù)變成了結(jié)構(gòu)化和半結(jié)構(gòu)化形式，可以實(shí)現(xiàn)精確查詢。例如對(duì)100張表做聯(lián)合查詢，得出精確的查詢記錄。原來(lái)在性能上做不到的，我們采用MPP的海量并行內(nèi)存處理架構(gòu)，可以在很短時(shí)間內(nèi)，實(shí)現(xiàn)數(shù)據(jù)庫(kù)節(jié)點(diǎn)的橫向擴(kuò)展。

技術(shù)人攻略：海量并行處理架構(gòu)有哪些優(yōu)勢(shì)？

  
商用數(shù)據(jù)庫(kù)的主流系統(tǒng)架構(gòu)有兩個(gè)流派，一種是對(duì)稱多處理器架構(gòu)（SMP），另一種是海量并行處理架構(gòu)（MPP）。SMP架構(gòu)的特點(diǎn)，在于共享系統(tǒng)的CPU、內(nèi)存和I/O資源，Oracle數(shù)據(jù)庫(kù)就是這一架構(gòu)的主要代表。該技術(shù)誕生于內(nèi)存昂貴時(shí)期，在數(shù)據(jù)量小于10T的情況下，可以應(yīng)對(duì)自如。這種架構(gòu)的局限性在于可擴(kuò)展性差，多個(gè)CPU都通過(guò)內(nèi)存總線訪問(wèn)同一內(nèi)存資源，隨著數(shù)據(jù)量增加，內(nèi)存訪問(wèn)沖突將加劇，最終造成CPU性能的浪費(fèi)。我們做過(guò)實(shí)驗(yàn)，Exadata在50個(gè)存儲(chǔ)節(jié)點(diǎn)時(shí)性能還可以，一旦再上一個(gè)量級(jí)，就會(huì)遇到明顯的性能瓶頸。
  
  
海量并行處理架構(gòu)（MPP）可通過(guò)節(jié)點(diǎn)協(xié)同工作，并且每個(gè)節(jié)點(diǎn)都擁有獨(dú)立的內(nèi)存，是一種完全無(wú)共享的架構(gòu)方式，因而有很強(qiáng)的擴(kuò)展能力。MPP的理論基礎(chǔ)在70年代已經(jīng)成熟，只不過(guò)當(dāng)時(shí)普遍不需要那么大數(shù)據(jù)量，所以僅在小范圍內(nèi)應(yīng)用。1999年我參與美國(guó)空軍的項(xiàng)目，就部署了1024個(gè)節(jié)點(diǎn)，雖然并不是基于云，但這條路已經(jīng)打通了。
  
  
采用MPP架構(gòu)最大的問(wèn)題，在于節(jié)點(diǎn)之間的數(shù)據(jù)拷貝，可能會(huì)形成網(wǎng)絡(luò)風(fēng)暴。假設(shè)對(duì)300張表做JOIN聯(lián)合查詢，其中有30張表都大于1TB，其中1/10的數(shù)據(jù)要拷貝，那就是5、600個(gè)G的數(shù)據(jù)在網(wǎng)絡(luò)上跑?，F(xiàn)在不少企業(yè)動(dòng)輒上千個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)里有幾十個(gè)T的數(shù)據(jù)，網(wǎng)絡(luò)訪問(wèn)的優(yōu)化非常關(guān)鍵。
  
  
我們采用了InfiniBand這種新型總線結(jié)構(gòu)，以擺脫基于傳統(tǒng)PCI架構(gòu)的I/O性能瓶頸。這種服務(wù)器端的高性能互聯(lián)技術(shù)，可大幅提升數(shù)據(jù)的移動(dòng)速度，降低服務(wù)器和存儲(chǔ)系統(tǒng)之間的網(wǎng)絡(luò)開(kāi)銷。InfiniBand有一種遠(yuǎn)程直接內(nèi)存訪問(wèn)技術(shù)（RDMA），允許直接對(duì)應(yīng)用程序內(nèi)存做讀取和寫(xiě)入。過(guò)去內(nèi)存里的數(shù)據(jù)轉(zhuǎn)換，要經(jīng)過(guò)幾次System Call，在邏輯和電信號(hào)之間做多次轉(zhuǎn)換，才能切換用戶狀態(tài)和系統(tǒng)狀態(tài)。RDMA則不管數(shù)據(jù)存在哪一臺(tái)服務(wù)器，直接都是系統(tǒng)態(tài)，只需要把電信號(hào)變一下就可以。
  
  
現(xiàn)在的架構(gòu)可在一分鐘內(nèi)開(kāi)數(shù)十個(gè)節(jié)點(diǎn)。用Hadoop作性能測(cè)試，在同樣基于磁盤的情況下，運(yùn)行速度可提升10倍。如果把數(shù)據(jù)load到內(nèi)存里重寫(xiě)的MapReduce，速度能提升100倍。

技術(shù)人攻略：作為一家企業(yè)級(jí)領(lǐng)域的創(chuàng)業(yè)公司，如何與巨頭競(jìng)爭(zhēng)？如何贏得市場(chǎng)？

  
數(shù)據(jù)庫(kù)領(lǐng)域正在窗口期，不少新機(jī)會(huì)正在涌現(xiàn)。IBM和HP守著自己的小機(jī)不放，但用戶已經(jīng)不要小機(jī)了，而且巨頭們也解決不了大數(shù)據(jù)的問(wèn)題。結(jié)構(gòu)化數(shù)據(jù)原來(lái)占了99%，而現(xiàn)在卻只占1%，從趨勢(shì)上看，巨頭擅長(zhǎng)的地盤一下子變成了一個(gè)小市場(chǎng)。我們的產(chǎn)品不僅能處理非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，而且在結(jié)構(gòu)化數(shù)據(jù)這塊，還能替代巨頭。
  
  
產(chǎn)業(yè)發(fā)展自有其周期，數(shù)據(jù)庫(kù)領(lǐng)域的老大Oracle已經(jīng)走到頭了。Oracle的核心技術(shù)誕生于30年前，并在90年代成熟。從90年代末到現(xiàn)在，Oracle并沒(méi)有修改過(guò)核心架構(gòu)，只做了些外圍修繕，這種單節(jié)點(diǎn)共享內(nèi)存架構(gòu)，無(wú)法支撐大數(shù)據(jù)時(shí)代快速擴(kuò)展的需求。創(chuàng)始人拉里森本質(zhì)上是一個(gè)商人，把Oracle做成了一家應(yīng)用型公司，即使業(yè)務(wù)很賺錢，也沒(méi)有設(shè)立過(guò)Lab，做基礎(chǔ)性的研究。原來(lái)的生意一年賺9000億美金，新生意才只有900萬(wàn)的情況下，要干掉老生意新起一攤，而且把基因也改過(guò)來(lái)，難度非常大。雖然Exadata里添加了全內(nèi)存選項(xiàng)，但只是增大了共享內(nèi)存的容量，架構(gòu)上并沒(méi)有做修改。估計(jì)5年之內(nèi)，Oracle的架構(gòu)也不會(huì)改。拉里森已經(jīng)年過(guò)70，再過(guò)幾年就更沒(méi)有功夫管了。所以現(xiàn)在是替代Oracle的絕好機(jī)會(huì)節(jié)點(diǎn)。
  
  
國(guó)內(nèi)的企業(yè)級(jí)市場(chǎng)，現(xiàn)在光拼關(guān)系也不行了，數(shù)據(jù)量突然提升了1000倍，過(guò)去的IT架構(gòu)，已無(wú)力支撐這種大容量的數(shù)據(jù)處理，所以技術(shù)成了硬門檻。這一波基于云和大數(shù)據(jù)的革命，會(huì)形成一個(gè)完全不同于以往的，非常開(kāi)放的生態(tài)。原來(lái)企業(yè)級(jí)領(lǐng)域研發(fā)出一項(xiàng)技術(shù)，必須依靠銷售去推。由于市場(chǎng)過(guò)于分散，照IBM這類老牌IT廠商，賣東西給客戶的成本太高。所以只有每個(gè)行業(yè)里Top3的客戶，最多到Top10，能購(gòu)買得起昂貴的IT服務(wù)。
  
  
云服務(wù)普及后，技術(shù)可以在云上部署。從市場(chǎng)角度來(lái)看，由于長(zhǎng)尾效應(yīng)，原來(lái)買不起這些服務(wù)的中型客戶，可以按時(shí)、按需付費(fèi)。這些中型企業(yè)也希望把原來(lái)行業(yè)的老大替代掉，所以他們有極大的意愿，去購(gòu)買互聯(lián)網(wǎng)上的服務(wù)。
  
  
另一方面，客戶可以自己選擇云上的工具，我們這樣的小型服務(wù)提供商，和IBM等大公司能平起平坐。而且我們的東西天生是為云而做的，比他們還要先行一步，想把Oracle部署到云上，還做不到?？偟膩?lái)說(shuō)，數(shù)據(jù)庫(kù)領(lǐng)域不僅沒(méi)有萎縮，而是產(chǎn)生了一個(gè)新市場(chǎng)，這個(gè)新市場(chǎng)可能比原來(lái)舊的市場(chǎng)還大。

技術(shù)人攻略：你觀察到我們國(guó)家在基礎(chǔ)領(lǐng)域有哪些問(wèn)題？

  
我們國(guó)家一直以來(lái)對(duì)自己的定位，就是做應(yīng)用型產(chǎn)業(yè)。大家的手很巧，能把東西修得非常像，但材料卻不過(guò)關(guān)，所以皮是好的，瓤是碎的。這就是為什么，老外做的航空發(fā)動(dòng)機(jī)，能跑3000個(gè)小時(shí)，而我們的卻只能跑300個(gè)小時(shí)。
  
  
我母親是從事半導(dǎo)體激光器研發(fā)的科技工作者，早在1972年，她親手拉出了中國(guó)第一根單模光纖，獲得了國(guó)家科技進(jìn)步一等獎(jiǎng)。光纖的制作過(guò)程，需要在完全密閉的環(huán)境下，讓硅片氣象層積，直到慢慢變成硅柱。光纖的質(zhì)量，取決于這個(gè)密閉環(huán)境中的灰塵含量，究竟會(huì)進(jìn)多少灰塵，取決于密封圈的質(zhì)量，密封圈是否牢靠，又取決于橡膠的質(zhì)量。但做橡膠這種基礎(chǔ)工業(yè)的人，不想精益求精，只滿足于做輪胎。到最后誰(shuí)會(huì)想到，高科技光纖的壽命，會(huì)受限于橡膠的雜質(zhì)太多，而達(dá)不到應(yīng)有的質(zhì)量標(biāo)準(zhǔn)。
  
  
回國(guó)之后過(guò)了兩、三年，我才深刻認(rèn)識(shí)到這個(gè)道理。2006年，我負(fù)責(zé)惠普大中華區(qū)的數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)，當(dāng)時(shí)希望把惠普實(shí)驗(yàn)室Database的研發(fā)搬到中國(guó)，努力了一陣，發(fā)現(xiàn)根本是妄想。外企雖然紛紛在中國(guó)建立研發(fā)中心，但核心技術(shù)仍然在國(guó)外，只不過(guò)利用國(guó)內(nèi)便宜的人力成本，拿些邊邊角角技術(shù)活過(guò)來(lái)，做廠內(nèi)外包。
  
  
國(guó)家產(chǎn)業(yè)政策的制定者，天真地以為可以用市場(chǎng)換來(lái)技術(shù)，到最后才發(fā)現(xiàn)，這種交換根本不成立。技術(shù)是別人吃飯的東西，為什么會(huì)給你？某種意義上來(lái)說(shuō)，這也關(guān)系到人家的飯碗。除非你自己造了一個(gè)飯碗，否則人家為什么會(huì)把飯碗交給你呢？
  
  
IT和汽車產(chǎn)業(yè)一樣，在過(guò)去十幾年遭遇了同樣的淪陷。什么叫自主可控的技術(shù)？要自己做的才可控，不是自己做就不可控，就這么簡(jiǎn)單，永遠(yuǎn)別想拿市場(chǎng)換技術(shù)?？扇匀挥性S多人覺(jué)得自己是戰(zhàn)略家，從來(lái)沒(méi)上過(guò)一線，說(shuō)得多、做得少。所以從頂層往下的產(chǎn)業(yè)設(shè)計(jì)，根本是個(gè)偽命題，必須從草根往上顛覆。

技術(shù)人攻略：國(guó)內(nèi)數(shù)據(jù)庫(kù)研發(fā)領(lǐng)域最大的問(wèn)題是什么？

  
國(guó)內(nèi)在數(shù)據(jù)庫(kù)研發(fā)領(lǐng)域最大的問(wèn)題，是在理論研究和人才培養(yǎng)上都缺乏積累。人大金倉(cāng)做了十幾年，都沒(méi)有掌握這個(gè)產(chǎn)業(yè)鏈上最核心的技術(shù)。也沒(méi)有研究所或機(jī)構(gòu)在這個(gè)領(lǐng)域持續(xù)追蹤，等大數(shù)據(jù)真正來(lái)了之后，才發(fā)現(xiàn)理論上沒(méi)有準(zhǔn)備好，只能談一些類似Hadoop怎么用，基于實(shí)踐和操作層面的東西。
  
  
國(guó)外這一行的發(fā)展相對(duì)成熟，各類的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)，從70年代就已經(jīng)開(kāi)始積累。加州理工、加州大學(xué)圣巴巴拉分校、威斯康辛大學(xué)等高校，有專門的科系研究數(shù)據(jù)庫(kù)，在知識(shí)上有傳承。
  
  
即使有這些積累，全球數(shù)據(jù)庫(kù)領(lǐng)域核心人才，在美國(guó)也不超過(guò)200人。對(duì)核心人才的定義，得是做過(guò)SQL解析器、執(zhí)行器、優(yōu)化器，以及文件系統(tǒng)這幾塊最有技術(shù)含量的東西。即使在Oracle、SAP、Sybase這樣的公司里，真正接觸到數(shù)據(jù)庫(kù)核心引擎設(shè)計(jì)的，也最多就是十來(lái)個(gè)人，更多人是圍繞核心去寫(xiě)一些周邊的功能。
  
  
國(guó)產(chǎn)數(shù)據(jù)庫(kù)很多是把開(kāi)源扒拉過(guò)來(lái)，在這基礎(chǔ)上改一改，但并不表示你理解了它的設(shè)計(jì)思想。歸根結(jié)底，數(shù)據(jù)庫(kù)核心人才的培養(yǎng)需要過(guò)程。從上層工具開(kāi)發(fā)，慢慢往底層深入，先做解析器，再做執(zhí)行器，最后做優(yōu)化器，是一個(gè)循序漸進(jìn)的過(guò)程。表和表之間的JOIN，應(yīng)該走什么樣的執(zhí)行計(jì)劃，這中間的解析路徑、優(yōu)化路徑如何設(shè)計(jì)，低下文件系統(tǒng)的讀和寫(xiě)應(yīng)該怎樣配合，需要10年，甚至20年的工程積累。
  
  
缺少了這些積累，也就只能做一些數(shù)據(jù)處理工作，底層開(kāi)發(fā)根本輪不到你。類似于其它基礎(chǔ)領(lǐng)域，中國(guó)在數(shù)據(jù)庫(kù)技術(shù)上，仍然是一個(gè)使用者的角色。一些企業(yè)里的人，甚至連理論都沒(méi)搞清楚，就開(kāi)始忽悠，比如把數(shù)據(jù)庫(kù)和數(shù)據(jù)處理混淆成同一個(gè)東西，整個(gè)市場(chǎng)被搞得很亂。
  
  
在這種混亂中，學(xué)生沒(méi)有可參考的東西，人才培養(yǎng)從根子上就出了問(wèn)題。我在大學(xué)時(shí)，學(xué)數(shù)據(jù)庫(kù)理論的那本書(shū)，到現(xiàn)在仍在作為教材使用。幾周前我掏出來(lái)看了一下，寫(xiě)得真太淺了。大家被忽悠得很想學(xué)Hadoop、Spark等應(yīng)用型的知識(shí)，可這些不過(guò)是風(fēng)潮，不是根本，很快就會(huì)過(guò)去。

技術(shù)人攻略：做這件事情對(duì)你個(gè)人的意義在哪里？

  
我入行比較早，94年讀大學(xué)時(shí)，就參與了全國(guó)第一張跨通存通兌綠卡的項(xiàng)目。做完以后，就去了新加坡，很遺憾沒(méi)碰上電信97田溯寧那波創(chuàng)業(yè)潮，也沒(méi)碰上第一次互聯(lián)網(wǎng)泡沫。不過(guò)反倒因?yàn)闆](méi)有碰那些潮流，我的精力一直集中在數(shù)據(jù)庫(kù)領(lǐng)域，從最早的大機(jī)、中型機(jī)、小機(jī)上的數(shù)據(jù)庫(kù)，做到基于PC，以及云的數(shù)據(jù)服務(wù)。
  
  
之前工作掙的錢，足以讓我安穩(wěn)退休，過(guò)上天天釣魚(yú)、曬太陽(yáng)的生活。之所以做數(shù)據(jù)庫(kù)基礎(chǔ)層面的研發(fā)，并不是為了錢。我天性愛(ài)玩，一定要有個(gè)東西讓我覺(jué)得好玩，要能越過(guò)障礙，夠到遠(yuǎn)方的目標(biāo)，才會(huì)玩得有刺激。
  
  
這一波大數(shù)據(jù)革命，是從量變積累到質(zhì)變的飛躍，我這輩子或許只能遇見(jiàn)一次。我希望能把以前所學(xué)到、所經(jīng)歷的這些東西，把MPP的架構(gòu)，用到海量的數(shù)據(jù)分析里邊去。數(shù)據(jù)庫(kù)的產(chǎn)業(yè)鏈很長(zhǎng)，有很多事情值得深入地去做，如果我能參與這次變革，順著這次浪潮玩上10年、15年，會(huì)非常有趣。
  
  
在行業(yè)里待了這么多年，我也看到有的事情不是錢能玩出來(lái)，需要經(jīng)驗(yàn)上、人脈上各方面的積累，才能把這個(gè)東西玩透，否則就變成東打一榔頭，西打一耙子。只有拼性能的地方，摩爾定律才會(huì)生效，這是IT行業(yè)的實(shí)質(zhì)。不拼性能，就只能拼關(guān)系、拼政治，我不想玩那個(gè)。這個(gè)產(chǎn)業(yè)里門檻最高的是數(shù)據(jù)庫(kù)，不是應(yīng)用，我就想挑戰(zhàn)純粹的基礎(chǔ)技術(shù)領(lǐng)域，用性能超過(guò)對(duì)手，不需要拼政治。
  
  
我想和志同道合的人一起工作，雖說(shuō)國(guó)內(nèi)的氛圍還是有點(diǎn)浮躁，但我對(duì)新一代程序員還很期待。他們成長(zhǎng)的環(huán)境衣食無(wú)憂，不像我們70后，小時(shí)候還得自己拿著瓶子去打醬油。當(dāng)基本生活富足之后，大家就會(huì)有不同的精神取向?？傆腥讼胱鲆恍┗A(chǔ)的、技術(shù)扎實(shí)的產(chǎn)品，你讓他苦哈哈在華為工作，桌子底下放一個(gè)帳篷，他不一定愿意干。

技術(shù)人攻略：你的興趣愛(ài)好是什么？

  
我天生熱愛(ài)冒險(xiǎn)，喜歡去別人沒(méi)去過(guò)的地方，看世界上都在發(fā)生些什么事。在美國(guó)做技術(shù)咨詢那幾年，全國(guó)四處奔波，從最南邊的弗羅里達(dá)，到冬季氣溫到零下50度的北達(dá)科他州，還有路易斯安娜、阿肯色、明尼蘇達(dá)、印第安納，基本上你能想到的地方，我都去過(guò)。
  
  
一直到2001年，我到了科羅拉多州丹佛市旁邊的大學(xué)城Boulder。這座城市依山而建，有雪山，也有綠草，非常適合露營(yíng)。喜歡滑雪的人，可以從頭年9月，一直滑到第二年6月。我非常喜歡這樣的環(huán)境，就把家安在了Boulder。
  
  
我喜歡穿山越嶺，常常一個(gè)人帶著帳篷，去科羅拉多大峽谷里待上個(gè)6、7天。在野外，狼、美洲豹時(shí)有出沒(méi)，什么情況都有可能會(huì)碰到，所以得學(xué)會(huì)如何野外生存。這個(gè)過(guò)程不僅帶來(lái)樂(lè)趣，還讓我領(lǐng)悟到很多道理，比如想避開(kāi)這些猛獸，你首先得學(xué)會(huì)觀察風(fēng)向。
  
  
我還特別享受在山路上開(kāi)車的感覺(jué)，峰回路轉(zhuǎn)，總能看到新的風(fēng)景。許多人不敢在山里開(kāi)車，朋友一起去山里玩的時(shí)候，都是我開(kāi)車。我并不害怕懸崖，只要關(guān)心前方的路就好了。
  
  
我喜歡閱讀，一直到現(xiàn)在都還訂《讀書(shū)》這本雜志。最近經(jīng)濟(jì)類的書(shū)看得比較多，尤其是計(jì)量經(jīng)濟(jì)學(xué)。宏觀經(jīng)濟(jì)領(lǐng)域的問(wèn)題很難預(yù)測(cè)，因?yàn)橄嚓P(guān)因素太多，但微觀經(jīng)濟(jì)是靠數(shù)據(jù)說(shuō)話，所以相對(duì)很準(zhǔn)確。我喜歡研究計(jì)量經(jīng)濟(jì)學(xué)里的各種模型，數(shù)字和數(shù)字之間，我感覺(jué)終究是有關(guān)聯(lián)的。只是因?yàn)楣ぞ咚?，自己?shù)學(xué)的基本功積累得不夠，暫時(shí)還沒(méi)做特別深入的研究。

作者介紹：

技術(shù)人攻略訪談是關(guān)于技術(shù)人生活和成長(zhǎng)的系列訪問(wèn)，由獨(dú)立媒體人Gracia創(chuàng)立和維護(hù)。報(bào)道內(nèi)容以“人”為核心，通過(guò)技術(shù)人的故事傳遞技術(shù)夢(mèng)想；同時(shí)以小見(jiàn)大，見(jiàn)證技術(shù)的發(fā)展和行業(yè)的變遷。在這個(gè)前所未有的變革時(shí)代下，我們的眼光將投向有關(guān)：創(chuàng)造力、好奇心、冒險(xiǎn)精神，這樣一些長(zhǎng)期被忽略的美好品質(zhì)上。相信通過(guò)這樣一群心懷夢(mèng)想，并且正腳踏實(shí)地在改變世界的技術(shù)人，這些美好的東西將重新獲得珍視。

聯(lián)系方式 gracia@devlevelup.com
微博: @技術(shù)人攻略
訂閱：微信搜“技術(shù)人攻略”或“dev-levelup”

感謝SegmentFault提供博客專欄及推廣支持
感謝迅達(dá)云成提供云主機(jī)及技術(shù)支持
感謝七牛云存儲(chǔ)對(duì)“技術(shù)人攻略影像拍攝計(jì)劃”提供支持