資訊專欄INFORMATION COLUMN
摘要：當(dāng)下數(shù)據(jù)礦工們談?wù)撟疃嗟?，莫過于這星火了。今天也湊了把熱鬧，把一個日志解析的模塊改成實現(xiàn)，算是體驗之旅吧?？傮w感覺是一個不夠可愛的姑娘，表現(xiàn)在語法似乎還沒進(jìn)入穩(wěn)定狀態(tài)，像列表擴(kuò)展正則匹配這樣基礎(chǔ)的都能搜出一大堆眼花繚亂的做法。
當(dāng)下數(shù)據(jù)礦工們談?wù)撟疃嗟?，莫過于這「星火」了。Spark這名字，總讓我聯(lián)想起高中背過的單詞書，從而印象不佳，哈哈。
今天也湊了把熱鬧，把一個日志解析的模塊改成Spark實現(xiàn)，算是體驗之旅吧。
剛開始我是用看起來很像Swift的Scala寫的：SparkLogExtract.scala
然后我希望為這個程序增加參數(shù)傳入的功能，然后我谷歌大法了，然后就沒有然后了。
總體感覺Scala是一個不夠可愛的姑娘，表現(xiàn)在：
語法似乎還沒進(jìn)入穩(wěn)定狀態(tài)，像列表擴(kuò)展、正則匹配這樣基礎(chǔ)的API都能搜出一大堆眼花繚亂的做法。
沒有break和continue的日子里我真的很想他們……
SBT對天朝子民真的很慢！
雖然提供了Shell，可提交還是要編譯的好不。
長得不好看，函數(shù)沒有「return」真的充滿了違和感（咦，我怎么會用違和感這種高級詞匯？）
當(dāng)然要換回熟悉的Python！
接下來就爽快多了，除了map的函數(shù)傳參遇到了困難（最后我惡心地用一個lambda調(diào)用普通函數(shù)搞定了），其他一帆風(fēng)順，運(yùn)行速度和Scala一樣快的（嘿嘿）。
代碼請見：spark_log_extract.py
求賜星星！
來自：建造者說
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/37482.html
摘要：在移動端，愛奇藝月度總有效時長億小時，穩(wěn)居中國榜第三名。愛奇藝的峰值事件數(shù)達(dá)到萬秒，在正確性容錯性能延遲吞吐量擴(kuò)展性等方面均遇到不小的挑戰(zhàn)。從到愛奇藝主要使用的是和來進(jìn)行流式計算。作者：陳越晨 整理：劉河 本文將為大家介紹Apache Flink在愛奇藝的生產(chǎn)與實踐過程。你可以借此了解到愛奇藝引入Apache Flink的背景與挑戰(zhàn)，以及平臺構(gòu)建化流程。主要內(nèi)容如下： 愛奇藝在實時計算方...
閱讀 2731·2021-11-22 09:34
閱讀 1084·2021-11-19 11:34
閱讀 2889·2021-10-14 09:42
閱讀 1609·2021-09-22 15:27
閱讀 2475·2021-09-07 09:59
閱讀 1849·2021-08-27 13:13
閱讀 3511·2019-08-30 11:21
閱讀 849·2019-08-29 18:35
