{eval=Array;=+count(Array);}
作為一名軟件開發(fā)工程師,我現(xiàn)在從事的就是大數(shù)據(jù)方向,結(jié)合我個人的經(jīng)驗,這三個崗位具體哪個好,要看你從什么角度去看他。如果你現(xiàn)在是一名Java開發(fā)工程師,想轉(zhuǎn)型到大數(shù)據(jù)領(lǐng)域,那么大數(shù)據(jù)開發(fā)工程師會更適合你。如果你不喜歡開發(fā),同時比較喜歡分析數(shù)據(jù)中的價值,希望從事商業(yè)智能分析相關(guān)工作,那么大數(shù)據(jù)分析會更適合你。如果你不是很喜歡寫代碼,同時對大數(shù)據(jù)分析也不是很感興趣,而自己在Linux系統(tǒng)和腳本編寫方面有一定基礎(chǔ),那么大數(shù)據(jù)運維可能會更適合你。
大數(shù)據(jù)開發(fā)崗位在進行細分,還會有大數(shù)據(jù)平臺開發(fā)、大數(shù)據(jù)組件開發(fā)、數(shù)據(jù)研發(fā)(ETL)。這幾個方位主要工作內(nèi)容各有差異,側(cè)重點不同。大數(shù)據(jù)平臺開發(fā),顧名思義,開發(fā)數(shù)據(jù)平臺給其他開發(fā)同學(xué)使用,大數(shù)據(jù)平臺底層是大數(shù)據(jù)組件,上層則是業(yè)務(wù)開發(fā)同學(xué),你開發(fā)的平臺提供用戶使用大數(shù)據(jù)組件的能力。大數(shù)據(jù)平臺一般使用Java語言開發(fā),會使用到 Spring 、Spring Boot快速開發(fā)出后端供前段進行使用。數(shù)據(jù)庫一般會使用Mysql,同時也會使用到Mybats,Dubbo接口等等。
大數(shù)據(jù)組件開發(fā),主要工作更偏向于組件底層開發(fā),你需要結(jié)合公司業(yè)務(wù)特征,定制化的在公司所使用的大數(shù)據(jù)組件上開發(fā)新功能、優(yōu)化、以及BUG修復(fù)等。大數(shù)據(jù)組件開發(fā)同學(xué)需要對使用的組件底層原理要有很深的了解,同時也對其源碼要有一定的研究,這樣,你才能夠放心大膽在上面進行開發(fā)而不會影響到線上業(yè)務(wù)的運行。
大數(shù)據(jù)分析也就是BI同學(xué),平時主要會從業(yè)務(wù)數(shù)據(jù)或者ETL同學(xué)處理好的數(shù)據(jù),去分析數(shù)據(jù)中潛藏的價值,幫助業(yè)務(wù)同學(xué)去運營。有時候業(yè)務(wù)同學(xué)也會找你臨時取數(shù),當(dāng)然大數(shù)據(jù)分析同學(xué)要有一定的PPT制作能力,因為有時候你從數(shù)據(jù)中得到一個結(jié)論,需要使用PPT向老板或者其他同學(xué)通過PPT來講述你的觀點。BI同學(xué),同時在數(shù)據(jù)可視化要有一定的想法,因為BI同學(xué)是有用數(shù)據(jù)的最大使用方。
大數(shù)據(jù)運維同學(xué)則是主要運維集群機器的穩(wěn)定性,保證它們不能出現(xiàn)任何故障,平時也會接收到很多機器報警信息。當(dāng)公司申購到新的機器時,大數(shù)據(jù)運維同學(xué)要能夠幫助開發(fā)同學(xué)配置相關(guān)的開發(fā)環(huán)境,部署大數(shù)據(jù)組件集群。當(dāng)大數(shù)據(jù)組件集群突然變得不穩(wěn)定時,有報警信息時,大數(shù)據(jù)運維同學(xué)需要能夠快速定位問題和解決問題。大數(shù)據(jù)運維同學(xué)掌管著大數(shù)據(jù)組件集群的資源,當(dāng)機器資源不夠時,運維同學(xué)需要申請采購或者臨時調(diào)配其他部門的資源,比如大促時機器資源緊張問題。大數(shù)據(jù)運維同學(xué)平時需要對Linux系統(tǒng)、Shell腳本的編寫、Python等要有一定的理解研究。
總體來說,大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運維這三個崗位需要從具體的視角去看他,對于不同興趣和不同基礎(chǔ)的同學(xué)來說,找到適合自己和個人職業(yè)規(guī)劃的崗位才是最重要的。每個崗位的工作內(nèi)容都不盡相同,大數(shù)據(jù)開發(fā)偏向于代碼開發(fā),大數(shù)據(jù)分析側(cè)重數(shù)據(jù)分析,大數(shù)據(jù)運維偏向公司機器的穩(wěn)定性運維,最后,希望你能夠找到適合自己的崗位。
我是Lake,專注大數(shù)據(jù)技術(shù)、互聯(lián)網(wǎng)科技見解、程序員經(jīng)驗分享,如果我的問答對你有幫助的話,希望你能夠點贊轉(zhuǎn)發(fā)或者關(guān)注我,你的一個小小的鼓勵,就是我持續(xù)分享的動力,非常感謝。
您好我是 數(shù)據(jù)僧。
首先,工作本身沒有好壞之分,只有門檻高低之別。大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運維都圍繞著大數(shù)據(jù)展開。如果我們把大數(shù)據(jù)去掉,就只剩下,開發(fā),分析,運維。當(dāng)然還有其它的工作,例如運營,產(chǎn)品,講師,測試等。 加上了大數(shù)據(jù),只是我們的工作內(nèi)容,或者說是工作方式發(fā)生了變化。
大數(shù)據(jù)是傳統(tǒng)行業(yè),傳統(tǒng)技術(shù)逐步發(fā)展的產(chǎn)物。但是并沒有打破我們在傳統(tǒng)行業(yè)的工作模式,和我們的一些基礎(chǔ)知識的儲備。革新的只有處理技術(shù),工作手段。在這里我們更詳細的說說大數(shù)據(jù)開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運維 的工作內(nèi)容,已經(jīng)門檻,不做好壞評價。
非大數(shù)據(jù) 開發(fā),分析,運維干什么呢?
開發(fā)日常工作是干什么了 ? 圍繞著產(chǎn)品經(jīng)理,進行產(chǎn)品開發(fā),升級,迭代。加班熬夜,趕進度。每日的工作就是編碼,和產(chǎn)品溝通或者撕X,和測試溝通或者斯X,最終確保產(chǎn)品上線,保證產(chǎn)品正常使用,以及后續(xù)迭代升級。
分析日常工作是什么了?數(shù)據(jù)整理,制作報表,最后就是報告,會議,闡述結(jié)論,最后就是說服對方接受觀點,的確很多時候,分析出來的結(jié)論,對方無法接受。
運維日常工作是什么了?最核心的就是監(jiān)控,機器是否正常運轉(zhuǎn),資源是否夠用,產(chǎn)品應(yīng)用是否都正常,開發(fā)相關(guān)的工具,保證異常能夠及時發(fā)現(xiàn)。
在介紹大數(shù)據(jù)相關(guān)的工作前我們先了解下大數(shù)據(jù)的處理流程
我們在看看hadoop的大數(shù)據(jù)生態(tài)圈。當(dāng)然大數(shù)據(jù)生態(tài)圈不是在只有hadoop。
大數(shù)據(jù)開發(fā)的主要工作
開發(fā)數(shù)據(jù)收集工具,數(shù)據(jù)清洗和整理,開發(fā)數(shù)據(jù)應(yīng)用;當(dāng)然這些不是一個人去完成,都會落在各個團隊中去完成。
完整這些工作需要哪些技能?從這些技能我們也能看出來大數(shù)據(jù)開發(fā)的主要工作,就是這些工具打交道。一門開發(fā)語言(java/python/c#/scala 等),大數(shù)據(jù)下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只會其中的2到三項基本找份工作沒有問題,如何進階在這不詳細討論。我們來看圖吧。
大數(shù)據(jù)分析的主要工作
有大表哥,專門做各種報表。取數(shù)機器人,提取各種數(shù)據(jù)。當(dāng)然也有做數(shù)據(jù)分類,特征提取等數(shù)據(jù)挖掘,機器學(xué)習(xí)等高等玩家。
這里一并概括了,大數(shù)據(jù)分析的主要工作是:基于現(xiàn)有的數(shù)據(jù)進行數(shù)據(jù)分析得出一個結(jié)論,最后進行商業(yè)決策。當(dāng)然現(xiàn)實不是這樣的。大多數(shù)人成了大表哥,取數(shù)機器人,高端玩家也不列外,挖出來的東西,在沒有找到落地場景前,都是一坨一坨的。這里都只是調(diào)侃。
大數(shù)據(jù)分析需要哪些技能呢?我們不管具體的工作內(nèi)容,看看我們每天要面對那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,數(shù)據(jù)庫,R,Python 等。當(dāng)然我們不用都會。
我們還是看圖吧,看看數(shù)據(jù)分析師的能力體系:
在看看每個階段需要的技能,分析師和開發(fā)的區(qū)別在于,核心在于處理數(shù)據(jù)和清洗數(shù)據(jù),達到自己可用的狀態(tài)。開發(fā)是收集數(shù)據(jù)和整理數(shù)據(jù),讓數(shù)據(jù)變得統(tǒng)一。
大數(shù)據(jù)運維的工作
對大數(shù)據(jù)集群進行監(jiān)控和維護升級,保障集群正常運行,從而保證 數(shù)據(jù)收集服務(wù)能正常運行,保證集群資源夠用,監(jiān)控集群資源消耗情況。
他們是職業(yè)背鍋俠,也是一群默默無聞的伙伴。無論開發(fā),還是分析,還是其它的崗位,都有在人前顯擺的時候,我們的運維永遠只能在人后做好保障。
我們來看看運維的能力體系吧:
以上是我對這個問題的理解,有些調(diào)侃,但都想表達和傳遞一種正能量,每個行業(yè),每個崗位都有其特定的屬性和特點,既然選擇了,就只顧風(fēng)雨兼程,管它花開花落,最終中能到達理想的彼岸。
關(guān)注數(shù)據(jù)僧,我們一起討論,大家都喜歡什么樣的工作,歡迎大家留言。(圖片來自網(wǎng)絡(luò),侵刪。)
大數(shù)據(jù)開發(fā):
主要是負責(zé)大數(shù)據(jù)挖掘,大數(shù)據(jù)清洗處理,大數(shù)據(jù)建模等工作,主要是負責(zé)大規(guī)模數(shù)據(jù)的處理和應(yīng)用,工作主要以開發(fā)為主,與大數(shù)據(jù)可視化分析工程師相互配合,從數(shù)據(jù)中挖掘出價值,為企業(yè)業(yè)務(wù)發(fā)展提供支持。
大數(shù)據(jù)分析:
進行行業(yè)數(shù)據(jù)搜集、整理、分析,并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預(yù)測;
主要工作有四類:
1、從0到1搭建數(shù)據(jù)分析體系;
2、數(shù)據(jù)分析工具化,產(chǎn)品化;
3、支撐領(lǐng)導(dǎo)、部門決策的專題分析及業(yè)務(wù)方向探索;
4、數(shù)據(jù)規(guī)范制定及提升數(shù)據(jù)質(zhì)量等基礎(chǔ)工作。
大數(shù)據(jù)運維:
運營維護,Linux操作系統(tǒng)、應(yīng)用系統(tǒng)的維護、監(jiān)控、調(diào)優(yōu)、故障排除,關(guān)注開源社區(qū)動態(tài),追蹤前沿技術(shù)和應(yīng)用等;
一般來講國內(nèi)的互聯(lián)網(wǎng)運維負責(zé)軟件測試交付后的發(fā)布和管理,將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合,轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品,同時最大限度降低服務(wù)運行的成本,保障服務(wù)運行的安全。
相關(guān):
大數(shù)據(jù)分析師到底在干嘛?
https://www.toutiao.com/i6549321396005110275/
加米谷:大數(shù)據(jù)分析,到底要分析些什么?
https://www.toutiao.com/i6577599840014828045/
大數(shù)據(jù)學(xué)習(xí):數(shù)據(jù)分析師的完整工作流程與知識結(jié)構(gòu)體系
https://www.toutiao.com/i6584961126356746760/
這三個角色在我們公司分別對應(yīng)著三個部門,承擔(dān)的職責(zé)也各有不同,還算理解得比較透徹,簡單談一談。
主要基于大數(shù)據(jù)平臺開展批量作業(yè)、實時接口等大數(shù)據(jù)應(yīng)用的開發(fā)和測試工作,對能力的要求是熟悉Spark、Flink等大數(shù)據(jù)框架,熟悉SQL,熟悉軟件開發(fā)測試規(guī)范,能夠根據(jù)業(yè)務(wù)需要完成業(yè)務(wù)邏輯的編寫。
利用大數(shù)據(jù)平臺、機器學(xué)習(xí)建模平臺、BI平臺等開展生產(chǎn)數(shù)據(jù)的分析和數(shù)據(jù)建模工作,挖掘數(shù)據(jù)中存在的業(yè)務(wù)價值,主要交付物是業(yè)務(wù)分析報告、各類名單、業(yè)務(wù)模型等。對能力的要求是:具備數(shù)據(jù)分析的思維,熟悉SQL,熟悉機器學(xué)習(xí)建模邏輯,熟悉Python/SAS等開發(fā)工具,具備一定的文字能力。
開展大數(shù)據(jù)平臺的日常運維工作,包括批量作業(yè)、接口的上線和運行監(jiān)控,平臺的硬件資源監(jiān)控,用戶和平臺資源的分配,平臺和作業(yè)問題的分析和處置,數(shù)據(jù)的遷移,平臺的擴容,業(yè)務(wù)數(shù)據(jù)查詢提取變更等,一句話就是保障平臺及數(shù)據(jù)的可用。對能力的要求是:熟悉Hadoop組件,熟悉Linux,熟悉SQL。
從上面的介紹可以看出,這三者的區(qū)別是很明顯的,要求也各有不同。
實務(wù)中,這三個角色是密切相關(guān)的,大數(shù)據(jù)開發(fā)人員完成應(yīng)用開發(fā),大數(shù)據(jù)運維人員基于開發(fā)人員的腳本進行投產(chǎn)并保障作業(yè)的穩(wěn)定運行,大數(shù)據(jù)開發(fā)人員基于開發(fā)和運維人員構(gòu)建的邏輯和數(shù)據(jù)開展數(shù)據(jù)分析。
大數(shù)據(jù)分析人員與業(yè)務(wù)接觸最頻繁,有獨立的思維能力和發(fā)揮的空間,相對來說工作比較有創(chuàng)造性,成果可直接面對公司高層,比較有意思,容易出彩,也容易轉(zhuǎn)向業(yè)務(wù)。
大數(shù)據(jù)開發(fā)人員往往是按照業(yè)務(wù)需求或系統(tǒng)需要完成功能性的開發(fā),也能夠與業(yè)務(wù)進行接觸,不是太死板,但創(chuàng)造性和自主性相對弱一些,不過往往技術(shù)能力比大數(shù)據(jù)分析人員強,可以說技術(shù)業(yè)務(wù)雙贏。
大數(shù)據(jù)運維人員的主要合作伙伴就是平臺和設(shè)備,工作相對純粹,有章可循,有利于技術(shù)沉淀,缺點是與業(yè)務(wù)接觸較少,壓力大,工作強度大,往往成為幕后英雄。
都是一個戰(zhàn)壕里的兄弟,革命分工不同,理解不同,都很好,看各自選擇,我就不排序了。
我是會說科技,關(guān)注我,一起聊聊數(shù)據(jù)、科技、IT、安全、金融那些瑣事。
在大數(shù)據(jù)領(lǐng)域大概有四個大的工作方向,除了大數(shù)據(jù)平臺應(yīng)用及開發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺集成與運維之外,還有大數(shù)據(jù)平臺架構(gòu)與研發(fā),除了以上四個大的工作方向之外,還有一個工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn),這部分工作目前也有不少人在從事。
大數(shù)據(jù)平臺架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺,這部分工作的難度較高,從事這部分工作的研發(fā)級崗位也并不多?,F(xiàn)在不少技術(shù)研發(fā)團隊都以Hadoop、Spark平臺為基礎(chǔ)進行研發(fā),這樣能夠節(jié)省大量的時間,也更容易做出市場接受度比較高的大數(shù)據(jù)平臺(商用較多)。
大數(shù)據(jù)平臺應(yīng)用開發(fā)是目前一個就業(yè)的熱門方向,一方面是大數(shù)據(jù)開發(fā)的場景眾多,另一方面是難度并不高,能夠接納的從業(yè)人數(shù)也非常多。大數(shù)據(jù)開發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺上的應(yīng)用開發(fā),與場景有密切的關(guān)系。大數(shù)據(jù)開發(fā)是在大數(shù)據(jù)平臺基礎(chǔ)之上的開發(fā),充分利用大數(shù)據(jù)平臺提供的功能來滿足企業(yè)的實際需求。
大數(shù)據(jù)分析是大數(shù)據(jù)應(yīng)用的一個重點,甚至可以說是大數(shù)據(jù)的核心內(nèi)容。大數(shù)據(jù)分析是基于大數(shù)據(jù)平臺提供的功能進行具體的數(shù)據(jù)分析,數(shù)據(jù)分析與場景有密切的關(guān)系,比如出行大數(shù)據(jù)分析、營銷大數(shù)據(jù)分析、金融大數(shù)據(jù)分析等等。目前采用機器學(xué)習(xí)的方式進行大數(shù)據(jù)分析是一個趨勢,機器學(xué)習(xí)的步驟包括數(shù)據(jù)收集、算法設(shè)計、訓(xùn)練算法、驗證算法和使用算法,所以算法在數(shù)據(jù)分析中起到了重要的作用,做數(shù)據(jù)分析工作要有一定的算法基礎(chǔ)。
大數(shù)據(jù)運維主要從事大數(shù)據(jù)平臺的軟硬件集成和運維工作,主要的工作內(nèi)容是完成大數(shù)據(jù)平臺的部署和調(diào)試等相關(guān)工作,這部分工作崗位也比較多,企業(yè)往往需要有一個專門的運維團隊來保障大數(shù)據(jù)平臺的平穩(wěn)運行。相對來說,這部分工作的難度小一些,但是需要掌握的內(nèi)容也比較多,包括網(wǎng)絡(luò)、服務(wù)器等軟硬件知識。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會陸續(xù)在頭條寫一些關(guān)于大數(shù)據(jù)方面的文章,感興趣的朋友可以關(guān)注我的頭條號,相信一定會有所收獲。
如果有大數(shù)據(jù)方面的問題,也可以咨詢我,謝謝!
我直接來排個序吧:大數(shù)據(jù)開發(fā)>大數(shù)據(jù)分析>大數(shù)據(jù)運維,薪資也是這樣。
其實,你不必糾結(jié),直接把大數(shù)據(jù)3個字去掉,開發(fā)、分析、運維,誰好誰差,一目了然。
大數(shù)據(jù)開發(fā),我最新的視頻里講到了,其實就是數(shù)據(jù)庫,數(shù)據(jù)倉庫,報表系統(tǒng)這些,寫好sql和java就行,并不是所有人都得去弄hadoop、storm、flink、spark這些的,就像我視頻里說的,做好報表,做好sql,多熟悉業(yè)務(wù),比什么都強。
來看看崗位描述吧:
圍繞大數(shù)據(jù)系平臺系統(tǒng)級的研發(fā)人員, 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺的核心框架。
深入掌握如何編寫MapReduce的作業(yè)及作業(yè)流的管理完成對數(shù)據(jù)的計算,并能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態(tài)系統(tǒng)的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠?qū)崿F(xiàn)對平臺監(jiān)控、輔助運維系統(tǒng)的開發(fā)。
感興趣的可以去看看我的最新視頻,里面講的很清楚。
大數(shù)據(jù)分析,和數(shù)據(jù)分析類似,但是多存在于互聯(lián)網(wǎng)和IT行業(yè),會用的工具有python、tableau、finebi這些。
大數(shù)據(jù)運維,可能是里面比較差的職業(yè)了,別覺得我真實,這就是事實,運維,在哪里都是不受重用的,甚至有的運維就是修網(wǎng)線的。
這份薪資明顯過高。
主要的工作是為了給人民、社會、大自然、地球服務(wù)。好與壞因?qū)ο蠖胁灰?,就好比?dāng)下年輕人玩的一款“王者榮耀”,玩家都說好,而沒碰過的就覺得這是一款爛游戲,因為身邊的人都把大部分時間花在它身上了!
數(shù)據(jù)分析師需要的技能大致有這些:Excel、SQL、統(tǒng)計學(xué)及SPSS、Python/R等。建議從Excel開始,因為Excel是使用最多,也是最強大的數(shù)據(jù)分析工具,入門簡單,因為大部分人都接觸過Excel。
大數(shù)據(jù)運維,這里指互聯(lián)網(wǎng)運維,通常屬于技術(shù)部門,與研發(fā)、測試、系統(tǒng)管理同為互聯(lián)網(wǎng)產(chǎn)品技術(shù)支撐的4大部門,這個劃分在國內(nèi)和國外以及大小公司間都會多少有一些不同。
一個互聯(lián)網(wǎng)產(chǎn)品的生成一般經(jīng)歷的過程是:產(chǎn)品經(jīng)理(product manager,非技術(shù)部)需求分析、研發(fā)部門開發(fā)、測試部門測試、運維部門部署發(fā)布以及長期的運行維護。一般來講國內(nèi)的互聯(lián)網(wǎng)運維負責(zé)軟件測試交付后的發(fā)布和管理,其核心目標是將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合,轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品,同時最大限度降低服務(wù)運行的成本,保障服務(wù)運行的安全。
0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答