如何挖掘大數(shù)據(jù)SEARCH AGGREGATION
回答:這個(gè)問(wèn)題思考了很久，作為過(guò)來(lái)人談一談，建議在看我這篇回答之前先去了解一下數(shù)據(jù)挖掘的概念和定義。在學(xué)習(xí)數(shù)據(jù)挖掘之前你應(yīng)該明白幾點(diǎn)：數(shù)據(jù)挖掘目前在中國(guó)的尚未流行開(kāi)，猶如屠龍之技。數(shù)據(jù)初期的準(zhǔn)備通常占整個(gè)數(shù)據(jù)挖掘項(xiàng)目工作量的70%左右。 數(shù)據(jù)挖掘本身融合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)和機(jī)器學(xué)習(xí)等學(xué)科，并不是新的技術(shù)。數(shù)據(jù)挖掘技術(shù)更適合業(yè)務(wù)人員學(xué)習(xí)（相比技術(shù)人員學(xué)習(xí)業(yè)務(wù)來(lái)的更高效）數(shù)據(jù)挖掘適用于傳統(tǒng)的BI（報(bào)表、OLA...
LoftySoul
|
1272人閱讀
回答:其實(shí)根本就沒(méi)有什么數(shù)據(jù)分析師，或者說(shuō)，人人都是數(shù)據(jù)分析師。懂我這個(gè)意思嗎？我的文章里，也寫(xiě)過(guò)很多數(shù)據(jù)行業(yè)的知識(shí)，你可以去看看，其實(shí)有時(shí)候想想，你就不一定非得從事這樣的行業(yè)了。就拿數(shù)據(jù)挖掘來(lái)說(shuō)吧，據(jù)我所知，廠商今年都混的不怎么樣，為什么？客戶(hù)需求很少，而且都是定制化的，整個(gè)項(xiàng)目的周期很長(zhǎng)。還有就是一個(gè)企業(yè)里，互聯(lián)網(wǎng)公司可能還好一點(diǎn)，數(shù)據(jù)分析師根本不需要那么多，你看看ucloud的數(shù)據(jù)分析報(bào)錄比，20...
bingchen
|
1030人閱讀
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來(lái)越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時(shí)代轉(zhuǎn)變?yōu)镈T時(shí)代，以數(shù)據(jù)為核心，用數(shù)據(jù)進(jìn)行決策，基于數(shù)據(jù)驅(qū)動(dòng)企業(yè)的創(chuàng)新與發(fā)展，相信在將來(lái)大數(shù)據(jù)也會(huì)有更廣泛的應(yīng)用空間，對(duì)于大數(shù)據(jù)的理解主要分為以下幾個(gè)層面。1.數(shù)據(jù)來(lái)源：對(duì)于大數(shù)據(jù)時(shí)代而言更多強(qiáng)調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進(jìn)行進(jìn)一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1367人閱讀
回答:大數(shù)據(jù)是處理海量數(shù)據(jù)的一種技術(shù)，你說(shuō)的寫(xiě)SQL只能處理結(jié)構(gòu)化數(shù)據(jù)，更多的是非結(jié)構(gòu)化數(shù)據(jù)（文本數(shù)據(jù)），和半結(jié)構(gòu)化數(shù)據(jù)。并且通過(guò)SQL處理的數(shù)據(jù)量一般很少，幾個(gè)T就根本不行，大數(shù)據(jù)涉及存儲(chǔ)（存儲(chǔ)級(jí)別為PB級(jí)別），資源調(diào)度（一般是分布式系統(tǒng)，不是一臺(tái)機(jī)器），計(jì)算框架（hadoop;storm;spark）這三部分，缺一不可，你說(shuō)的寫(xiě)SQL只是相當(dāng)于計(jì)算框架（勉強(qiáng)算得上，性能差遠(yuǎn)了）。
tracymac7
|
960人閱讀
回答:這是一個(gè)非常好的問(wèn)題，作為一名IT從業(yè)者，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來(lái)回答一下這個(gè)問(wèn)題。首先，從技術(shù)體系結(jié)構(gòu)上來(lái)看，當(dāng)前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了，在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面，已經(jīng)形成了一整套技術(shù)框架，相關(guān)的技術(shù)生態(tài)也在不斷完善當(dāng)中。當(dāng)前大型科技公司也開(kāi)始逐漸形成自己的大數(shù)據(jù)平臺(tái)，不同平臺(tái)也都有自身的技術(shù)特點(diǎn)，總的來(lái)說(shuō)，當(dāng)前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
alexnevsky
|
1507人閱讀
...據(jù)取樣的樣本,而在這個(gè)過(guò)程中多多少少還有帶有個(gè)人對(duì)如何實(shí)現(xiàn)數(shù)據(jù)挖掘目標(biāo)主觀認(rèn)識(shí)而進(jìn)行操作的。而當(dāng)我們拿到了1個(gè)樣本時(shí),探索的內(nèi)容包括: 這個(gè)樣本的數(shù)據(jù)是否能達(dá)到我們?cè)仍O(shè)想的要求 數(shù)據(jù)間有沒(méi)有什么明顯的規(guī)律...
...營(yíng)商會(huì)帶來(lái)哪些挑戰(zhàn)呢？王思偉指出這個(gè)挑戰(zhàn)也是來(lái)源于如何更好地應(yīng)用大數(shù)據(jù)中發(fā)現(xiàn)的，一是希望將數(shù)據(jù)匯聚形成信息資產(chǎn)，但是海量數(shù)據(jù)成本太高；二是進(jìn)行數(shù)據(jù)挖掘以豐富資產(chǎn)內(nèi)涵，但是目前數(shù)據(jù)挖掘的手段很匱乏；三是...
...。兩個(gè)月前，100offer 曾在《從技術(shù) Leader 的招聘需求看，如何轉(zhuǎn)崗為當(dāng)前緊缺的大數(shù)據(jù)相關(guān)人才？》一文中探討了，大數(shù)據(jù)領(lǐng)域下「大數(shù)據(jù)平臺(tái)/開(kāi)發(fā)工程師」的機(jī)會(huì)和選擇。本文聚焦在大數(shù)據(jù)領(lǐng)域人才的第二大分支「算法和數(shù)據(jù)...
...數(shù)據(jù)，存在指標(biāo)定義相同，但是語(yǔ)義理解存在較大偏差，如何進(jìn)行指標(biāo)模型的多口徑計(jì)算邏輯統(tǒng)一，避免繁瑣的人工維護(hù)和迭代，是本議題主張的部分；通過(guò)一處定義數(shù)據(jù)指標(biāo)，多處交付統(tǒng)一的模型抽象、定義、訓(xùn)練和交付整體...
...數(shù)據(jù)中心龐大、復(fù)雜的運(yùn)維問(wèn)題，以及設(shè)備老化問(wèn)題；但如何采納云計(jì)算仍有沒(méi)有成熟做法，是否應(yīng)該公有云+私有云一體，即混合云的方式？2.云計(jì)算對(duì)大型企業(yè)的挑戰(zhàn)與機(jī)會(huì)，主要原因是傳統(tǒng)企業(yè)決策者、管理者對(duì)于新技...
...萬(wàn)的品種，也是一種典型的高頻數(shù)據(jù)。 更多案例：請(qǐng)問(wèn)如何將數(shù)據(jù)挖掘技術(shù)應(yīng)用于互聯(lián)網(wǎng)金融？ 電商網(wǎng)站應(yīng)用案例: 某電商網(wǎng)站使用大數(shù)據(jù)技術(shù)勾勒用戶(hù)畫(huà)像。用戶(hù)畫(huà)像提供統(tǒng)一數(shù)據(jù)服務(wù)接口供網(wǎng)站其它產(chǎn)品調(diào)用，提高與用戶(hù)...
...資源而提供的。我們已經(jīng)進(jìn)入了新一輪技術(shù)驅(qū)動(dòng)的時(shí)代那如何理解大數(shù)據(jù)與云計(jì)算的關(guān)系？在中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)副主任車(chē)品覺(jué)看來(lái)：人工智能、深度學(xué)習(xí)，這些都是二十年前就有的技術(shù)，但是二十年前沒(méi)有大數(shù)據(jù)...
...數(shù)稱(chēng)之為損失函數(shù)（loss function）。下面的問(wèn)題就是求：如何優(yōu)化參數(shù)，能夠讓損失函數(shù)的值最小。 此時(shí)這個(gè)問(wèn)題就被轉(zhuǎn)化為一個(gè)優(yōu)化問(wèn)題。一個(gè)常用方法就是高等數(shù)學(xué)中的求導(dǎo)，但是這里的問(wèn)題由于參數(shù)不止一個(gè)，求導(dǎo)后...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
營(yíng)銷(xiāo)賬號(hào)總被封？TK直播頻繁掉線？雙ISP靜態(tài)住宅IP+輕量云主機(jī)打包套餐來(lái)襲，確保開(kāi)出來(lái)的云主機(jī)不...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
孫吉亮
