海量數(shù)據(jù)去重精品文章

• 

  用Python寫了個檢測文章抄襲，詳談去重算法原理

  ...搜索引擎非常關(guān)心的一個問題。搜索引擎中抓取的網(wǎng)頁是海量的，海量文本的去重算法也出現(xiàn)了很多，比如minihash, simhash等等。 在工程實踐中，對simhash使用了很長一段時間，有些缺點，一是算法比較復(fù)雜、效率較差；二是準確...

  blair 2019-07-31 10:32 評論0 收藏0
• 

  自研實時計算模塊介紹及運維數(shù)據(jù)應(yīng)用場景實施

  ...指標數(shù)量是與枚舉值的數(shù)量一樣多的，也就是可能會產(chǎn)生海量指標數(shù)據(jù)，對實時計算和下游的傳輸、最后的存儲都帶來巨大壓力。所以在使用時需要特別慎重考慮，提前規(guī)劃。舉個例子，統(tǒng)計一個應(yīng)用集群中的服務(wù)調(diào)用的分別占...

  不知名網(wǎng)友 2023-01-11 11:02 評論0 收藏2564
• 

  scrapy-redis分布式爬蟲框架詳解

  ...的重要載體之一。 相比較而言，編寫爬蟲程序獲取到的海量數(shù)據(jù)更為真實、全面，在信息繁榮的互聯(lián)網(wǎng)時代更為行之有效。因此編寫爬蟲程序成為大數(shù)據(jù)時代信息收集的必備技能。 本文主要介紹爬蟲收集數(shù)據(jù)優(yōu)點、爬蟲原理、s...

  myeveryheart 2019-07-30 16:09 評論0 收藏0
• 

  探索Greenplum的實踐，了解新一代大數(shù)據(jù)處理利器

  前言：近年來，互聯(lián)網(wǎng)的快速發(fā)展積累了海量大數(shù)據(jù)，而在這些大數(shù)據(jù)的處理上，不同技術(shù)棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數(shù)據(jù)倉，成為很多運營者為之苦惱的問題！隨著Greenplum的異軍突起，以...

  supernavy 2019-08-23 12:03 評論0 收藏0
• 

  TOP100summit：【分享實錄-封宇】58到家多端消息整合之路

  ...接入層，主要功能包括：● 連接整流：維護與客戶端的海量TCP長連接，將外界海量TCP長連接整流為少量與后端msg-logic的TCP長連接?！?安全信道：建立安全的TCP信道，加密與解密?！?初步攻防：實施初步的anti-attack策略，限速策...

  googollee 2019-06-24 17:53 評論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...器EventLoop的差異 7.如何在保證頁面運行流暢的情況下處理海量數(shù)據(jù) 語法和API 1.理解ECMAScript和JavaScript的關(guān)系 2.熟練運用es5、es6提供的語法規(guī)范， 3.熟練掌握JavaScript提供的全局對象（例如Date、Math）、全局函數(shù)（例如decodeURI、isNa...

  羅志環(huán) 2019-08-23 17:08 評論0 收藏0
• 

  一名【合格】前端工程師的自檢清單

  ...EventLoop的差異 7.如何在保證頁面運行流暢的情況下處理海量數(shù)據(jù) 語法和API 1.理解ECMAScript和JavaScript的關(guān)系 2.熟練運用es5、es6提供的語法規(guī)范， 3.熟練掌握JavaScript提供的全局對象（例如Date、Math）、全局函數(shù)（例如decodeURI...

  isaced 2019-05-21 19:50 評論0 收藏0
• 

  達摩院首席數(shù)據(jù)庫科學(xué)家李飛飛：云原生新戰(zhàn)場，我們?nèi)绾伟盐障葯C？

  ...了100%的 CAP。 云原生數(shù)據(jù)庫 POLARDB：極致彈性+兼容性 為海量數(shù)據(jù)和海量并發(fā)而生 前面介紹了數(shù)據(jù)庫市場背景和云原生數(shù)據(jù)庫的基本要素，接下來我將結(jié)合阿里云 POLARDB 以及 AnalyticDB 兩款數(shù)據(jù)庫系統(tǒng)，分享以上技術(shù)的具體落地情...

  frolc 2019-06-25 19:19 評論0 收藏0