摘要:引言馬上情人節(jié)就要來了,是否需要一首歌來撫慰你,受傷或躁動的心靈。來吧,今天教你用行代碼搞定熱門歌單。爬取的效果如下總結(jié)本文旨在安撫你因情人節(jié)受傷的小心靈,同時帶你入個爬蟲的門,感受下的強大。
0. 引言
馬上314情人節(jié)就要來了,是否需要一首歌來撫慰你,受傷或躁動的心靈。來吧,今天教你用15行代碼搞定熱門歌單。學起來并聽起來吧。
本文使用的是Selenium模塊,它是一個自動化測試工具,利用它我們可以驅(qū)動瀏覽器執(zhí)行特定的動作,如點擊、下拉等等操作,對于一些 JavaScript 渲染的頁面來說,此種抓取方式非常有效。另外采用了Chrome瀏覽器配合Selenium工作。
1. 環(huán)境操作系統(tǒng):Windows
Python版本:3.7.2
2. 準備工作a. 若你的環(huán)境中沒有selenium模塊,直接使用pip安裝即可。
pip install selenium
b. 打開谷歌瀏覽器,檢查Chrome的版本:在瀏覽器地址中輸入 chrome://settings/help 回車即可看到。
c. 打開ChromeDriver 的官方網(wǎng)站:
https://sites.google.com/a/ch...
尋找與你當前瀏覽器版本相對應的ChromeDriver下載。
d. 選擇你自己的操作系統(tǒng)類型進行下載即可。
e. 以Windows為例,下載結(jié)束后,將ChromeDriver 放置在python安裝目錄下的Scripts文件夾即可。
準備工作完成,代碼寫起來吧~
3. 迷你爬蟲的實現(xiàn)我們這次的目標是爬取熱門歌單,比如網(wǎng)易云音樂中播放量大于1000萬的歌單信息(歌單名稱、鏈接)。
a. 我們先來打開網(wǎng)易云的歌單第一頁:
https://music.163.com/#/disco...
b. 使用Chrome的開發(fā)者工具
我們想要拿的信息全在這里:
msk,封面[mask]:有歌單的名稱及鏈接
nb,播放數(shù)[number broadcast]:135萬
c. 我們還需要遍歷所有的頁,使用工具繼續(xù)分析,找到“下一頁”的URL。
d. 切換至最后一頁,拿到最后一頁的URL。
e. 等我們爬取完所有符合的歌單信息后,將其保存在本地。
f. 全部工作結(jié)束,最后再通過下面的偽代碼回顧下整體思路。
g. 爬取的效果如下:
4. 總結(jié)本文旨在安撫你因情人節(jié)受傷的小心靈,同時帶你入個爬蟲的門,感受下python的強大。
關(guān)注公眾號「Python專欄」,后臺回復:zsxq02,獲取本文全部代碼
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.hztianpu.com/yun/43321.html
摘要:組件結(jié)構(gòu)接著我們就該搭建這個播放器的組件了。總的原理是首先獲取音頻的持續(xù)時間,然后通過一個定時器,不斷更新顯示時間,播放完成時,計時器停止。這個頁面比較簡單,播放器標簽,綁定了事件,即播放完成后執(zhí)行。 這個播放器的開發(fā)歷時2個多月,并不是說它有多復雜,相反它的功能還非常不完善,僅具雛形。之所以磨磨蹭蹭這么久,一是因為拖延,二也是實習公司項目太緊。8月底結(jié)束實習前寫完了樣式,之后在家空閑...
摘要:通常這種加密都是通過加密的,所以首先要找到這個有加密算法的。追蹤函數(shù),發(fā)現(xiàn)它指向一個叫的函數(shù),仔細研究許久后大概知道加密算法經(jīng)兩次加密獲得,模式為,偏移量為。 前言 某寶評論區(qū)已經(jīng)成功爬取了,jd的也是差不多的方法,說實話也沒什么好玩的,我是看上它們分析簡單,又沒加密才拿來試手的。如果真的要看些有趣的評論的話,我會選擇網(wǎng)易云音樂,里面匯聚了哲學家,小說家,story-teller,皮皮...
摘要:項目地址由于網(wǎng)易云的限制,部分功能可能會失效,如有需要可以項目下來在本地運行,如果炸了,麻煩在評論中告知一下我因為做的是端所以請在電腦端訪問源碼地址項目預覽評論和歌單詳情都封了我的暫時無法使用這兩個功能了項目描述前端部分實現(xiàn)了滑塊彈出層歌詞 項目地址 由于網(wǎng)易云的api限制,部分功能可能會失效,如有需要可以clone項目下來在本地運行,如果api炸了,麻煩在評論中告知一下我 因為做的...
摘要:基于等開發(fā)一款移動端音樂,界面參考了安卓版的網(wǎng)易云音樂布局適配常見移動端。圖標使用阿里巴巴圖標庫,中間的唱片旋轉(zhuǎn)動畫使用了實現(xiàn)。搜索功能實現(xiàn)功能搜索歌手歌單歌曲熱門搜索數(shù)據(jù)節(jié)流上拉刷新保存搜索記錄。 基于 Vue(2.5) + vuex + vue-router + vue-axios +better-scroll + Scss + ES6 等開發(fā)一款移動端音樂 WebApp,UI ...
閱讀 1758·2021-09-02 15:11
閱讀 2053·2019-08-30 14:04
閱讀 2662·2019-08-27 10:52
閱讀 1653·2019-08-26 11:52
閱讀 1283·2019-08-23 15:26
閱讀 2732·2019-08-23 15:09
閱讀 2729·2019-08-23 12:07
閱讀 2309·2019-08-22 18:41