摘要:爬取分辨率超清唯美壁紙簡(jiǎn)介壁紙的選擇其實(shí)很大程度上能看出電腦主人的內(nèi)心世界,有的人喜歡風(fēng)景,有的人喜歡星空,有的人喜歡美女,有的人喜歡動(dòng)物。
@[toc]
爬取5K分辨率超清唯美壁紙 簡(jiǎn)介壁紙的選擇其實(shí)很大程度上能看出電腦主人的內(nèi)心世界,有的人喜歡風(fēng)景,有的人喜歡星空,有的人喜歡美女,有的人喜歡動(dòng)物。然而,終究有一天你已經(jīng)產(chǎn)生審美疲勞了,但你下定決定要換壁紙的時(shí)候,又發(fā)現(xiàn)網(wǎng)上的壁紙要么分辨率低,要么帶有水印。
這里有一款Mac下的小清新壁紙神器Pap.er,可能是Mac下最好的壁紙軟件,自帶5K超清分辨率壁紙,富有多種類型壁紙,當(dāng)我們想在Windows或者Linux下使用的時(shí)候,就可以考慮將5K超清分辨率壁紙爬取下來(lái)。
編寫思路為了方便快速開(kāi)發(fā),我們使用python中的wxpy模塊完成微信的基本操作。
首先,打開(kāi)Charles軟件,進(jìn)行抓包。打開(kāi)Pap.er,開(kāi)始抓包。(由于是Mac系統(tǒng)下的APP,所以非Mac系統(tǒng)的朋友可以直接看抓包結(jié)果)
抓包分析結(jié)果如下:
類型 | 地址 |
---|---|
最新 | https://service.paper.meiyuan... |
最熱 | https://service.paper.meiyuan... |
女生 | https://service.paper.meiyuan... |
星空 | https://service.paper.meiyuan... |
參數(shù)page不用改動(dòng),per_page指的是每頁(yè)提取的數(shù)量,也就是我們想要提取的圖片數(shù)量。
抓完包之后,我們開(kāi)始編寫5K壁紙解析程序
# 爬取不同類型圖片 def crawler_photo(type_id, photo_count): # 最新 1, 最熱 2, 女生 3, 星空 4 if(type_id == 1): url = "https://service.paper.meiyuan.in/api/v2/columns/flow/5c68ffb9463b7fbfe72b0db0?page=1&per_page=" + str(photo_count) elif(type_id == 2): url = "https://service.paper.meiyuan.in/api/v2/columns/flow/5c69251c9b1c011c41bb97be?page=1&per_page=" + str(photo_count) elif(type_id == 3): url = "https://service.paper.meiyuan.in/api/v2/columns/flow/5c81087e6aee28c541eefc26?page=1&per_page=" + str(photo_count) elif(type_id == 4): url = "https://service.paper.meiyuan.in/api/v2/columns/flow/5c81f64c96fad8fe211f5367?page=1&per_page=" + str(photo_count) headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} # 獲取圖片鏈接列表數(shù)據(jù),json格式 respond = requests.get(url, headers=headers) # 對(duì)json格式轉(zhuǎn)化為python對(duì)象 photo_data = json.loads(respond.content) # 已經(jīng)下載的圖片張數(shù) now_photo_count = 1 # 所有圖片張數(shù) all_photo_count = len(photo_data) # 開(kāi)始下載并保存5K分辨率壁紙 for photo in photo_data: # 創(chuàng)建一個(gè)文件夾存放我們下載的圖片(若存在則不用重新創(chuàng)建) if not os.path.exists("./" + str(type_id)): os.makedirs("./" + str(type_id)) # 準(zhǔn)備下載的圖片鏈接,5K超清壁紙鏈接 file_url = photo["urls"]["raw"] # 準(zhǔn)備下載的圖片名稱,不包含擴(kuò)展名 file_name_only = file_url.split("/") file_name_only = file_name_only[len(file_name_only) -1] # 準(zhǔn)備保存到本地的完整路徑 file_full_name = "./" + str(type_id) + "/" + file_name_only # 開(kāi)始下載圖片 Down_load(file_url, file_full_name, now_photo_count, all_photo_count) # 已經(jīng)下載的圖片數(shù)量加1 now_photo_count = now_photo_count + 1
根據(jù)不同類型的壁紙,創(chuàng)建不同的文件夾編號(hào)進(jìn)行分類。
上面的Down_load()函數(shù)是下載文件的意思,調(diào)用requests庫(kù),具體代碼如下:
# 文件下載器 def Down_load(file_url, file_full_name, now_photo_count, all_photo_count): headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} # 開(kāi)始下載圖片 with closing(requests.get(file_url, headers=headers, stream=True)) as response: chunk_size = 1024 # 單次請(qǐng)求最大值 content_size = int(response.headers["content-length"]) # 文件總大小 data_count = 0 # 當(dāng)前已傳輸?shù)拇笮? with open(file_full_name, "wb") as file: for data in response.iter_content(chunk_size=chunk_size): file.write(data) done_block = int((data_count / content_size) * 50) data_count = data_count + len(data) now_jd = (data_count / content_size) * 100 print(" %s:[%s%s] %d%% %d/%d" % (file_full_name, done_block * "█", " " * (50 - 1 - done_block), now_jd, now_photo_count, all_photo_count), end=" ") # 下載完圖片后獲取圖片擴(kuò)展名,并為其增加擴(kuò)展名 file_type = filetype.guess(file_full_name) os.rename(file_full_name, file_full_name + "." + file_type.extension)
chunk_size指的是單次請(qǐng)求的最大值,content_size指的就是我們下載5K超清壁紙的大小,為了能夠直觀顯示下載情況,所以添加了下載進(jìn)度條的顯示效果。核心代碼為file.write(data)。
下載完畢后,為了方便我們查看文件,所以需要給圖片添加對(duì)應(yīng)的擴(kuò)展名,比如jpg,png,gif,這里使用到filetype庫(kù)對(duì)文件進(jìn)行解析,判斷其類型。
最后,開(kāi)始在main中爬取5K高清壁紙:
if __name__ == "__main__": # 最新 1, 最熱 2, 女生 3, 星空 4 # 爬取類型為3的圖片(女生),一共準(zhǔn)備爬取100張 print("程序已經(jīng)開(kāi)始運(yùn)行,請(qǐng)稍等……") crawler_photo(1, 100) crawler_photo(2, 100) crawler_photo(3, 100) crawler_photo(4, 100)使用教程
確保以下庫(kù)均已安裝:
# 如果沒(méi)有安裝,請(qǐng)使用pip install module安裝 import requests import filetype import os import json from contextlib import closing演示圖片 完整源代碼
項(xiàng)目源代碼在GitHub倉(cāng)庫(kù)
項(xiàng)目持續(xù)更新,歡迎您star本項(xiàng)目
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.hztianpu.com/yun/43381.html
摘要:愛(ài)美之心人皆有之,正所謂窈窕淑女君子好逑,美好敲代碼的一天從好看的桌面壁紙開(kāi)始,好看的桌面壁紙從美女壁紙開(kāi)始。 大家好,我是辣條,這是我爬蟲系列的第26篇。 愛(ài)美之心人皆有之,正所謂窈窕淑女君子好逑,美好敲代碼的一天從好看的桌面壁紙開(kāi)始,好看的桌面壁紙從美女壁紙開(kāi)始。今天給大家?guī)?lái)福利啦,爬...
摘要:前言之前初學(xué)的時(shí)候,有用爬蟲爬過(guò)一些磁力鏈接詳情見(jiàn)羞羞的爬蟲但是沒(méi)有并發(fā),沒(méi)有代理,那時(shí)也對(duì)異步不是很了解所以這次又寫了個(gè)爬蟲,爬取壁紙站的所有壁紙并且爬取開(kāi)心代理的條,并將有用的存進(jìn)文件中用到的模塊控制并發(fā)解析庫(kù)使用代理讀寫文件其中的具 前言 之前初學(xué)node的時(shí)候,有用爬蟲爬過(guò)一些磁力鏈接詳情見(jiàn)羞羞的node爬蟲但是沒(méi)有并發(fā),沒(méi)有代理,那時(shí)也對(duì)異步不是很了解所以這次又寫了個(gè)爬蟲,爬...
摘要:項(xiàng)目地址,另外知乎同名文章也是我發(fā)布的,大家可以多多關(guān)注首先觀察控制臺(tái)其次再看本地壁紙庫(kù)現(xiàn)在進(jìn)入正題,這個(gè)小項(xiàng)目用到了具體版本見(jiàn),另外還用到了中的線程池阻塞隊(duì)列生產(chǎn)消費(fèi)者模式文件監(jiān)聽(tīng)服務(wù),所以至少要求版本為或者以上項(xiàng)目分為個(gè)類和一個(gè)方法入 項(xiàng)目地址,另外知乎同名文章也是我發(fā)布的,大家可以多多關(guān)注 首先觀察控制臺(tái)showImg(https://segmentfault.com/img/b...
摘要:前提最近我的的朋友瀏覽一些網(wǎng)站,看到好看的圖片,問(wèn)我有沒(méi)有辦法不用手動(dòng)一張一張保存圖片我說(shuō)用丫保存壁紙?zhí)闊┙棠闳绾斡每焖佾@取網(wǎng)站圖片項(xiàng)目 前提最近我的的朋友瀏覽一些網(wǎng)站,看到好看的圖片,問(wèn)我有沒(méi)有辦法不用手動(dòng)一張一張保存圖片!我說(shuō)用Jsoup丫!打開(kāi)開(kāi)發(fā)者模式(F12),找到對(duì)應(yīng)圖片的鏈接,在互聯(lián)網(wǎng)中,每一張圖片就是一個(gè)...
閱讀 2295·2021-11-24 09:39
閱讀 2874·2021-07-29 13:49
閱讀 2404·2019-08-29 14:15
閱讀 2305·2019-08-29 12:40
閱讀 3366·2019-08-26 13:42
閱讀 699·2019-08-26 12:13
閱讀 2126·2019-08-26 11:41
閱讀 3412·2019-08-23 18:32