成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專(zhuān)欄INFORMATION COLUMN

Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---13、部署相關(guān)庫(kù)ScrapydClient、ScrapydAPI

lolomaco / 2195人閱讀

摘要：相關(guān)鏈接使用說(shuō)明安裝推薦使用安裝，命令如下驗(yàn)證安裝安裝成功后會(huì)有一個(gè)可用命令，叫做，即部署命令。我們可以輸入如下測(cè)試命令測(cè)試是否安裝成功如果出現(xiàn)如圖類(lèi)似輸出則證明已經(jīng)成功安裝圖運(yùn)行結(jié)果在后文我們會(huì)詳細(xì)了解它的用法。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---12、部署相關(guān)庫(kù)的安裝：Docker、Scrapyd
下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---14、部署相關(guān)庫(kù)的安裝：Scrapyrt、Gerapy
ScrapydClient的安裝

在將 Scrapy 代碼部署到遠(yuǎn)程 Scrapyd 的時(shí)候，其第一步就是要將代碼打包為 Egg 文件，其次需要將 Egg 文件上傳到遠(yuǎn)程主機(jī)，這個(gè)過(guò)程如果我們用程序來(lái)實(shí)現(xiàn)是完全可以的，但是我們并不需要做這些工作，因?yàn)?ScrapydClient 已經(jīng)為我們實(shí)現(xiàn)了這些功能。
下面我們就來(lái)過(guò)一下 ScrapydClient 的安裝過(guò)程。

1. 相關(guān)鏈接

GitHub：https://github.com/scrapy/scr...

PyPi：https://pypi.python.org/pypi/...

使用說(shuō)明：https://github.com/scrapy/scr...

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyd-client
3. 驗(yàn)證安裝

安裝成功后會(huì)有一個(gè)可用命令，叫做 scrapyd-deploy，即部署命令。
我們可以輸入如下測(cè)試命令測(cè)試 ScrapydClient 是否安裝成功：

scrapyd-deploy -h

如果出現(xiàn)如圖 1-87 類(lèi)似輸出則證明 ScrapydClient 已經(jīng)成功安裝:

圖 1-87 運(yùn)行結(jié)果
在后文我們會(huì)詳細(xì)了解它的用法。

ScrapydAPI的安裝

安裝好了 Scrapyd 之后，我們可以直接請(qǐng)求它提供的 API 即可獲取當(dāng)前主機(jī)的 Scrapy 任務(wù)運(yùn)行狀況。

如某臺(tái)主機(jī)的 IP 為 192.168.1.1，則可以直接運(yùn)行如下命令獲取當(dāng)前主機(jī)的所有 Scrapy 項(xiàng)目：

curl http://localhost:6800/listprojects.json

運(yùn)行結(jié)果：

{"status": "ok", "projects": ["myproject", "otherproject"]}

返回結(jié)果是 Json 字符串，通過(guò)解析這個(gè)字符串我們便可以得到當(dāng)前主機(jī)所有項(xiàng)目。

但是用這種方式來(lái)獲取任務(wù)狀態(tài)還是有點(diǎn)繁瑣，所以 ScrapydAPI 就為它做了一層封裝，下面我們來(lái)看下它的安裝方式。

1. 相關(guān)鏈接

GitHub：https://pypi.python.org/pypi/...

PyPi：https://pypi.python.org/pypi/...

官方文檔：http://python-scrapyd-api.rea...

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip install python-scrapyd-api
3. 驗(yàn)證安裝

安裝完成之后便可以使用 Python 來(lái)獲取主機(jī)狀態(tài)了，所以如上的操作便可以用 Python 代碼實(shí)現(xiàn)：

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI("http://localhost:6800")
print(scrapyd.list_projects())

運(yùn)行結(jié)果：

["myproject", "otherproject"]

這樣我們便可以用 Python 直接來(lái)獲取各個(gè)主機(jī)上 Scrapy 任務(wù)的運(yùn)行狀態(tài)了。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/44031.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---14、部署相關(guān)庫(kù)的安裝：Scrapyrt、Gerapy

    摘要：相關(guān)鏈接官方文檔安裝推薦使用安裝，命令如下命令執(zhí)行完畢之后即可完成安裝。的安裝是一個(gè)分布式管理模塊，本節(jié)來(lái)介紹一下的安裝方式。如果沒(méi)有錯(cuò)誤報(bào)出，則證明庫(kù)已經(jīng)安裝好了。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)部署相關(guān)庫(kù)下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬蟲(chóng)基礎(chǔ)基本原理 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---13、部署相關(guān)庫(kù)ScrapydClient、ScrapydAPI下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)--...

    nihao 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---12、部署相關(guān)庫(kù)的安裝：Docker、Scrapyd

    摘要：阿里云安裝腳本安裝腳本兩個(gè)腳本可以任選其一，速度都非常不錯(cuò)。推薦的加速器有和阿里云。阿里云不同平臺(tái)的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說(shuō)明。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬蟲(chóng)框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)部署相關(guān)庫(kù) 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---11、爬蟲(chóng)框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---...

    ityouknow 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---11、爬蟲(chóng)框架的安裝：ScrapySplash、ScrapyRedi

    摘要：上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬蟲(chóng)框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)部署相關(guān)庫(kù)的安裝的安裝是一個(gè)中支持渲染的工具，本節(jié)來(lái)介紹一下它的安裝方式。另外一個(gè)是的庫(kù)的安裝，安裝之后即可在中使用服務(wù)。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---10、爬蟲(chóng)框架的安裝：PySpider、Scrapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---12、部署相關(guān)庫(kù)的安裝：Docker、Scrapyd Scrap...

    harryhappy 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---APP爬取相關(guān)庫(kù)的安裝：Char

    摘要：點(diǎn)擊，即可進(jìn)入證書(shū)的安裝頁(yè)面。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)庫(kù)的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---6、Web庫(kù)的安裝：Flask、Tornado下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---8、APP爬取相關(guān)庫(kù)的安裝：MitmProxy的安裝 除了 Web 網(wǎng)頁(yè)，爬蟲(chóng)也可以對(duì) APP 的數(shù)據(jù)進(jìn)行抓取，APP 中的頁(yè)面要加載出來(lái)，首先需...

    keelii 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---8、APP爬取相關(guān)庫(kù)的安裝：MitmProxy的安裝

    摘要：下的安裝的安裝非常簡(jiǎn)單，使用即可，命令如下執(zhí)行命令后即可完成的安裝。另外還可以在端口上啟動(dòng)，命令如下更多啟動(dòng)方式可以參考的安裝說(shuō)明。上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---7、Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---APP爬取相關(guān)庫(kù)的安裝：Charles的安裝下一篇文章：Python3網(wǎng)絡(luò)...

    Kerr1Gan 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

lolomaco

男|高級(jí)講師

TA的文章

閱讀更多
最新活動(dòng)
閱讀需要支付1元查看
<