時(shí)隔五年，Scrapyd 終于原生支持 basic auth

keithxiaoy 發(fā)布于2019-07-31 10:23 / 1650人閱讀

摘要：試用安裝更新配置文件，其余配置項(xiàng)詳見官方文檔啟動(dòng)由于的最新提交已經(jīng)重構(gòu)了頁(yè)面，如果正在使用管理，則需同步更新

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

試用

安裝：pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

更新配置文件 scrapyd.conf，其余配置項(xiàng)詳見官方文檔

[scrapyd]
username = yourusername
password = yourpassword

啟動(dòng)：scrapyd

In [1]: import requests

In [2]: requests.get("http://127.0.0.1:6800/").status_code
Out[2]: 401

In [3]: requests.get("http://127.0.0.1:6800/", auth=("admin", "admin")).status_code
Out[3]: 401

In [4]: requests.get("http://127.0.0.1:6800/", auth=("yourusername", "yourpassword")).status_code
Out[4]: 200

由于 Scrapyd 的 GitHub 最新提交已經(jīng)重構(gòu)了 Jobs 頁(yè)面，如果正在使用 ScrapydWeb 管理 Scrapyd，則需同步更新 ScrapydWeb：pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

GPU云服務(wù)器云服務(wù)器開源微服務(wù)框架原生支持 scrapyd 時(shí)隔終于找到

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/43741.html

相關(guān)文章

spiderkeeper 部署&操作

摘要：前言最近發(fā)現(xiàn)了一個(gè)的庫(kù)這個(gè)庫(kù)的主要用途是在于配合這管理你的爬蟲支持一鍵式部署定時(shí)采集任務(wù)啟動(dòng)暫停等一系列的操作簡(jiǎn)單來(lái)說(shuō)將的進(jìn)行封裝最大限度減少你跟命令行交互次數(shù)不得說(shuō)這個(gè)是很棒的事情的連接環(huán)境配置由于是基于以上的版本兼容性較好所以我們需要的前言最近發(fā)現(xiàn)了一個(gè)spdierkeeper的庫(kù),這個(gè)庫(kù)的主要用途是在于.配合這scrpyd管理你的爬蟲,支持一鍵式部署,定時(shí)采集任務(wù),啟動(dòng),暫停...

Neilyo 2019-07-30 15:39 評(píng)論0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需遠(yuǎn)程訪問(wèn)，則需在配置文件中設(shè)置，然后重啟。詳見如果是同個(gè)容器，直接使用即可，這里是演示了不同容器或主機(jī)下的情況訪問(wèn)即可文章開始，先摘錄一下文中各軟件的官方定義Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

defcon 2019-06-28 16:57 評(píng)論0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需遠(yuǎn)程訪問(wèn)，則需在配置文件中設(shè)置，然后重啟。詳見如果是同個(gè)容器，直接使用即可，這里是演示了不同容器或主機(jī)下的情況訪問(wèn)即可文章開始，先摘錄一下文中各軟件的官方定義Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

陳偉 2019-07-30 18:43 評(píng)論0 收藏0
Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫(kù)的安裝：Docker、Scrapyd

摘要：阿里云安裝腳本安裝腳本兩個(gè)腳本可以任選其一，速度都非常不錯(cuò)。推薦的加速器有和阿里云。阿里云不同平臺(tái)的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說(shuō)明。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫(kù) 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---...

ityouknow 2019-07-31 10:34 評(píng)論0 收藏0
如何通過(guò) Scrapyd + ScrapydWeb 簡(jiǎn)單高效地部署和監(jiān)控分布式爬蟲項(xiàng)目

摘要：支持一鍵部署項(xiàng)目到集群。添加郵箱帳號(hào)設(shè)置郵件工作時(shí)間和基本觸發(fā)器，以下示例代表每隔小時(shí)或當(dāng)某一任務(wù)完成時(shí)，并且當(dāng)前時(shí)間是工作日的點(diǎn)，點(diǎn)和點(diǎn)，將會(huì)發(fā)送通知郵件。除了基本觸發(fā)器，還提供了多種觸發(fā)器用于處理不同類型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安裝和配置 ...

zsirfs 2019-07-30 18:34 評(píng)論0 收藏0