scrapy下調(diào)試單個函數(shù)的方法

yintaolaowanzi 發(fā)布于2019-07-24 18:18 / 3611人閱讀

摘要：進行抓取任務(wù)時很苦惱的一點在于為了調(diào)試某個第三四層以上的跳轉(zhuǎn)鏈接需要等待將前面的鏈接都跑一遍才能確定某個頁面的函數(shù)是否正確的命令行參數(shù)就是為了解決這一問題官網(wǎng)的描述意思就是網(wǎng)址可選參數(shù)官網(wǎng)給出的例子我的實踐之路開始運行時結(jié)果總是沒有打印出任

進行抓取任務(wù)時很苦惱的一點在于為了調(diào)試某個第三,四層以上的跳轉(zhuǎn)鏈接需要等待將前面的鏈接都跑一遍,才能確定某個頁面的parse函數(shù)是否正確,scrapy的命令行參數(shù) parse就是為了解決這一問題.

官網(wǎng)的描述

Syntax: scrapy parse  [options]
意思就是 scrpy parse 網(wǎng)址 可選參數(shù)

官網(wǎng)給出的例子 $ scrapy shell       http://www.example.com/some/page.html

我的實踐之路

開始運行時結(jié)果總是沒有打印出任何log來,于是將原本0.25的scrapy升級到1.0
這時再輸入

scrapy parse http://www.douban.com -c group_parse

報了這樣的錯誤

ERROR: Unable to find spider for: http://www.douban.com

還有可能是這樣的

Traceback (most recent call last):
  File "/usr/local/bin/scrapy", line 11, in 
    sys.exit(execute())
  File "/Library/Python/2.7/site-packages/scrapy/cmdline.py", line 143, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "/Library/Python/2.7/site-packages/scrapy/cmdline.py", line 89, in _run_print_help
    func(*a, **kw)
  File "/Library/Python/2.7/site-packages/scrapy/cmdline.py", line 150, in _run_command
    cmd.run(args, opts)
  File "/Library/Python/2.7/site-packages/scrapy/commands/parse.py", line 220, in run
    self.set_spidercls(url, opts)
  File "/Library/Python/2.7/site-packages/scrapy/commands/parse.py", line 147, in set_spidercls
    self.spidercls.start_requests = _start_requests
AttributeError: "NoneType" object has no attribute "start_requests"

好吧,自動找不到我們就顯示指定下爬蟲的名字
就是在繼承自spider類里定義的那個name里的值

class douban(Spider):
    name = "douban_spider"

ok 問題解決

云服務(wù)器 GPU云服務(wù)器 js匿名函數(shù)內(nèi)的方法函數(shù)計算調(diào)試 linux下調(diào)試器 webrtc庫在windows下調(diào)試

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.hztianpu.com/yun/37678.html

相關(guān)文章

爬蟲入門

摘要：通用網(wǎng)絡(luò)爬蟲通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲，爬取對象從一些種子擴充到整個。為提高工作效率，通用網(wǎng)絡(luò)爬蟲會采取一定的爬取策略。介紹是一個國人編寫的強大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強大的。爬蟲簡單的說網(wǎng)絡(luò)爬蟲（Web crawler）也叫做網(wǎng)絡(luò)鏟（Web scraper）、網(wǎng)絡(luò)蜘蛛（Web spider），其行為一般是先爬到對應(yīng)的網(wǎng)頁上，再把需要的信息鏟下來。分類網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，...

defcon 2019-07-30 17:07 評論0 收藏0
爬蟲入門

摘要：通用網(wǎng)絡(luò)爬蟲通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲，爬取對象從一些種子擴充到整個。為提高工作效率，通用網(wǎng)絡(luò)爬蟲會采取一定的爬取策略。介紹是一個國人編寫的強大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強大的。爬蟲簡單的說網(wǎng)絡(luò)爬蟲（Web crawler）也叫做網(wǎng)絡(luò)鏟（Web scraper）、網(wǎng)絡(luò)蜘蛛（Web spider），其行為一般是先爬到對應(yīng)的網(wǎng)頁上，再把需要的信息鏟下來。分類網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，...

Invoker 2019-08-30 15:54 評論0 收藏0
SCrapy爬蟲大戰(zhàn)京東商城

摘要：爬蟲大戰(zhàn)京東商城引言上一篇已經(jīng)講過怎樣獲取鏈接，怎樣獲得參數(shù)了，詳情請看爬取京東商城普通篇代碼詳解首先應(yīng)該構(gòu)造請求，這里使用這個方法默認(rèn)調(diào)用的是構(gòu)造請求，如果要改變默認(rèn)的請求，那么必須重載該方法，這個方法的返回值必須是一個可迭代的對象，一般 SCrapy爬蟲大戰(zhàn)京東商城引言上一篇已經(jīng)講過怎樣獲取鏈接，怎樣獲得參數(shù)了，詳情請看python爬取京東商城普通篇代碼詳解首先應(yīng)該構(gòu)造請求...

noONE 2019-07-25 11:46 評論0 收藏0
scrapy入門教程3：scrapy的shell命令

摘要：用例運行爬蟲命令基本語法是否需要項目存在當(dāng)然是不需要咯貌似這個命令是不依托一個項目而直接運行一個爬蟲的命令。用例我終于寫完了，喜歡的就收藏推薦一下吧，這樣我就會更有動力寫新的教程了，哇哈哈 0. 基本環(huán)境說明本文截圖及運行環(huán)境均在Win8上實現(xiàn)（是的，我放假回家了，家里的機器是win8的沒有辦法），但基本步驟與win 7環(huán)境基本相同。（應(yīng)該把~）ps:我后來換了臺win7的電腦，所...

zhongmeizhi 2019-07-24 18:07 評論0 收藏0
從零開始的Python爬蟲速成指南

摘要：內(nèi)容如下是我們準(zhǔn)備爬的初始頁這個是解析函數(shù)，如果不特別指明的話，抓回來的頁面會由這個函數(shù)進行解析。爬取多個頁面的原理相同，注意解析翻頁的地址設(shè)定終止條件指定好對應(yīng)的頁面解析函數(shù)即可。后面的數(shù)字表示的是優(yōu)先級。指明每兩個請求之間的間隔。序本文主要內(nèi)容：以最短的時間寫一個最簡單的爬蟲，可以抓取論壇的帖子標(biāo)題和帖子內(nèi)容。本文受眾：沒寫過爬蟲的萌新。入門 0.準(zhǔn)備工作需要準(zhǔn)備的東西：...

gotham 2019-07-25 11:21 評論0 收藏0