成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

25、Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—Requests請(qǐng)求和Response響應(yīng)

Shihira / 3692人閱讀

摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料請(qǐng)求請(qǐng)求就是我們?cè)谂老x(chóng)文件寫(xiě)的方法，也就是提交一個(gè)請(qǐng)求地址，請(qǐng)求是我們自定義的方法提交一個(gè)請(qǐng)求參數(shù)字符串類型地址回調(diào)函數(shù)名稱字符串類型請(qǐng)求方式，如果字典類型的，瀏覽器用戶代理設(shè)置字典類型鍵值對(duì)，向回調(diào)

【百度云搜索，搜各種資料:http://www.lqkweb.com】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】

Requests請(qǐng)求

Requests請(qǐng)求就是我們?cè)谂老x(chóng)文件寫(xiě)的Requests()方法，也就是提交一個(gè)請(qǐng)求地址，Requests請(qǐng)求是我們自定義的**

Requests()方法提交一個(gè)請(qǐng)求

　　參數(shù)：

　　url= ?字符串類型url地址

　　callback= 回調(diào)函數(shù)名稱

　　method= 字符串類型請(qǐng)求方式，如果GET,POST

　　headers= 字典類型的，瀏覽器用戶代理

　　cookies= 設(shè)置cookies

　　meta= 字典類型鍵值對(duì)，向回調(diào)函數(shù)直接傳一個(gè)指定值

　　encoding= 設(shè)置網(wǎng)頁(yè)編碼

　　priority= 默認(rèn)為0，如果設(shè)置的越高，越優(yōu)先調(diào)度

　　dont_filter= 默認(rèn)為False，如果設(shè)置為真，會(huì)過(guò)濾掉當(dāng)前url

#?-*-?coding:?utf-8?-*-
import?scrapy
from?scrapy.http?import?Request,FormRequest
import?re

class?PachSpider(scrapy.Spider):????????????????????????????#定義爬蟲(chóng)類，必須繼承scrapy.Spider
????name?=?"pach"???????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱
????allowed_domains?=?["www.luyin.org/"]????????????????????#爬取域名
????#?start_urls?=?[""]?????????????????????????????????????#爬取網(wǎng)址,只適于不需要登錄的請(qǐng)求，因?yàn)闆](méi)法設(shè)置cookie等信息

????header?=?{"User-Agent":"Mozilla/5.0?(Windows?NT?10.0;?WOW64;?rv:54.0)?Gecko/20100101?Firefox/54.0"}??#設(shè)置瀏覽器用戶代理

????def?start_requests(self):????#起始url函數(shù)，會(huì)替換start_urls
????????"""第一次請(qǐng)求一下登錄頁(yè)面，設(shè)置開(kāi)啟cookie使其得到cookie，設(shè)置回調(diào)函數(shù)"""
????????return?[Request(
????????????url="http://www.luyin.org/",
????????????headers=self.header,
????????????meta={"cookiejar":1},???????#開(kāi)啟Cookies記錄，將Cookies傳給回調(diào)函數(shù)
????????????callback=self.parse
????????)]

????def?parse(self,?response):
????????title?=?response.xpath("/html/head/title/text()").extract()
????????print(title)

?

Response響應(yīng)

Response響應(yīng)是由downloader返回的響應(yīng)

Response響應(yīng)參數(shù)
　　headers 返回響應(yīng)頭
　　status 返回狀態(tài)嗎
　　body 返回頁(yè)面內(nèi)容，字節(jié)類型
　　url 返回抓取url

#?-*-?coding:?utf-8?-*-
import?scrapy
from?scrapy.http?import?Request,FormRequest
import?re

class?PachSpider(scrapy.Spider):????????????????????????????#定義爬蟲(chóng)類，必須繼承scrapy.Spider
????name?=?"pach"???????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱
????allowed_domains?=?["www.luyin.org/"]????????????????????#爬取域名
????#?start_urls?=?[""]?????????????????????????????????????#爬取網(wǎng)址,只適于不需要登錄的請(qǐng)求，因?yàn)闆](méi)法設(shè)置cookie等信息

????header?=?{"User-Agent":"Mozilla/5.0?(Windows?NT?10.0;?WOW64;?rv:54.0)?Gecko/20100101?Firefox/54.0"}??#設(shè)置瀏覽器用戶代理

????def?start_requests(self):????#起始url函數(shù)，會(huì)替換start_urls
????????"""第一次請(qǐng)求一下登錄頁(yè)面，設(shè)置開(kāi)啟cookie使其得到cookie，設(shè)置回調(diào)函數(shù)"""
????????return?[Request(
????????????url="http://www.luyin.org/",
????????????headers=self.header,
????????????meta={"cookiejar":1},???????#開(kāi)啟Cookies記錄，將Cookies傳給回調(diào)函數(shù)
????????????callback=self.parse
????????)]

????def?parse(self,?response):
????????title?=?response.xpath("/html/head/title/text()").extract()
????????print(title)
????????print(response.headers)
????????print(response.status)
????????#?print(response.body)
????????print(response.url)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/45270.html

相關(guān)文章

  • 22、Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—scrapy模擬登陸和知乎倒立文字驗(yàn)證碼識(shí)

    【百度云搜索，搜各種資料:http://www.bdyss.cn】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】 第一步。首先下載，大神者也的倒立文字驗(yàn)證碼識(shí)別程序 下載地址：https://github.com/muchrooms/... 注意：此程序依賴以下模塊包 　　Keras==2.0.1　　Pillow==3.4.2　　jupyter==1.0.0　　matplotli...

    array_huang 評(píng)論0 收藏0

  • 18、 Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—Scrapy啟動(dòng)文件的配置—xpath表

    摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料我們自定義一個(gè)來(lái)作為啟動(dòng)文件導(dǎo)入執(zhí)行命令方法給解釋器，添加模塊新路徑將文件所在目錄添加到解釋器執(zhí)行命令爬蟲(chóng)文件表達(dá)式基本使用設(shè)置爬蟲(chóng)起始域名設(shè)置爬蟲(chóng)起始地址默認(rèn)爬蟲(chóng)回調(diào)函數(shù)，返 【百度云搜索，搜各種資料:http://www.bdyss.cn】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】 我們自定義一個(gè)main.py來(lái)作為啟動(dòng)...

    rubyshen 評(píng)論0 收藏0

  • 23、 Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—craw scrapy item lo

    摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料用命令創(chuàng)建自動(dòng)爬蟲(chóng)文件創(chuàng)建爬蟲(chóng)文件是根據(jù)的母版來(lái)創(chuàng)建爬蟲(chóng)文件的查看創(chuàng)建爬蟲(chóng)文件可用的母版母版說(shuō)明創(chuàng)建基礎(chǔ)爬蟲(chóng)文件創(chuàng)建自動(dòng)爬蟲(chóng)文件創(chuàng)建爬取數(shù)據(jù)爬蟲(chóng)文件創(chuàng)建爬取數(shù)據(jù)爬蟲(chóng)文件創(chuàng)建一個(gè)基礎(chǔ)母版爬蟲(chóng)，其他同理 【百度云搜索，搜各種資料:http://www.bdyss.cn】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】 用命令創(chuàng)建自動(dòng)爬...

    QiuyueZhong 評(píng)論0 收藏0

  • 19、 Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—css選擇器

    摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料選擇器獲取元素屬性，選擇器獲取標(biāo)簽文本舉例獲取過(guò)濾后的數(shù)據(jù)，返回字符串，有一個(gè)默認(rèn)參數(shù)，也就是如果沒(méi)有數(shù)據(jù)默認(rèn)是什么，一般我們?cè)O(shè)置為空字符串獲取過(guò)濾后的數(shù)據(jù)，返回字符串列表這里也可以用獲 【百度云搜索，搜各種資料:http://www.lqkweb.com】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】 css選擇器 1、 sh...

    happen 評(píng)論0 收藏0

  • 20、 Python快速開(kāi)發(fā)分布式搜索引擎Scrapy精講—編寫(xiě)spiders爬蟲(chóng)文件循環(huán)抓取內(nèi)容

    摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料編寫(xiě)爬蟲(chóng)文件循環(huán)抓取內(nèi)容方法，將指定的地址添加到下載器下載頁(yè)面，兩個(gè)必須參數(shù)，參數(shù)頁(yè)面處理函數(shù)使用時(shí)需要方法，是庫(kù)下的方法，是自動(dòng)拼接，如果第二個(gè)參數(shù)的地址是相對(duì)路徑會(huì)自動(dòng)與第一個(gè)參數(shù)拼接導(dǎo) 【百度云搜索，搜各種資料:http://bdy.lqkweb.com】 【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】 編寫(xiě)spiders爬...

    CntChen 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

Shihira

男|高級(jí)講師

TA的文章

閱讀更多
最新活動(dòng)
閱讀需要支付1元查看
<