一句話總結(jié)直屬于標(biāo)簽

html中的&NBSP（實(shí)際上是小寫(xiě)，這里大寫(xiě)避免markdown識(shí)別）對(duì)應(yīng)字符串中的xa0,可用replace方法替換掉

url = "https://movie.douban.com/top250"
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36"}
r=requests.get(url,headers=headers)
soup = BeautifulSoup(r.text,"lxml")

for each in soup.find_all("div",class_="info"):
    img_url = each.previous_sibling.previous_sibling.a.img["src"]#圖片鏈接
    
    """with open("*.jpg","wb") as img:#還可以順便下載回來(lái)，名字自起
    img.write(requests.get(img_url,headers=headers).content)"""
    
    
    title=each.find("div",class_="hd").get_text(strip=True).replace("xa0","")#標(biāo)題
    actor = list(each.find("p",class_="").strings)[0].strip().replace("xa0","")#導(dǎo)演演員
    type_ = list(each.find("p",class_="").strings)[1].strip().replace("xa0","")#類型
    score = each.find("div",class_="star").get_text("/",strip=True)#評(píng)分及人數(shù)
    quote = each.find("span",class_="inq").string#一句話總結(jié)
    print([img_url,title,actor,type_,score,quote])#這里只簡(jiǎn)單打出來(lái)看下，怎樣存儲(chǔ)由你來(lái)決定

??但是這樣只有25部電影啊，是的，"https://movie.douban.com/top250"指向第一頁(yè)，我們現(xiàn)在只爬了一頁(yè)，其實(shí)還有9頁(yè)還沒(méi)爬啊，這是就要構(gòu)造網(wǎng)址了。

??我們點(diǎn)到第二頁(yè)，發(fā)現(xiàn)網(wǎng)址變成了https://movie.douban.com/top2...，第三頁(yè)start條件值變成50，我們可以得出結(jié)論，每下一頁(yè)，start條件值就加25。第一頁(yè)start=0，第二頁(yè)start=25.....第十頁(yè)start=225。這樣就可以循環(huán)構(gòu)造網(wǎng)頁(yè)并爬取了，這交給讀者實(shí)現(xiàn)
??下面筆者提供另一種思路：網(wǎng)頁(yè)不是有下一頁(yè)的按鈕嗎，右鍵檢查一下，發(fā)現(xiàn)它已經(jīng)包含了要構(gòu)造的部分了，是一個(gè)屬性值，提取出來(lái)接到原網(wǎng)址上即得到下一頁(yè)的網(wǎng)址，這樣能完全爬取所有頁(yè)數(shù)，不用像上面一樣設(shè)置循環(huán)次數(shù)。

貼上完整代碼

import requests
from bs4 import BeautifulSoup


url = "https://movie.douban.com/top250"
with open("douban.txt","w",encoding="utf-8") as f:
    while url :
        headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36"}

        r=requests.get(url,headers=headers)
        soup = BeautifulSoup(r.text,"lxml")

        for each in soup.find_all("div",class_="info"):
            img_url = each.previous_sibling.previous_sibling.a.img["src"]
            title=each.find("div",class_="hd").get_text(strip=True).replace("xa0","")
            actor = list(each.find("p",class_="").strings)[0].strip().replace("xa0","")
            #將生成器list化后索引，strip()去除兩邊空格再用空字符替換 
            type_ = list(each.find("p",class_="").strings)[1].strip().replace("xa0","")
            score = each.find("div",class_="star").get_text("/",strip=True)
            if each.find("span",class_="inq"):#注意有部電影沒(méi)有總結(jié)，也就沒(méi)有標(biāo)簽這里用if檢測(cè)一下防止None使用string方法報(bào)錯(cuò)
                quote = each.find("span", class_="inq").string
            else:
                quote = "沒(méi)有總結(jié)哦"
            print([img_url,title,actor,type_,score,quote])

            try:#到最后一頁(yè)時(shí)沒(méi)有下一頁(yè)按鈕，會(huì)報(bào)TypeError，這時(shí)用try語(yǔ)句讓url=None使while循環(huán)停止
                url = "https://movie.douban.com/top250" + soup.find("span",class_="next").a["href"]
            except TypeError:
                url = None

本實(shí)例的篩選方法已經(jīng)講的很細(xì)致了，幾乎提及了BeautifulSoup的所有方法，希望大家能通過(guò)此實(shí)例能加深對(duì)BeautifulSoup的理解，然后自己手打一些爬蟲(chóng)出來(lái)，小的十幾行多的幾十行都可以，爬貼吧什么的都可以。

還是那句話“只看不實(shí)踐的程序員不是好程序員”

下一篇應(yīng)該會(huì)將正則表達(dá)式，更加強(qiáng)大也更加難的信息匹配方法
下下篇了解一下動(dòng)態(tài)爬取?