摘要：參考概述中定義了許多搜索解析樹(shù)的方法，但這些方法都非常類(lèi)似，它們大多采用與相同的參數(shù)和，但是僅有和支持參數(shù)。本節(jié)會(huì)以作為示例過(guò)濾器過(guò)濾器用于在解析樹(shù)中篩選目標(biāo)節(jié)點(diǎn)，被用作搜索方法的實(shí)參。如果函數(shù)返回，則保留該節(jié)點(diǎn)，否則拋棄該節(jié)點(diǎn)。

GitHub@orca-j35，所有筆記均托管于 python_notes 倉(cāng)庫(kù)。
歡迎任何形式的轉(zhuǎn)載，但請(qǐng)務(wù)必注明出處。
參考: https://www.crummy.com/softwa...

BeautifulSoup 中定義了許多搜索解析樹(shù)的方法，但這些方法都非常類(lèi)似，它們大多采用與 find_all() 相同的參數(shù): name、attrs、string、limit 和 **kwargs，但是僅有 find() 和 find_all() 支持 recursive 參數(shù)。

這里著重介紹 find() 和 find_all()，其它"搜索方法"也這兩個(gè)類(lèi)似。

本節(jié)會(huì)以 "three sister" 作為示例:

html_doc = """


    


    
The Dormouse"s story
    
Once upon a time there were three little sisters; and their names were
        Elsie,
        Lacie and
        Tillie;
        and they lived at the bottom of a well.
    

    
...
"""
from pprint import pprint
from bs4 import BeautifulSoup
import re

soup = BeautifulSoup(html_doc, "html.parser")

過(guò)濾器(filter)用于在解析樹(shù)中篩選目標(biāo)節(jié)點(diǎn)，被用作"搜索方法"的實(shí)參。

字符串可用作過(guò)濾器，BeautifulSoup 可利用字符串來(lái)篩選節(jié)點(diǎn)，并保留符合條件節(jié)點(diǎn):

使用字符串篩選 tag 時(shí)，會(huì)保留與字符串同名 tag 節(jié)點(diǎn)，且總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用字符串篩選 HTML 屬性時(shí)，會(huì)保留屬性值與字符串相同的 tag 節(jié)點(diǎn)，且總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用字符串篩選 HTML 文本時(shí)，會(huì)保留與字符串相同的文本節(jié)點(diǎn)

與 str 字符串類(lèi)似，我們還可將 bytes 對(duì)象用作過(guò)濾器，區(qū)別在于 BeautifulSoup 會(huì)假定編碼模式為 UTF-8。

示例:

soup = BeautifulSoup(html_doc, "html.parser")
# 查找名為b的tag節(jié)點(diǎn)
print([f"{type(i)}::{i.name}" for i in soup.find_all("b")])
print([f"{type(i)}::{i.name}" for i in soup.find_all(b"b")])
# 查找id值為link1的tag節(jié)點(diǎn)
print([f"{type(i)}::{i.name}" for i in soup.find_all(id="link1")])
# 查找文本值為Elsie的文本節(jié)點(diǎn)
print([f"{type(i)}::{i.name}" for i in soup.find_all(text="Elsie")])

輸出:

["::b"]
["::b"]
["::a"]
["::None"]

正則表達(dá)式對(duì)象可用作過(guò)濾器，BeautifulSoup 會(huì)利用正則表達(dá)式對(duì)象的 search() 方法來(lái)篩選節(jié)點(diǎn)，并保留符合條件節(jié)點(diǎn):

使用正則表達(dá)式對(duì)象篩選 tag 時(shí)，會(huì)利用正則表達(dá)式的 search() 方法來(lái)篩選 tag 節(jié)點(diǎn)的名稱(chēng)，并保留符合條件的 tag 節(jié)點(diǎn)。因?yàn)槲谋竟?jié)點(diǎn)的 .name 屬性值為 None，因此總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用正則表達(dá)式對(duì)象篩選 HTML 屬性時(shí)，會(huì)利用正則表達(dá)式的 search() 方法來(lái)篩選指定屬性的值，并保留符合條件的 tag 節(jié)點(diǎn)。因?yàn)槲谋竟?jié)點(diǎn)不包含任何 HTML 屬性，因此總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用正則表達(dá)式對(duì)象篩選 HTML 文本時(shí)，會(huì)利用正則表達(dá)式的 search() 方法來(lái)篩選文本節(jié)點(diǎn)，并保留符合條件的文本節(jié)點(diǎn)。

示例:

import re

soup = BeautifulSoup(html_doc, "html.parser")
# 查找名稱(chēng)中包含字母b的節(jié)點(diǎn)
print([f"{type(i)}::{i.name}" for i in soup.find_all(re.compile(r"b"))])
# 查找class值以t開(kāi)頭的tag
print(
    [f"{type(i)}::{i.name}" for i in soup.find_all(class_=re.compile(r"^t"))])
# 查找文本值以E開(kāi)頭的文本節(jié)點(diǎn)
print([f"{type(i)}::{i.name}" for i in soup.find_all(text=re.compile(r"^E"))])

輸出:

["::body", "::b"]
["::p"]
["::None"]

列表 list 可用作過(guò)濾器，列表中的項(xiàng)可以是:

字符串

正則表達(dá)式對(duì)象

可調(diào)用對(duì)象，詳見(jiàn) 函數(shù)

BeautifulSoup 會(huì)利用列表中的項(xiàng)來(lái)篩選節(jié)點(diǎn)，并保留符合條件節(jié)點(diǎn):

使用列表篩選 tag 時(shí)，若 tag 名與列表中的某一項(xiàng)匹配，則會(huì)保留該 tag 節(jié)點(diǎn)，且總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用列表篩選 HTML 屬性時(shí)，若屬性值與列表中的某一項(xiàng)匹配，則會(huì)保留該 tag 節(jié)點(diǎn)，且總會(huì)過(guò)濾掉 HTML 文本節(jié)點(diǎn)

使用列表篩選 HTML 文本時(shí)，若文本與列表中的某一項(xiàng)匹配，則會(huì)保留該文本節(jié)點(diǎn)

示例

import re
def func(tag):
    return tag.get("id") == "link1"

soup = BeautifulSoup(html_doc, "html.parser")
# 查找與列表匹配的tag節(jié)點(diǎn)
tag = soup.find_all(["title", re.compile("b$"), func])
pprint([f"{type(i)}::{i.name}" for i in tag])
pprint(
    [f"{type(i)}::{i.name}" for i in soup.find_all(text=["Elsie", "Tillie"])])

輸出:

["::title",
 "::b",
 "::a"]
["::None",
 "::None"]

布爾值 True 可用作過(guò)濾器:

使用 True 篩選 tag 時(shí)，會(huì)保留所有 tag 節(jié)點(diǎn)，且過(guò)濾掉所有 HTML 文本節(jié)點(diǎn)

使用 True 篩選 HTML 屬性時(shí)，會(huì)保留所有具備該屬性的 tag 節(jié)點(diǎn)，且過(guò)濾掉所有 HTML 文本節(jié)點(diǎn)

使用 True 篩選 HTML 文本時(shí)，會(huì)保留所有文本節(jié)點(diǎn)

soup = BeautifulSoup(html_doc, "html.parser")
pprint([f"{type(i)}::{i.name}" for i in soup.find_all(True)])
pprint([f"{type(i)}::{i.name}" for i in soup.find_all(id=True)])
pprint([f"{type(i)}::{i.name}" for i in soup.find_all(text=True)])

輸出:

["::html",
 "::head",
 "::title",
 "::body",
 "::p",
 "::b",
 "::p",
 "::a",
 "::a",
 "::a",
 "::p"]
["::a",
 "::a",
 "::a"]
["::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None",
 "::None"]

過(guò)濾器可以是某個(gè)函數(shù)(或任何可調(diào)用對(duì)象):

以 tag 節(jié)點(diǎn)為篩選對(duì)象時(shí)，過(guò)濾器函數(shù)需以 tag 節(jié)點(diǎn)作為參數(shù)，如果函數(shù)返回 True，則保留該 tag 節(jié)點(diǎn)，否則拋棄該節(jié)點(diǎn)。

示例 - 篩選出含 class 屬性，但不含 id 屬性的 tag 節(jié)點(diǎn):

def has_class_but_no_id(tag):
    # Here’s a function that returns True if a tag defines the “class” attribute but doesn’t define the “id” attribute
    return tag.has_attr("class") and not tag.has_attr("id")


soup = BeautifulSoup(html_doc, "html.parser")
tag = soup.find_all(has_class_but_no_id)
pprint([f"{type(i)}::{i.name}" for i in tag])

輸出:

["::p",
 "::p",
 "::p"]

針對(duì) HTML 屬性進(jìn)行篩選時(shí)，過(guò)濾函數(shù)需以屬性值作為參數(shù)，而非整個(gè) tag 節(jié)點(diǎn)。如果 tag 節(jié)點(diǎn)包含目標(biāo)屬性，則會(huì)向過(guò)濾函數(shù)傳遞 None，否則傳遞實(shí)際值。如果函數(shù)返回 True，則保留該 tag 節(jié)點(diǎn)，否則拋棄該節(jié)點(diǎn)。

def not_lacie(href):
    # Here’s a function that finds all a tags whose href attribute does not match a regular expression
    return href and not re.compile("lacie").search(href)


soup = BeautifulSoup(html_doc, "html.parser")
tag = soup.find_all(href=not_lacie)
for i in tag:
    print(f"{type(i)}::{i.name}::{i}")

輸出:

::a::Elsie
::a::Tillie

針對(duì) HTML 文本進(jìn)行篩選時(shí)，過(guò)濾需以文本值作為參數(shù)，而非整個(gè) tag 節(jié)點(diǎn)。如果函數(shù)返回 True，則保留該 tag 節(jié)點(diǎn)，否則拋棄該節(jié)點(diǎn)。

def func(text):
    return text == "Lacie"

soup = BeautifulSoup(html_doc, "html.parser")
print([f"{type(i)}::{i}" for i in soup.find_all(text=func)])

輸出:

["::Lacie"]

過(guò)濾函數(shù)可以被設(shè)計(jì)的非常復(fù)雜，比如:

html_doc = """


The Dormouse"s story

Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.

...
"""

def surrounded_by_strings(tag):
    # returns True if a tag is surrounded by string objects
    return (isinstance(tag.next_element, NavigableString)
            and isinstance(tag.previous_element, NavigableString))

soup = BeautifulSoup(html_doc, "html.parser")
tag = soup.find_all(surrounded_by_strings)
pprint([f"{type(i)}::{i.name}" for i in tag])
# 注意空白符對(duì)輸出結(jié)果的影響

輸出:

["::body",
 "::p",
 "::a",
 "::a",
 "::a",
 "::p"]