摘要：主要元素是身體內(nèi)容，可以表示為。提取每個元素的文本并最終組成單個文本。我們將使用故意慢的服務(wù)器來顯示這一點(diǎn)。是表示值的承諾的對象。我們將使用倉庫中提供的準(zhǔn)備示例作為示例。請注意，其余代碼基本上不受影響除了返回函數(shù)中的源鏈接。

來源 | 愿碼(ChainDesk.CN)內(nèi)容編輯
愿碼Slogan | 連接每個程序員的故事
網(wǎng)站 | http://chaindesk.cn

愿碼愿景 | 打造全學(xué)科IT系統(tǒng)免費(fèi)課程，助力小白用戶、初級工程師0成本免費(fèi)系統(tǒng)學(xué)習(xí)、低成本進(jìn)階，幫助BAT一線資深工程師成長并利用自身優(yōu)勢創(chuàng)造睡后收入。
官方公眾號 | 愿碼 | 愿碼服務(wù)號 | 區(qū)塊鏈部落
免費(fèi)加入愿碼全思維工程師社群 | 任一公眾號回復(fù)“愿碼”兩個字獲取入群二維碼

本文閱讀時長：15min

在本文中，我們將學(xué)習(xí)以編程方式執(zhí)行操作以自動檢索和處理信息。Python??requests模塊使得執(zhí)行這些操作變得非常容易。
本文知識點(diǎn)：

下載網(wǎng)頁

解析HTML

抓取網(wǎng)絡(luò)

訪問受密碼保護(hù)的頁面

加快網(wǎng)絡(luò)抓取速度

下載網(wǎng)頁的基本功能包括GET針對URL?發(fā)出HTTP?請求。這是任何Web瀏覽器的基本操作。我們將在此配方中看到如何獲取獲取網(wǎng)頁的簡單請求。

安裝??requests模塊：

$ echo "requests==2.18.3" >> requirements.txt
$ source .venv/bin/activate
(.venv) $ pip install -r requirements.txt

如何下載網(wǎng)頁

導(dǎo)入requests模塊：

>>> import requests

請求URL，這需要一兩秒鐘：

>>> url = "http://www.columbia.edu/~fdc/sample.html"
>>> response = requests.get(url)

檢查返回的對象狀態(tài)代碼：

>>> response.status_code
200

檢查結(jié)果的內(nèi)容：

>>> response.text
"



...
FULL BODY
...

"

檢查正在進(jìn)行的和返回的標(biāo)題：

>>> response.request.headers
{"User-Agent": "python-requests/2.18.4", "Accept-Encoding": "gzip, deflate", "Accept": "*/*", "Connection": "keep-alive"}
>>> response.headers
{"Date": "Fri, 25 May 2018 21:51:47 GMT", "Server": "Apache", "Last-Modified": "Thu, 22 Apr 2004 15:52:25 GMT", "Accept-Ranges": "bytes", "Vary": "Accept-Encoding,User-Agent", "Content-Encoding": "gzip", "Content-Length": "8664", "Keep-Alive": "timeout=15, max=85", "Connection": "Keep-Alive", "Content-Type": "text/html", "Set-Cookie": "BIGipServer~CUIT~www.columbia.edu-80-pool=1764244352.20480.0000; expires=Sat, 26-May-2018 03:51:47 GMT; path=/; Httponly"}

操作requests非常簡單;?GET在這種情況下，通過URL?執(zhí)行操作。這將返回result可以分析的對象。主要元素是status_code身體內(nèi)容，可以表示為text。

可以在request現(xiàn)場檢查完整請求：

>>> response.request

>>> response.request.url
"http://www.columbia.edu/~fdc/sample.html"

我們將使用Beautiful Soup模塊將HTML文本解析為可以分析的內(nèi)存對象。我們需要使用該??beautifulsoup4?包來使用可用的Python?3版本。將軟件包添加到您requirements.txt的虛擬環(huán)境中并安裝依賴項：

$ echo "beautifulsoup4==4.6.0" >> requirements.txt
$ pip install -r requirements.txt

如何執(zhí)行HTML解析

導(dǎo)入BeautifulSoup和requests：

>>> import requests
>>> from bs4 import BeautifulSoup

設(shè)置要下載和檢索的頁面的URL：

>>> URL = "http://www.columbia.edu/~fdc/sample.html"
>>> response = requests.get(URL)
>>> response

解析下載的頁面：

>>> page = BeautifulSoup(response.text, "html.parser")

獲取頁面標(biāo)題?？吹剿c瀏覽器中顯示的內(nèi)容相同：

>>> page.title
Sample Web Page
>>> page.title.string
"Sample Web Page"

查找h3頁面中的所有元素，以確定現(xiàn)有部分：

>>> page.find_all("h3") [CONTENTS, 1. Creating a Web Page, 2. HTML Syntax, 3. Special Characters, 4. Converting Plain Text to HTML, 5. Effects, 6. Lists, 7. Links, 8. Tables, 9. Installing Your Web Page on the Internet, 10. Where to go from here]

提取部分鏈接上的文本。當(dāng)你到達(dá)下一個時停止

標(biāo)簽：

>>> link_section = page.find("a", attrs={"name": "links"})
>>> section = []
>>> for element in link_section.next_elements:
...     if element.name == "h3":
...         break
...     section.append(element.string or "")
...
>>> result = "".join(section)
>>> result
"7. Links

Links can be internal within a Web page (like to
the Table of ContentsTable of Contents at the top), or they
can be to external web pages or pictures on the same website, or they
can be to websites, pages, or pictures anywhere else in the world.



Here is a link to the Kermit
Project home pageKermit
Project home page.



Here is a link to Section 5Section 5 of this document.



Here is a link to
Section 4.0Section 4.0
of the C-Kermit
for Unix Installation InstructionsC-Kermit
for Unix Installation Instructions.



Here is a link to a picture:
CLICK HERECLICK HERE to see it.


"

請注意，沒有HTML標(biāo)記;?這都是原始文本。

第一步是下載頁面。然后，可以解析原始文本，如步驟3所示。結(jié)果??page?對象包含解析的信息。BeautifulSoup允許我們搜索HTML元素。它可以搜索第一個.find()?或返回列表??.find_all()。在步驟5中，它搜索具有特定屬性的特定標(biāo)簽name=link。之后，它繼續(xù)迭代，.next_elements直到找到下一個h3標(biāo)記，標(biāo)記該部分的結(jié)尾。

提取每個元素的文本并最終組成單個文本。請注意or，避免存儲None，當(dāng)元素沒有文本時返回。

鑒于超鏈接頁面的性質(zhì)，從一個已知的地方開始，并在鏈接到其他頁面后，在抓取網(wǎng)絡(luò)時，這是一個非常重要的工具。

為此，我們抓取一個尋找小短語的頁面，并打印包含它的任何段落。我們只會搜索屬于同一網(wǎng)站的網(wǎng)頁。即只有以www.somesite.com開頭的網(wǎng)址。我們不會關(guān)注指向外部網(wǎng)站的鏈接。

我們將使用GitHub倉庫中提供的準(zhǔn)備示例作為示例。?下載整個站點(diǎn)并運(yùn)行包含的腳本。

$ python simple_delay_server.py

這為URL中的站點(diǎn)提供服務(wù)http://localhost:8000。您可以在瀏覽器上查看它。這是一個有三個條目的簡單博客。大部分都是無趣的，但我們添加了幾個包含關(guān)鍵字的段落python。

如何抓取網(wǎng)絡(luò)

完整的腳本crawling_web_step1.py可以在GitHub中找到。這里顯示最相關(guān)的位：

...
def process_link(source_link, text):
    logging.info(f"Extracting links from {source_link}")
    parsed_source = urlparse(source_link)
    result = requests.get(source_link)
    # Error handling. See GitHub for details
    ...
    page = BeautifulSoup(result.text, "html.parser")
    search_text(source_link, page, text)
    return get_links(parsed_source, page)

def get_links(parsed_source, page):
    """Retrieve the links on the page"""
    links = []
    for element in page.find_all("a"):
        link = element.get("href")
        # Validate is a valid link. See GitHub for details
        ...
        links.append(link)
    return links

搜索引用python，以返回包含包含它的URL和段落的列表。請注意，由于鏈接斷開，存在一些錯誤：

$ python crawling_web_step1.py https://localhost:8000/ -p python
Link http://localhost:8000/: --> A smaller article , that contains a reference to Python
Link http://localhost:8000/files/5eabef23f63024c20389c34b94dee593-1.html: --> A smaller article , that contains a reference to Python
Link http://localhost:8000/files/33714fc865e02aeda2dabb9a42a787b2-0.html: --> This is the actual bit with a python reference that we are interested in.
Link http://localhost:8000/files/archive-september-2018.html: --> A smaller article , that contains a reference to Python
Link http://localhost:8000/index.html: --> A smaller article , that contains a reference to Python

另一個很好的搜索詞是crocodile。試試看：

$ python crawling_web_step1.py http://localhost:8000/ -p crocodile

讓我們看看腳本的每個組件：

在main函數(shù)中遍歷所有找到的鏈接的循環(huán)：

在process_link函數(shù)中下載和解析鏈接：

它會下載文件，并檢查狀態(tài)是否正確，以跳過鏈接斷開等錯誤。它還會檢查類型（如上所述??Content-Type）是否為HTML頁面以跳過PDF和其他格式。最后，它將原始HTML解析為一個BeautifulSoup對象。

它還使用解析源鏈接urlparse，因此稍后在步驟4中，它可以跳過對外部源的所有引用。?urlparse將URL劃分為其組成元素：

>>> from urllib.parse import urlparse
>>> >>> urlparse("http://localhost:8000/files/b93bec5d9681df87e6e8d5703ed7cd81-2.html")
ParseResult(scheme="http", netloc="localhost:8000", path="/files/b93bec5d9681df87e6e8d5703ed7cd81-2.html", params="", query="", fragment="")

它在search_text函數(shù)中找到要搜索的文本：

它在解析的對象中搜索指定的文本。請注意，搜索僅作為a?regex并在文本中完成。它打印生成的匹配項，包括source_link引用找到匹配項的URL：

for element in page.find_all(text=re.compile(text)):
    print(f"Link {source_link}: --> {element}")

該get_links?函數(shù)檢索頁面上的所有鏈接：

它在解析的頁面中搜索所有元素，并檢索href元素，但僅檢索具有此類href元素且是完全限定URL（以...開頭http）的元素。這將刪除不是URL的"#"鏈接，例如鏈接或頁面內(nèi)部的鏈接。

進(jìn)行額外檢查以檢查它們是否與原始鏈接具有相同的來源，然后將它們注冊為有效鏈接。該netloc屬性允許檢測鏈接來自與步驟2中生成的已解析URL相同的URL域。

最后，返回鏈接，將它們添加到步驟1中描述的循環(huán)中。

有時網(wǎng)頁不向公眾開放，但以某種方式受到保護(hù)。最基本的方面是使用基本的HTTP身份驗證，它幾乎集成到每個Web服務(wù)器中，它是一個用戶/密碼架構(gòu)。

我們可以在https://httpbin.org中測試這種...??。它有一個路徑，/basic-auth/{user}/{password}強(qiáng)制進(jìn)行身份驗證，并指定用戶和密碼。這對于理解身份驗證的工作原理非常方便。

如何訪問受密碼保護(hù)的頁面

進(jìn)口requests：

>>> import requests

做一個GET與錯誤的憑據(jù)的URL請求。請注意，我們將URL上的憑據(jù)設(shè)置為：user?和psswd：

>>> requests.get("https://httpbin.org/basic-auth/user/psswd", 
                 auth=("user", "psswd"))

使用錯誤的憑據(jù)返回401狀態(tài)代碼（未授權(quán)）：

>>> requests.get("https://httpbin.org/basic-auth/user/psswd", 
                 auth=("user", "wrong"))

憑證也可以直接在URL中傳遞，@在服務(wù)器之前用冒號和符號分隔，如下所示：

>>> requests.get("https://user:psswd@httpbin.org/basic-auth/user/psswd")

>>> requests.get("https://user:wrong@httpbin.org/basic-auth/user/psswd")

從網(wǎng)頁下載信息所花費(fèi)的大部分時間通常都在等待。一個請求從我們的計算機(jī)發(fā)送到任何服務(wù)器將處理它，直到響應(yīng)組成并返回到我們的計算機(jī)，我們不能做太多的事情。

在本文中，我們將看到如何并行下載頁面列表，并等待它們?nèi)繙?zhǔn)備好。我們將使用故意慢的服務(wù)器來顯示這一點(diǎn)。

我們將獲取用于抓取和搜索關(guān)鍵字的代碼，利用futuresPython 3?的功能同時下載多個頁面。A?future是表示值的承諾的對象。這意味著您在后臺執(zhí)行代碼時會立即收到對象。只有在特別要求其.result()代碼塊時才能獲得它。

要生成a?future，您需要一個名為executor的后臺引擎。一旦創(chuàng)建，就會?submit有一個函數(shù)和參數(shù)來檢索它future。結(jié)果的檢索可以根據(jù)需要延遲，允許futures連續(xù)生成幾個，并等待所有結(jié)束，并行執(zhí)行它們，而不是創(chuàng)建一個，等到它完成，創(chuàng)建另一個，依此類推。

有幾種方法可以創(chuàng)建執(zhí)行程序;?我們將使用ThreadPoolExecutor，它將使用線程。

我們將使用GitHub倉庫中提供的準(zhǔn)備示例作為示例。下載整個站點(diǎn)并運(yùn)行包含的腳本

$ python simple_delay_server.py -d 2

這為URL中的站點(diǎn)提供服務(wù)??http://localhost:8000。您可以在瀏覽器上查看它。這是一個簡單的博客，有三個條目。大部分都是無趣的，但我們添加了幾個包含關(guān)鍵字的段落??python。該參數(shù)-d 2使服務(wù)器故意變慢，模擬連接錯誤。

如何加快網(wǎng)頁抓取速度

編寫以下腳本speed_up_step1.py。完整代碼可在GitHub中找到。

注意main功能的差異。此外，還添加了一個額外的參數(shù)（并發(fā)工作者數(shù)），該函數(shù)process_link?現(xiàn)在返回源鏈接。

運(yùn)行??crawling_web_step1.py?腳本以獲取時間基準(zhǔn)。請注意，為清楚起見，此處已刪除輸出：

$ time python crawling_web_step1.py http://localhost:8000/
... REMOVED OUTPUT
real 0m12.221s
user 0m0.160s
sys 0m0.034s

使用一個工作程序運(yùn)行新腳本，該工作程序比原始工作程序慢：

$ time python speed_up_step1.py -w 1
... REMOVED OUTPUT
real 0m16.403s
user 0m0.181s
sys 0m0.068s

增加工人數(shù)量：

$ time python speed_up_step1.py -w 2
... REMOVED OUTPUT
real 0m10.353s
user 0m0.199s
sys 0m0.068s

添加更多工作人員會減少時間：

$ time python speed_up_step1.py -w 5
... REMOVED OUTPUT
real 0m6.234s
user 0m0.171s
sys 0m0.040s

創(chuàng)建并發(fā)請求的主要引擎是主要功能。請注意，其余代碼基本上不受影響（除了返回process_link函數(shù)中的源鏈接）。這是處理并發(fā)引擎的代碼的相關(guān)部分：

with concurrent.futures.ThreadPoolExecutor(max_workers=workers) as executor:
    while to_check:
        futures = [executor.submit(process_link, url, to_search)
                   for url in to_check]
        to_check = []
        for data in concurrent.futures.as_completed(futures):
            link, new_links = data.result()
             checked_links.add(link)
            for link in new_links:
                if link not in checked_links and link not in to_check:
                    to_check.append(link)

             max_checks -= 1
             if not max_checks:
                return

該with背景下產(chǎn)生的工人池，并指定其編號。在內(nèi)部，創(chuàng)建包含要檢索的所有URL的期貨列表。該.as_completed()函數(shù)返回已完成的期貨，然后有一些工作處理獲取新找到的鏈接并檢查是否需要添加它們以進(jìn)行檢索。此過程類似于抓取Web?配方中顯示的過程。

該過程再次開始，直到檢索到足夠的鏈接或沒有要檢索的鏈接。