成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專(zhuān)欄INFORMATION COLUMN

Laravel 下使用 Guzzle 編寫(xiě)多線(xiàn)程爬蟲(chóng)實(shí)戰(zhàn)

hzx / 1593人閱讀

摘要：本文經(jīng)授權(quán)轉(zhuǎn)自社區(qū)說(shuō)明庫(kù)是一套強(qiáng)大的請(qǐng)求套件。本文重點(diǎn)演示如何使用發(fā)起多線(xiàn)程請(qǐng)求。

本文經(jīng)授權(quán)轉(zhuǎn)自 PHPHub 社區(qū)
說(shuō)明

Guzzle 庫(kù)是一套強(qiáng)大的 PHP HTTP 請(qǐng)求套件。

本文重點(diǎn)演示如何使用 Guzzle 發(fā)起多線(xiàn)程請(qǐng)求。

參考

Github 官方用戶(hù)接口文檔

Guzzle 并發(fā)請(qǐng)求文檔

Laravel LTS 5.1 - Artisan 文檔

創(chuàng)建命令 1. 運(yùn)行命令行創(chuàng)建命令 
php artisan make:console MultithreadingRequest --command=test:multithreading-request
2. 注冊(cè)命令

編輯 app/Console/Kernel.php，在 $commands 數(shù)組中增加：

CommandsMultithreadingRequest::class,
3. 測(cè)試下命令

修改 app/Console/Commands/MultithreadingRequest.php 文件，在 handle 方法中增加：

$this->info("hello");

輸出：

$ php artisan test:multithreading-request
hello
4. 安裝 Guzzle 
composer require guzzlehttp/guzzle "6.2"
直接貼代碼

一份可運(yùn)行的代碼勝過(guò)千言萬(wàn)語(yǔ)呀。

下面代碼是 app/Console/Commands/MultithreadingRequest.php 里的內(nèi)容：

totalPageCount = count($this->users);

        $client = new Client();

        $requests = function ($total) use ($client) {
            foreach ($this->users as $key => $user) {

                $uri = "https://api.github.com/users/" . $user;
                yield function() use ($client, $uri) {
                    return $client->getAsync($uri);
                };
            }
        };

        $pool = new Pool($client, $requests($this->totalPageCount), [
            "concurrency" => $this->concurrency,
            "fulfilled"   => function ($response, $index){

                $res = json_decode($response->getBody()->getContents());

                $this->info("請(qǐng)求第 $index 個(gè)請(qǐng)求，用戶(hù) " . $this->users[$index] . " 的 Github ID 為：" .$res->id);

                $this->countedAndCheckEnded();
            },
            "rejected" => function ($reason, $index){
                $this->error("rejected" );
                $this->error("rejected reason: " . $reason );
                $this->countedAndCheckEnded();
            },
        ]);

        // 開(kāi)始發(fā)送請(qǐng)求
        $promise = $pool->promise();
        $promise->wait();
    }

    public function countedAndCheckEnded()
    {
        if ($this->counter < $this->totalPageCount){
            $this->counter++;
            return;
        }
        $this->info("請(qǐng)求結(jié)束！");
    }
}

運(yùn)行結(jié)果：

$ php artisan test:multithreading-request
請(qǐng)求第 5 個(gè)請(qǐng)求，用戶(hù) zhengjinghua 的 Github ID 為：3413430
請(qǐng)求第 6 個(gè)請(qǐng)求，用戶(hù) NauxLiu 的 Github ID 為：9570112
請(qǐng)求第 0 個(gè)請(qǐng)求，用戶(hù) CycloneAxe 的 Github ID 為：6268176
請(qǐng)求第 1 個(gè)請(qǐng)求，用戶(hù) appleboy 的 Github ID 為：21979
請(qǐng)求第 2 個(gè)請(qǐng)求，用戶(hù) Aufree 的 Github ID 為：5310542
請(qǐng)求第 3 個(gè)請(qǐng)求，用戶(hù) lifesign 的 Github ID 為：2189610
請(qǐng)求第 4 個(gè)請(qǐng)求，用戶(hù) overtrue 的 Github ID 為：1472352
請(qǐng)求結(jié)束！

注意請(qǐng)求是同時(shí)發(fā)送過(guò)去的，因?yàn)?concurrency 并發(fā)設(shè)置了 7，所以 7 個(gè)請(qǐng)求同時(shí)發(fā)送，只不過(guò)接收到返回的時(shí)間點(diǎn)不一樣。

完。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/21567.html

相關(guān)文章

  • 爬蟲(chóng) - 收藏集 - 掘金

    摘要：使用的爬蟲(chóng)知乎用戶(hù)數(shù)據(jù)爬取和分析閱讀掘金背景說(shuō)明小拽利用的寫(xiě)的爬蟲(chóng)，實(shí)驗(yàn)性的爬取了知乎用戶(hù)的基本信息同時(shí)，針對(duì)爬取的數(shù)據(jù)，進(jìn)行了簡(jiǎn)單的分析呈現(xiàn)。 Python 知乎爬蟲(chóng)（最新） - 后端 - 掘金 環(huán)境：python3.x外部依賴(lài)包：requestsgithub項(xiàng)目地址 主要的問(wèn)題:模擬登陸： 知乎現(xiàn)在改用https請(qǐng)求了，數(shù)據(jù)加密，但是問(wèn)題不大，重要的是網(wǎng)頁(yè)數(shù)據(jù)改動(dòng)了，而且在請(qǐng)求時(shí)后...

    zzbo 評(píng)論0 收藏0

  • Beanbun: 簡(jiǎn)單開(kāi)放的 PHP 爬蟲(chóng)框架

    摘要：是用編寫(xiě)的多進(jìn)程網(wǎng)絡(luò)爬蟲(chóng)框架，具有良好的開(kāi)放性高可擴(kuò)展性。它要天然支持分布式，支持多進(jìn)程或線(xiàn)程，利用，可以方便的建立起一個(gè)功能強(qiáng)大的爬蟲(chóng)。 Beanbun Beanbun 是用 PHP 編寫(xiě)的多進(jìn)程網(wǎng)絡(luò)爬蟲(chóng)框架，具有良好的開(kāi)放性、高可擴(kuò)展性。 項(xiàng)目地址：https://github.com/kiddyuchin...文檔地址：http://beanbun.org 由來(lái) 我希望有這樣一...

    mayaohua 評(píng)論0 收藏0

  • Laravel學(xué)習(xí)筆記之Core Concepts in Guzzle Package——Strea

    摘要：使用了來(lái)表示該，該接口也是對(duì)的抽象，暴露了一些常用方法判斷是否滿(mǎn)足要求的方法的讀寫(xiě)相關(guān)操作獲取元數(shù)據(jù)方法操作指針相關(guān)方法等等。本篇主要學(xué)習(xí)下相關(guān)使用。后續(xù)還會(huì)分享相關(guān)使用，到時(shí)見(jiàn)。 說(shuō)明：本文主要學(xué)習(xí)guzzlehttp/guzzle package的使用，該package提供了一套發(fā)送HTTP請(qǐng)求API，就像phpunit package, mockery package, symf...

    singerye 評(píng)論0 收藏0

  • PHP相關(guān)

    摘要：的機(jī)器學(xué)習(xí)庫(kù)的機(jī)器學(xué)習(xí)庫(kù)，包括算法交叉驗(yàn)證神經(jīng)網(wǎng)絡(luò)等內(nèi)容。在即將到來(lái)的大會(huì)上，她將和大家分享在機(jī)器學(xué)習(xí)領(lǐng)域的全新可能。入門(mén)總結(jié)入門(mén)相關(guān)，如安裝配置基本使用等。 基于 Swoole 開(kāi)發(fā) PHP 擴(kuò)展 Swoole-1.9.7 增加了一個(gè)新特性，可以基于 Swoole 使用 C++ 語(yǔ)言開(kāi)發(fā)擴(kuò)展模塊，在擴(kuò)展模塊中可以注冊(cè) PHP 內(nèi)置函數(shù)和類(lèi)?，F(xiàn)在可以基于 Swoole 來(lái)編寫(xiě) PHP ...

    lewinlee 評(píng)論0 收藏0

  • PHP新手開(kāi)發(fā)者的路線(xiàn)建議

    摘要：年開(kāi)發(fā)者應(yīng)該熟練使用，并且知道版本更新內(nèi)容。對(duì)開(kāi)發(fā)和運(yùn)維人員來(lái)說(shuō)，最希望的就是一次性創(chuàng)建或配置，可以在任意地方正常運(yùn)行。是標(biāo)準(zhǔn)規(guī)范，是開(kāi)發(fā)的實(shí)踐標(biāo)準(zhǔn)。對(duì)開(kāi)發(fā)者來(lái)說(shuō)語(yǔ)言推薦和，全棧的選擇非常多，推薦熱門(mén)的 前言 在前天（2018-08-02）已經(jīng)發(fā)布了PHP 7.3.0.beta1 Released 如果你還沒(méi)有使用 PHP7 ，那真的很遺憾。2018年P(guān)HP開(kāi)發(fā)者應(yīng)該熟練使用 PHP7...

    klinson 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

hzx

男|高級(jí)講師

TA的文章

閱讀更多
最新活動(dòng)
閱讀需要支付1元查看
<