摘要：爬蟲(chóng)又一個(gè)爬蟲(chóng)實(shí)現(xiàn)原文簡(jiǎn)介小強(qiáng)當(dāng)時(shí)不知道為啥選了這么個(gè)名字，又長(zhǎng)又難記，導(dǎo)致編碼的過(guò)程中因?yàn)閱卧~的拼寫問(wèn)題耽誤了好長(zhǎng)時(shí)間。我是一個(gè)小強(qiáng)爬蟲(chóng)線程數(shù)健壯說(shuō)到健壯，這里主要體現(xiàn)在以下幾個(gè)方面應(yīng)對(duì)封鎖這里我們使用動(dòng)態(tài)代理來(lái)解決這個(gè)問(wèn)題。

原文

cockroach[小強(qiáng)] 當(dāng)時(shí)不知道為啥選了這么個(gè)名字，又長(zhǎng)又難記，導(dǎo)致編碼的過(guò)程中因?yàn)閱卧~的拼寫問(wèn)題耽誤了好長(zhǎng)時(shí)間。

這個(gè)項(xiàng)目算是我的又一個(gè)坑吧，算起來(lái)挖的坑多了去了，多一個(gè)不多少一個(gè)不少。

一個(gè)小巧、靈活、健壯的爬蟲(chóng)框架，暫且叫做框架吧。

簡(jiǎn)單到什么程度呢，幾句話就可以創(chuàng)建一個(gè)爬蟲(chóng)。

java8 程序中用到了一些 java8 的新特性

maven

  com.github.zhangyingwei
  cockroach
  1.0.5-Beta

如果哪天我忘了更新文檔了，一定要記住使用最新的版本，最新的版本，新的版本，版本，本。

下面就逐點(diǎn)介紹一下：

小巧主要體現(xiàn)在兩個(gè)方面

體積小 （打包之后整個(gè) jar 包只有 70k 多一點(diǎn)，所以完全擔(dān)得起小巧兩個(gè)字）

開(kāi)發(fā)代碼量小（基于本框架開(kāi)發(fā)一個(gè)爬蟲(chóng)需要的工作量可以說(shuō)是非常小。這個(gè)在下邊的文檔中會(huì)有體現(xiàn)）

在項(xiàng)目中新建一個(gè)測(cè)試類 App.java 并新建 main 方法。

public static void main(String[] args){
    CockroachConfig config = new CockroachConfig()
                    .setAppName("我是一個(gè)小強(qiáng)")
                    .setThread(2); //爬蟲(chóng)線程數(shù)
    CockroachContext context = new CockroachContext(config);
    TaskQueue queue = TaskQueue.of();
    context.start(queue);
    
    // 以上就是一個(gè)完整的爬蟲(chóng)，下邊的代碼相當(dāng)于一個(gè)生產(chǎn)者，往隊(duì)列里邊寫任務(wù)，一旦寫入任務(wù)，爬蟲(chóng)就會(huì)對(duì)任務(wù)進(jìn)行爬取
    new Thread(() -> {
        int i = 0;
        while(true){
            i++;
            try {
                Thread.sleep(1000);
                String url = "http://www.xicidaili.com/wt/"+i;
                System.out.println(url);
                queue.push(new Task(url));
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
            if (i > 1000) {
                break;
            }
        }
    }).start();
}

那靈活又體現(xiàn)在什么方面呢

可以自定義 http 客戶端（可選，默認(rèn)使用 okhttp3）

可以自定義結(jié)果的處理 （可選，默認(rèn)使用打印處理器）

首先我們嘗試一下自定義客戶端

public class SelfHttpClient implements HttpClient {
       public HttpClient setProxy(HttpProxy proxy){
            //設(shè)置代理實(shí)現(xiàn)方法
       }
       public TaskResponse doGet(Task task) throws Exception{
            // get 請(qǐng)求實(shí)現(xiàn)方法
       }
   
       public HttpClient proxy(){
            // 應(yīng)用代理到 http 客戶端 方法
       }
   
       public TaskResponse doPost(Task task) throws Exception{
            // post 請(qǐng)求實(shí)現(xiàn)方法
       }
   
       public HttpClient setCookie(String cookie){
            // 設(shè)置 cookie 實(shí)現(xiàn)方法
       }
   
       public HttpClient setHttpHeader(Map httpHeader){
            // 設(shè)置 header 實(shí)現(xiàn)方法
       }
}

應(yīng)用自定義 http 客戶端到爬蟲(chóng)

CockroachConfig config = new CockroachConfig()
    .setAppName("我是一個(gè)小強(qiáng)")
    .setThread(2) //爬蟲(chóng)線程數(shù)
    .setHttpClient(SelfHttpClient.class)

PS：上邊這一塊目前處于待定狀態(tài)

自定義結(jié)果處理類

public class SelfStore implements IStore {
    @Override
    public void store(TaskResponse response) {
        System.out.println(response.getContent());
    }
}

這里簡(jiǎn)單的將結(jié)果打印了出來(lái)，在實(shí)際應(yīng)用中，我們可以保存到數(shù)據(jù)庫(kù)或者保存到文件中等等。值得一說(shuō)的是，如果結(jié)果是 html 網(wǎng)頁(yè)文本的話，我們還提供了 select("css選擇器") 來(lái)對(duì)結(jié)果文本進(jìn)行處理。

應(yīng)用自定義 store 客戶端到爬蟲(chóng)

CockroachConfig config = new CockroachConfig()
    .setAppName("我是一個(gè)小強(qiáng)")
    .setThread(2) //爬蟲(chóng)線程數(shù)
    .setHttpClient(SelfHttpClient.class)
    .setStore(SelfStore.class);

當(dāng) http 請(qǐng)求網(wǎng)頁(yè)出現(xiàn)錯(cuò)誤的時(shí)候會(huì)統(tǒng)一定位到錯(cuò)誤處理類，如果沒(méi)有自定義錯(cuò)誤處理類，系統(tǒng)會(huì)默認(rèn)使用 DefaultTaskErrorHandler ，此處理類會(huì)吧錯(cuò)誤信息打印出來(lái)。具體實(shí)現(xiàn)代碼如下。

public class DefaultTaskErrorHandler implements ITaskErrorHandler {
    private Logger logger = Logger.getLogger(DefaultTaskErrorHandler.class);
    @Override
    public void error(Task task,String message) {
        logger.info("task error: "+message);
    }
}

如果需要自定義錯(cuò)誤處理類，可以仿照以上代碼，實(shí)現(xiàn) ITaskErrorHandler 接口，在 error 方法中實(shí)現(xiàn)自己的處理邏輯。

在自定義錯(cuò)誤處理類之后，我們需要把自定義類應(yīng)用到爬蟲(chóng)。

CockroachConfig config = new CockroachConfig()
    .setAppName("我是一個(gè)小強(qiáng)")
    .setThread(2) //爬蟲(chóng)線程數(shù)
    .setHttpClient(SelfHttpClient.class)
    .setStore(SelfStore.class)
    .setTaskErrorHandler(SelfTaskErrorHandler.class);

說(shuō)到健壯，這里主要體現(xiàn)在以下幾個(gè)方面：

應(yīng)對(duì)IP封鎖

這里我們使用動(dòng)態(tài)代理來(lái)解決這個(gè)問(wèn)題。

CockroachConfig config = new CockroachConfig()
    .setAppName("我是一個(gè)小強(qiáng)")
    .setThread(2) //爬蟲(chóng)線程數(shù)
    .setHttpClient(SelfHttpClient.class)
    .setProxys("100.100.100.100:8888,101.101.101.101:8888")

如上所示，我們可以設(shè)置若干個(gè)代理 ip，最終將所有代理 ip 生成一個(gè)代理池，在爬蟲(chóng)請(qǐng)求之前，我們會(huì)從代理池中隨機(jī)抽取一個(gè) ip 做代理。

應(yīng)對(duì) http 請(qǐng)求中的 user-agent 問(wèn)題

程序中實(shí)現(xiàn)了一個(gè) user-agent 池，每次請(qǐng)求都會(huì)隨機(jī)取出一個(gè) user-agent 使用，目前在程序中集成了 17 種 user-agent，后續(xù)會(huì)考慮把這塊開(kāi)放出來(lái)到配置中，自定義配置（有沒(méi)有意義呢？）。

程序中的異常處理問(wèn)題

目前在異常處理這塊，本身也不是非常擅長(zhǎng)，已經(jīng)盡力把異?？刂圃谝粋€(gè)可控的范圍內(nèi)，程序中定義了很多自定義異常，這里沒(méi)有什么發(fā)言權(quán)，就不細(xì)說(shuō)了，各位要是有意見(jiàn)建議，歡迎拍磚。

程序中并沒(méi)有現(xiàn)成的深度爬取實(shí)現(xiàn)，是因?yàn)橐话闱闆r下我并不覺(jué)得深度爬取有什么卵用，但是也不是沒(méi)有為深度爬取留出來(lái)一席之地。我們可以自己提取出頁(yè)面中的鏈接并加入到任務(wù)隊(duì)列中。以達(dá)到深度爬取的效果。

public class DemoStore implements IStore {

    private String id = NameUtils.name(DemoStore.class);

    public DemoStore() throws IOException {}

    @Override
    public void store(TaskResponse response) throws IOException {
        List urls = response.select("a").stream().map(element -> element.attr("href")).collect(Collectors.toList());
        try {
            response.getQueue().push(urls);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

最近忙里偷閑增加了注解支持，那么在使用注解之后，一個(gè)爬蟲(chóng)是什么樣的呢？

@EnableAutoConfiguration
@AppName("hello spider")
@Store(PrintStore.class)
@AutoClose(true)
@ThreadConfig(num = 1)
@CookieConfig("asdfasdfasdfasdfasfasdfa")
@HttpHeaderConfig({
        "key1=value1",
        "key2=value2"
})
@ProxyConfig("1.1.1.1,2.2.2.2")
public class CockroachApplicationTest {
    public static void main(String[] args) throws Exception {
        TaskQueue queue = TaskQueue.of();
        queue.push(new Task("http://blog.zhangyingwei.com"));
        CockroachApplication.run(CockroachApplicationTest.class,queue);
    }
}

如上就是基本上所有注解的演示，那么拋開(kāi)演示的部分，如果真的只是做一個(gè)demo，需要怎么寫呢？

@EnableAutoConfiguration
public class CockroachApplicationTest {
    public static void main(String[] args) throws Exception {
        TaskQueue queue = TaskQueue.of();
        queue.push(new Task("http://blog.zhangyingwei.com"));
        CockroachApplication.run(CockroachApplicationTest.class,queue);
    }
}

沒(méi)錯(cuò)，就是這么簡(jiǎn)單。這個(gè)爬蟲(chóng)就是爬取 http://blog.zhangyingwei.com 這個(gè)頁(yè)面的內(nèi)容并將結(jié)果打印出來(lái)。
在爬蟲(chóng)結(jié)果處理這個(gè)問(wèn)題上，程序中默認(rèn)使用 PringStore 這個(gè)類將所有結(jié)果打印出來(lái)。

最近做了一個(gè)工作職位的爬蟲(chóng)，在爬拉鉤的時(shí)候遇到一個(gè)問(wèn)題。需要登錄才能爬取，這個(gè)當(dāng)然配置 cookie 就能解決，但是拉鉤的 cookie 里邊做了防爬蟲(chóng)驗(yàn)證。cookie 里邊有一個(gè)時(shí)間需要?jiǎng)討B(tài)變化。所以就產(chǎn)生了這個(gè)功能。

這個(gè)功能使用起來(lái)如下：

@CookieConfig(cookieGenerator = CookieGeneratorTest.class)

/**
 * Created by zhangyw on 2017/12/19.
 */
public class CookieGeneratorTest implements StringGenerator {

    @Override
    public String get(Task task) {
        String cookie = "v="+ UUID.randomUUID().toString();
        System.out.println(cookie);
        return cookie;
    }
}

在每次發(fā)生 http 請(qǐng)求之前，程序都會(huì)調(diào)用 Generator 的 get 方法。獲取到本次的 cookie 值，并附加到 http 請(qǐng)求頭中。

由于程序中需要的 header 是 map 類型的數(shù)據(jù)，所以 header 生成器如下：

@HttpHeaderConfig(headerGenerator = HeaderGeneratorTest.class)

/**
 * Created by zhangyw on 2017/12/19.
 */
public class HeaderGeneratorTest implements MapGenerator {
    private Map headers = new HashMap();
    @Override
    public Map get(Task task) {
        return headers;
    }
}

以上就是目前所有的生成器，可以看到生成器中傳入了 task 對(duì)象，這里是為了在爬蟲(chóng)應(yīng)對(duì)不同的地址的時(shí)候使用不同的 cookie/header 。

算了還是舉個(gè)栗子吧：

/**
 * Created by zhangyw on 2017/12/19.
 */
public class HeaderGeneratorTest implements MapGenerator {
    private Map headers = new HashMap();
    @Override
    public Map get(Task task) {
        if ("jobs.lagou".equals(task.getGroup())) {
            header.put("key","value");
            return headers;
        } else {
            return null;
        }
    }
}

OK，到此為止，就啰嗦這么多了。

最后，各位大大如果覺(jué)得不討厭的話，來(lái)個(gè) start 唄。

https://github.com/zhangyingwei/cockroach