這一個(gè)節(jié)點(diǎn)以內(nèi)，再繼續(xù)往下挖掘：
content =each.xpath("div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content clearfix"]/text()")
這樣一步步得到想要的內(nèi)容
3.JSON格式
網(wǎng)頁(yè)中很多內(nèi)容使用JSON來(lái)傳輸，我們要把內(nèi)容還原出來(lái)需要使用json模塊
import json
reply_info = json.loads(each.xpath("@data-field")[0].replace(""",""))
4.Python中的多線程
多線程可以很大幅度提高軟件的處理速度，可以充分利用計(jì)算機(jī)性能，不同的核處理不同的任務(wù)，并行執(zhí)行，提高處理速度，使用方法如下：
from multiprocessing.dummy import Pool as ThreadPool pool = ThreadPool(8) results = pool.map(spider,page) pool.close() pool.join()
map 這一小巧精致的函數(shù)是簡(jiǎn)捷實(shí)現(xiàn) Python 程序并行化的關(guān)鍵。map 源于 Lisp 這類函數(shù)式編程語(yǔ)言。它可以通過(guò)一個(gè)序列實(shí)現(xiàn)兩個(gè)函數(shù)之間的映射。上面的這兩行代碼將 page這一序列中的每個(gè)元素作為參數(shù)傳遞到 spyder 方法中，并將所有結(jié)果保存到 results 這一列表中。其結(jié)果大致相當(dāng)于：
results = []
for page in pages:
results.append(spyder(page))
上述代碼中調(diào)用join之前，先調(diào)用close函數(shù)，否則會(huì)出錯(cuò)。執(zhí)行完close后不會(huì)有新的進(jìn)程加入到pool,join函數(shù)等待所有子進(jìn)程結(jié)束。
全部代碼：
#-*-coding:utf8-*-
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import requests
import json
import re
import sys
"""重新運(yùn)行之前請(qǐng)刪除content.txt，因?yàn)槲募僮魇褂米芳臃绞剑瑫?huì)導(dǎo)致內(nèi)容太多。"""
def towrite(contentdict):
#f=open("content.txt","wb")
f.writelines(u"回帖時(shí)間:" + str(contentdict["topic_reply_time"]) + "
")
f.writelines(u"回帖內(nèi)容:" + str(contentdict["topic_reply_content"]) + "
")
f.writelines(u"回帖人:" + contentdict["user_name"] + "
")
#f.close()
def spider(url):
html = requests.get(url)
#print(html.text)
html = re.sub(r"charset=(/w*)", "charset=UTF-8", html.text)
selector = etree.HTML(html)
# print(selector)
#content_field = selector.xpath("http://div[starts-with(@class,"l_post l_post_bright")]")p_content p_content_nameplate
#content_field = selector.xpath("http://*[@id="j_p_postlist"]")
content_field = selector.xpath("http://div[@class="l_post j_l_post l_post_bright "]")
item = {}
for each in content_field:
reply_info = json.loads(each.xpath("@data-field")[0].replace(""",""))
author = reply_info["author"]["user_name"]
# content1 = each.xpath("http://div[@class="d_post_content_main"]")
content = each.xpath("div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content clearfix"]/text()")
reply_time = reply_info["content"]["date"]
print("content:{0}".format(content))
print("Reply_time:{0}".format(reply_time))
print("Author:{0}".format(author))
item["user_name"] = author
item["topic_reply_content"] = content
item["topic_reply_time"] = reply_time
towrite(item)
if __name__ == "__main__":
pool = ThreadPool(8)
f = open("content.txt","a",encoding="UTF-8")
# f = open("content.txt","a")
page = []
for i in range(1,21):
newpage = "http://tieba.baidu.com/p/3522395718?pn=" + str(i)
page.append(newpage)
results = pool.map(spider,page)
pool.close()
pool.join()
f.close()
結(jié)果如下：
回帖時(shí)間:2015-01-11 16:52 回帖內(nèi)容:[" 6和plus糾結(jié)買哪款。還有 買完新機(jī)可以讓他上色嗎"] 回帖人:斗已轉(zhuǎn)0 回帖時(shí)間:2015-01-11 16:53 回帖內(nèi)容:[" 我現(xiàn)在是以貼吧高級(jí)會(huì)員的身份幫你頂貼，請(qǐng)注意你的態(tài)度"] 回帖人:暑假干啥 回帖時(shí)間:2015-01-11 16:57 回帖內(nèi)容:[" 我去"] 回帖人:qw518287200 回帖時(shí)間:2015-01-11 16:57 回帖內(nèi)容:[" 能教我怎么看序列號(hào)或imei號(hào)麼，大神uf618"] 回帖人:花顏誘朕醉
需要注意的是，極客學(xué)院附帶資料的源代碼是無(wú)法使用的，以上說(shuō)到的幾點(diǎn)就是我在調(diào)試過(guò)程中淌過(guò)的坑，要注意使用Chrome對(duì)要抓取的網(wǎng)頁(yè)進(jìn)行細(xì)心分析，修改xpath參數(shù)并不斷試驗(yàn)。
+++++++明日計(jì)劃++++++++++++++++
加入計(jì)時(shí)功能，測(cè)試單線程與多線程的性能差別
嘗試抓取網(wǎng)頁(yè)中的圖片并保存
