摘要：目的獲得去哪兒網(wǎng)評(píng)論信息包括評(píng)論和打分，保存到本地文件。去除無(wú)用的評(píng)論保存到本地文件哪網(wǎng)景區(qū)的的評(píng)論評(píng)分去哪網(wǎng)獲得景點(diǎn)本次共爬取信息條數(shù)據(jù)成果展示外加反省大概萬(wàn)條吧美滋滋等我開心完就回來(lái)就回來(lái)整理出現(xiàn)的問題歡迎各位大佬批評(píng)指正

目的

獲得去哪兒網(wǎng)評(píng)論信息（包括評(píng)論和打分），保存到本地csv文件。

前期準(zhǔn)備工作（踩點(diǎn)）

1、打開網(wǎng)站，在門票搜索框直接輸入“5A”，發(fā)現(xiàn)可以獲得5A景區(qū)列表。

2、按下F12，讓我們看一看，他們是如何組織這些景點(diǎn)信息的

哈哈，可以看到他們把所有的景點(diǎn)信息都放在了一個(gè)json文件里面，也就說我們直接獲取這個(gè)json文件就能直接得到5A景點(diǎn)的列表了。
下面是獲取json的url，參數(shù)一目了然有沒有？！

http://piao.qunar.com/ticket/list.json?keyword=5A®ion=&from=mps_search_suggest&page=2

3、接下來(lái)我們?cè)傺芯恳幌旅總€(gè)景點(diǎn)的詳情頁(yè)

一樣的配方，一樣的味道！每個(gè)景點(diǎn)所有的評(píng)論依然在一個(gè)json文件里面
看到下面url里面的sightId了嗎,經(jīng)過驗(yàn)證這個(gè)就是景點(diǎn)的編號(hào).

http://piao.qunar.com/ticket/detailLight/sightCommentList.json?sightId=3076&index=2&page=2&pageSize=10&tagType=0

現(xiàn)在我們大致已經(jīng)有了思路.第一步,獲得所有5A景點(diǎn)的信息用列表保存[景點(diǎn)名字,景點(diǎn)id],第二部,由景點(diǎn)id可以獲得景點(diǎn)評(píng)論.一切看起來(lái)都是那么順利.

4、等等似乎有什么不對(duì)我們?cè)僮屑?xì)看看

注意到左邊json里面的sightid了嗎?是"1582294258"明顯不是我們剛才獲取評(píng)論時(shí)用到的那個(gè)呀!倒是和地址欄里面的那個(gè)是一樣的.好吧,看來(lái)看來(lái)他們對(duì)每個(gè)景點(diǎn)設(shè)置兩個(gè)id,一個(gè)用于獲取html文件(記為id)另一個(gè)是評(píng)論id(記為rid).看來(lái)需要研究一下怎么把id變?yōu)閞id

好吧,發(fā)現(xiàn)這個(gè)id隱藏在head標(biāo)簽下嘍.

上代碼

采完點(diǎn),我們就可以寫代碼了

import pandas as pd
import requests as req
import time,json

#獲得景點(diǎn)id
def GetId():
    sightlist = []#儲(chǔ)存包含景點(diǎn)列表的json
    for i in range(1,23):#先把所有景點(diǎn)列表的json都下載下來(lái)
        url = "http://piao.qunar.com/ticket/list.json?from=mpl_search_suggest_h&keyword=5a&page=" + str(i) + "&sort="
        response = req.get(url)
        r = json.loads(response.text)
        sightlist.append(r)
        response.close
        #time.sleep(3)
    sight = {}#景點(diǎn)倉(cāng)庫(kù)所有的景點(diǎn)及其對(duì)應(yīng)的id都放在這里
    for jsons in sightlist:#處理每個(gè)json，獲得景點(diǎn)信息
        lists = jsons["data"]["sightList"]
        for each in lists:
            #print(each["sightName"])
            key = each["sightName"]
            sight[key] = each["sightId"]
    
    return sight
#垃圾查找函數(shù)，不會(huì)正則表達(dá)式，真是無(wú)奈
def search(s,e,r):
    start = r.find(s)
    l = len(s)
    end = r.find(e,start+l,start+100)
    rr = r[start+l:end]
    return rr
#獲得評(píng)論id
def Getrid(id):
    url = "http://piao.qunar.com/ticket/detail_" + str(id) + ".html"
    response = req.get(url)
    text = response.text
    rid = search("piao.qunar.com/ticket/detail_",".html",text)#這個(gè)方法是我百度的，有些時(shí)候用起來(lái)還真是方便
    num = search("
全部(",")
",text)
    
    dd = []
    dd.append(rid)
    dd.append(num)
    return dd
#獲得一個(gè)景點(diǎn)的評(píng)論
def Getcom(rid,num,name):
    comments = [["*********************************以下是" + name + "的評(píng)論*********************************",""]]#初始化并給每個(gè)景點(diǎn)的評(píng)論加上表頭
    page = 1200 if int(num) > 1200 else int(num)#按照上級(jí)要求，每個(gè)景點(diǎn)1200條左右評(píng)論就行
    for i in range(1,(page//10)+1):#逐頁(yè)獲取評(píng)論并保存
        url = "http://piao.qunar.com/ticket/detailLight/sightCommentList.json?sightId=" + str(rid) + "&index="+ str(i) + "&page=" + str(i) + "&pageSize=10&tagType=0"
        response = req.get(url)
        r = json.loads(response.text)
        if "commentList" in r["data"].keys():
            for each in r["data"]["commentList"]:
                data = []#【評(píng)論，評(píng)分】
                data.append(each["content"])
                data.append(each["score"])
                if data[0] == "用戶未點(diǎn)評(píng)，系統(tǒng)默認(rèn)好評(píng)。":#去除無(wú)用的評(píng)論
                    continue
                comments.append(data)
                print(data[0])
                print(data[1])
                
    return comments

#保存到本地文件
def save(l):
    
    head = ["哪網(wǎng)5A景區(qū)的的評(píng)論" , "評(píng)分" ]
    df = pd.DataFrame (l , columns = head)
    df.to_csv ("去哪網(wǎng).csv", encoding = "utf-8")

    
if __name__ =="__main__":
    sightid = GetId()#獲得景點(diǎn) id
    comment = []
    for each in sightid:
        print(each)
        print(Getrid(sightid[each])[0])
        print(Getrid(sightid[each])[1])
        
        co = Getcom(Getrid(sightid[each])[0],Getrid(sightid[each])[1],each)
        comment.extend(co)
            
        
    print("本次共爬取信息%d條數(shù)據(jù)"%(len(comment)))
    save(comment)
    

        
               

成果展示外加反省

大概30萬(wàn)條吧,美滋滋.等我開心完就回來(lái),就回來(lái)整理出現(xiàn)的問題.歡迎各位大佬批評(píng)指正.