Nodejs爬蟲(chóng)--抓取豆瓣電影網(wǎng)頁(yè)數(shù)據(jù)（下）

techstay 發(fā)布于2019-06-26 17:10 / 2450人閱讀

摘要：接著上篇爬蟲(chóng)抓取豆瓣電影網(wǎng)頁(yè)數(shù)據(jù)上本篇主要描述將上次抓取的數(shù)據(jù)存入數(shù)據(jù)庫(kù)前提百度或谷歌的安裝教程，安裝本地并成功運(yùn)行推薦一款數(shù)據(jù)庫(kù)可視化管理工具。

接著上篇 Nodejs爬蟲(chóng)--抓取豆瓣電影網(wǎng)頁(yè)數(shù)據(jù)（上）
  本篇主要描述將上次抓取的數(shù)據(jù)存入mongodb數(shù)據(jù)庫(kù)

前提：百度或谷歌mongodb的安裝教程，安裝本地并成功運(yùn)行
推薦一款mongodb數(shù)據(jù)庫(kù)可視化管理工具：Robomongo?？梢约尤?64591039獲取安裝包或自行尋找資源

首先用npm安裝第三方數(shù)據(jù)庫(kù)操作包：mongoose.

關(guān)于mongoose詳情請(qǐng)查看官方文檔

npm install --save-dev mongoose

引入mongoose包開(kāi)始對(duì)mongodb進(jìn)行管理

當(dāng)前目錄下新建一個(gè)mongo.js文件方便管理，在該文件中引入相關(guān)包：

let mongoose = require("mongoose"),
    assert = require("assert");

獲取表構(gòu)造器Schema并映射mongodb相應(yīng)的collection

let Schema = mongoose.Schema;

let filmSchema = new Schema({       //自定義相應(yīng)的表數(shù)據(jù)字段
        title: String,
        type: String,
        directories: String,
        scriptwriter: String,
        actors: String
    });
//映射collection并生成model對(duì)象用于管理數(shù)據(jù)表的增刪改查
//默認(rèn)是映射到名為films的collection
//若自定義表明則：let filmSchema = new Schema({..}, { collection: "data" });  "data"即為自定義名稱
let Film = mongoose.model("Film", filmSchema);

連接mongodb數(shù)據(jù)庫(kù)并exports Film對(duì)象

let db = mongoose.connect("mongodb://127.0.0.1:27017/spider");
db.connection.on("error", (err) => {
    console.log(`數(shù)據(jù)庫(kù)連接失?。?{err}`);
});
db.connection.on("open", () => {
    console.log("數(shù)據(jù)庫(kù)連接成功");
});

module.exports = {Film: Film};

在spider.js中引入Film對(duì)象并添加入庫(kù)操作代碼

let mongo = require("./mongo");
//在請(qǐng)求網(wǎng)頁(yè)的end函數(shù)中添加入庫(kù)操作
xxxx.end((err, res) => {
    var $ = cheerio.load(res.text);     //用cheerio獲取整個(gè)頁(yè)面DOM對(duì)象
    var _data = {title:"", type: "", directories: "", scriptwriter: "", actors: ""};
    _data.title = $("#content h1 span").text();
    _data.directories = $("#info .attrs").eq(0).text();
    _data.scriptwriter = $("#info .attrs").eq(1).text();
    _data.actors = $("#info .attrs").eq(2).text();
    $("span[property="v:genre"]").each(function (index) {
        _data.type += ($(this).text() + (index == $("span[property="v:genre"]").length - 1 ? "" : "、"));
    });
    console.log(_data);
    mongo.Film.create(_data, (err, doc) => {
                        assert.equal(err, null);
                        console.log(doc);
                    });
});

運(yùn)行spider.js，并查看數(shù)據(jù)庫(kù)中的數(shù)據(jù)

node spider.js
//用上述提到的可視化工具查看數(shù)據(jù)庫(kù)是否成功有數(shù)據(jù)入庫(kù)

云服務(wù)器 GPU云服務(wù)器網(wǎng)頁(yè)爬蟲(chóng)抓取數(shù)據(jù) 爬蟲(chóng)抓取網(wǎng)頁(yè)數(shù)據(jù) js爬蟲(chóng)抓取網(wǎng)頁(yè)數(shù)據(jù)過(guò)濾 nodejs抓取網(wǎng)頁(yè)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/18947.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

techstay

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

2021阿里云雙11優(yōu)惠活動(dòng)力度盤點(diǎn)（依舊新人福利多不建議選擇限CPU云服務(wù)器）

閱讀 3091·2021-10-27 14:16
第三章基本數(shù)據(jù)類型-time庫(kù)認(rèn)識(shí)

閱讀 776·2021-10-13 09:39
2021年幾大海外云服務(wù)器推薦：Hostwinds、BlueHost、RAKsmart、Vultr等

閱讀 3917·2021-09-29 09:46
推薦幾個(gè)前端開(kāi)發(fā)插件

閱讀 2177·2019-08-30 15:54
ios二維碼識(shí)別偏離

閱讀 2672·2019-08-30 15:52
你不知道WebSocket嗎？

閱讀 3090·2019-08-30 15:44
html5與css3階段復(fù)習(xí)題

閱讀 1192·2019-08-30 15:44
css flexbox 布局練習(xí)

閱讀 570·2019-08-30 10:51

成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲中文字幕日韩无码

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

Nodejs爬蟲(chóng)--抓取豆瓣電影網(wǎng)頁(yè)數(shù)據(jù)（下）

相關(guān)文章