成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

Python信息采集器使用輕量級關(guān)系型數(shù)據(jù)庫SQLite

loonggg / 1585人閱讀

摘要:,引言自帶一個輕量級的關(guān)系型數(shù)據(jù)庫。作為后端數(shù)據(jù)庫,可以搭配建網(wǎng)站,或者為網(wǎng)絡(luò)爬蟲存儲數(shù)據(jù)。在一些場景下,網(wǎng)絡(luò)爬蟲可以使用存儲采集到的網(wǎng)頁信息。爬蟲打數(shù)機將在版本支持,不妨想想一下網(wǎng)絡(luò)爬蟲與打數(shù)機連接在一起會怎樣。

1,引言

Python自帶一個輕量級的關(guān)系型數(shù)據(jù)庫SQLite。這一數(shù)據(jù)庫使用SQL語言。SQLite作為后端數(shù)據(jù)庫,可以搭配Python建網(wǎng)站,或者為python網(wǎng)絡(luò)爬蟲存儲數(shù)據(jù)。SQLite還在其它領(lǐng)域有廣泛的應(yīng)用,比如HTML5和移動端。

Python標準庫中的sqlite3提供該數(shù)據(jù)庫的接口。

2,Python對SQLite進行操作示例

以下的代碼將創(chuàng)建一個簡單的關(guān)系型數(shù)據(jù)庫,為一個書店存儲書的分類和價格。數(shù)據(jù)庫中包含兩個表:category用于記錄分類,book用于記錄某本書的信息。一本書歸屬于某一個分類,因此book有一個外鍵(foreign key),指向catogory表的主鍵id。

2.1 創(chuàng)建數(shù)據(jù)庫

首先,創(chuàng)建數(shù)據(jù)庫,以及數(shù)據(jù)庫中的表。在使用connect()連接數(shù)據(jù)庫后,就可以通過定位指針cursor,來執(zhí)行SQL命令:

import sqlite3

# test.db is a file in the working directory.
conn = sqlite3.connect("test.db")

c = conn.cursor()

# create tables
c.execute("""CREATE TABLE category
      (id int primary key, sort int, name text)""")
c.execute("""CREATE TABLE book
      (id int primary key,
       sort int,
       name text,
       price real,
       category int,
       FOREIGN KEY (category) REFERENCES category(id))""")

# save the changes
conn.commit()

# close the connection with the database
conn.close()

SQLite的數(shù)據(jù)庫是一個磁盤上的文件,如上面的test.db,因此整個數(shù)據(jù)庫可以方便的移動或復(fù)制。test.db一開始不存在,所以SQLite將自動創(chuàng)建一個新文件。

利用execute()命令,執(zhí)行了兩個SQL命令,創(chuàng)建數(shù)據(jù)庫中的兩個表。創(chuàng)建完成后,保存并斷開數(shù)據(jù)庫連接。

2.2 插入數(shù)據(jù)

上面創(chuàng)建了數(shù)據(jù)庫和表,確立了數(shù)據(jù)庫的抽象結(jié)構(gòu)。下面將在同一數(shù)據(jù)庫中插入數(shù)據(jù):

import sqlite3

conn = sqlite3.connect("test.db")
c  = conn.cursor()

books = [(1, 1, "Cook Recipe", 3.12, 1),
            (2, 3, "Python Intro", 17.5, 2),
            (3, 2, "OS Intro", 13.6, 2),
           ]

# execute "INSERT"
c.execute("INSERT INTO category VALUES (1, 1, "kitchen")")

# using the placeholder
c.execute("INSERT INTO category VALUES (?, ?, ?)", [(2, 2, "computer")])

# execute multiple commands
c.executemany("INSERT INTO book VALUES (?, ?, ?, ?, ?)", books)

conn.commit()
conn.close()

插入數(shù)據(jù)同樣可以使用execute()來執(zhí)行完整的SQL語句。SQL語句中的參數(shù),使用"?"作為替代符號,并在后面的參數(shù)中給出具體值。這里不能用Python的格式化字符串,如"%s",因為這一用法容易受到SQL注入攻擊。

也可以用executemany()的方法來執(zhí)行多次插入,增加多個記錄。每個記錄是表中的一個元素,如上面的books表中的元素。

2.3 查詢

在執(zhí)行查詢語句后,Python將返回一個循環(huán)器,包含有查詢獲得的多個記錄。循環(huán)讀取,也可以使用sqlite3提供的fetchone()和fetchall()方法讀取記錄:

import sqlite3

conn = sqlite3.connect("test.db")
c = conn.cursor()

# retrieve one record
c.execute("SELECT name FROM category ORDER BY sort")
print(c.fetchone())
print(c.fetchone())

# retrieve all records as a list
c.execute("SELECT * FROM book WHERE book.category=1")
print(c.fetchall())

# iterate through the records
for row in c.execute("SELECT name, price FROM book ORDER BY sort"):
    print(row)
2.4 更新與刪除

可以更新某個記錄,或者刪除記錄:

conn = sqlite3.connect("test.db")
c = conn.cursor()

c.execute("UPDATE book SET price=? WHERE id=?",(1000, 1))
c.execute("DELETE FROM book WHERE id=2")

conn.commit()
conn.close()

也可以直接刪除整張表:

c.execute("DROP TABLE book")

如果刪除test.db,那么整個數(shù)據(jù)庫會被刪除。

3,總結(jié)

sqlite3是一個SQLite的接口。想要熟練的使用SQLite數(shù)據(jù)庫,需要學(xué)習(xí)關(guān)系型數(shù)據(jù)庫的知識。在一些場景下,Python網(wǎng)絡(luò)爬蟲可以使用SQLite存儲采集到的網(wǎng)頁信息。GooSeeker爬蟲DS打數(shù)機將在7.x版本支持SQLite,不妨想想一下Python網(wǎng)絡(luò)爬蟲與DS打數(shù)機連接在一起會怎樣。

4,文檔修改歷史

2016-07-07:V1.0,首次發(fā)布

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://m.hztianpu.com/yun/38037.html

相關(guān)文章

  • Python爬蟲建站入門手記——從零開始建立采集站點(三:采集入庫)

    摘要:進入正題第三部分,采集入庫。內(nèi)容如下加上這個可以記住問題在的位置,方便以后更新或者其他操作都很直白,關(guān)于各個可以看看的文檔。代碼如下添加方法采集當前分頁正在抓取分頁這個地方寫得很笨,之前該在加上這個屬性。 上回,我已經(jīng)大概把爬蟲寫出來了。 我寫了一個內(nèi)容爬蟲,一個爬取tag里面內(nèi)容鏈接的爬蟲 其實還差一個,就是收集一共有哪些tag的爬蟲。但是這里先不說這個問題,因為我上次忘了 這次又不...

    amuqiao 評論0 收藏0
  • 一步一步教你如何搭建自己的視頻聚合站

    摘要:不過因為各個平臺互相挖人的關(guān)系,導(dǎo)致關(guān)注的一些主播分散到了各個直播平臺,來回切換有點麻煩,所以萌生了做一個視頻聚合站的想法。后續(xù)我們會對這三個部分的功能做逐一展開說明。正則處理要求比較高,但是幾乎能應(yīng)對所有的情況,屬于大殺器。 前言 作為一個爐石傳說玩家,經(jīng)常有事沒事開著直播網(wǎng)站看看大神們的精彩表演。不過因為各個平臺互相挖人的關(guān)系,導(dǎo)致關(guān)注的一些主播分散到了各個直播平臺,來回切換有點麻...

    justjavac 評論0 收藏0
  • ORM-像對象一樣對待數(shù)據(jù)

    摘要:顧名思義,就是將關(guān)系型數(shù)據(jù)庫與中的對象關(guān)聯(lián)起來,提供了一種操作數(shù)據(jù)的簡便方式,相當于對數(shù)據(jù)庫加了一層更友好的接口。新增數(shù)據(jù)對象方法方法直接創(chuàng)建數(shù)據(jù)對象,需要調(diào)用方法保存到數(shù)據(jù)庫中。 咱們編程教室有不少同學(xué),學(xué)完了基礎(chǔ)課程,掌握了一定的編程能力,開始做項目了。然后很可能遇到一個問題:管理數(shù)據(jù)。課程里有講過用文件保存數(shù)據(jù),還有 pickle 、 csv 等模塊輔助。但對于稍微復(fù)雜一點的數(shù)據(jù)...

    U2FsdGVkX1x 評論0 收藏0

發(fā)表評論

0條評論

閱讀需要支付1元查看
<