資訊專欄INFORMATION COLUMN
PostgroSQL提供了許多插件，不同的插件實(shí)現(xiàn)了不同的功能，而這些功能能夠輔助我們的日常運(yùn)維，例如表膨脹插件pg_squeeze，實(shí)現(xiàn)了鎖表時(shí)間短而且能回收空間的功能。 pg_bulkload插件是一種用于PostgreSQL的高速數(shù)據(jù)加載工具，可以將大量數(shù)據(jù)快速加載到數(shù)據(jù)庫(kù)。
pg_bulkload主要包括兩個(gè)模塊：reader和writer。reader負(fù)責(zé)讀取文件、解析tuple，writer負(fù)責(zé)把解析出的tuple寫入輸出源中。早期版本中，功能很簡(jiǎn)單，只是用來加載數(shù)據(jù)，在3.1版本增加了數(shù)據(jù)過濾的功能。其架構(gòu)如下圖：
下載pg_blukload包，下載地址：
https://github.com/ossc-db/pg_bulkload/tree/VERSION3_1_16
安裝pg_blukload插件
建測(cè)試表tb_a1和測(cè)試文件tb_a1_output.txt
創(chuàng)建測(cè)試表tb_a1
測(cè)試文件tb_a1_output.txt
數(shù)據(jù)導(dǎo)入之前應(yīng)該先清理表數(shù)據(jù)，再使用如下命令：
pg_bulkload -i /app/telepg/tb_a1_output.txt -O lh.tb_a1 -l/app/telepg/tbl_a1_output.log -P /app/telepg/tbl_a1_bad.txt -o "DELIMITER=|" -d lh -U root -p 18802
先確定環(huán)境，再將tb_a1_output.txt文件里的數(shù)據(jù)快速導(dǎo)入tb_a1中。
查看日志，進(jìn)行校驗(yàn)
進(jìn)入數(shù)據(jù)庫(kù)再次核查導(dǎo)入數(shù)據(jù)是否一致
創(chuàng)建測(cè)試表tb_a2
新建控制文件tb_a2.ctl
確認(rèn)環(huán)境變量
使用控制文件進(jìn)行加載操作
進(jìn)入數(shù)據(jù)庫(kù)再次核查導(dǎo)入數(shù)據(jù)是否一致
pg_bulkload相較于copy而言pg_bulkload最大的優(yōu)勢(shì)就是速度，其優(yōu)勢(shì)可以讓我們跳過sharedbuffer,walbuffer，直接寫文件。pg_bulkload的direct模式就是利用這種思路來實(shí)現(xiàn)的，它還包含了數(shù)據(jù)恢復(fù)功能，即導(dǎo)入失敗的話，需要恢復(fù)。不足的是，表字段的順序要跟導(dǎo)入的文件報(bào)錯(cuò)一致。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/130049.html
摘要：在最近的一次人工智能會(huì)議上，表示自己對(duì)于反向傳播非常懷疑，并提出應(yīng)該拋棄它并重新開始。在人工智能多年的發(fā)展過程中，反向傳播已經(jīng)成為了深度學(xué)習(xí)不可或缺的一部分。最后，我們會(huì)將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡(luò)的反向傳播算法。 現(xiàn)在的深度學(xué)習(xí)發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們?cè)O(shè)計(jì)的模型容易被對(duì)抗樣本欺騙，同時(shí)又需要大量的訓(xùn)練數(shù)據(jù)——在無監(jiān)督學(xué)習(xí)上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
摘要：偏導(dǎo)數(shù)函數(shù)可以用于片元著色器中的任何變量。偏導(dǎo)數(shù)和用于計(jì)算紋理的一些列的子圖，每個(gè)子圖都比前一個(gè)的尺寸縮小了倍。在紋理取樣過程中使用偏導(dǎo)數(shù)來選擇最佳的級(jí)數(shù)。 本文適合對(duì)webgl、計(jì)算機(jī)圖形學(xué)、前端可視化感興趣的讀者。 偏導(dǎo)數(shù)函數(shù)（HLSL中的ddx和ddy，GLSL中的dFdx和dFdy）是片元著色器中的一個(gè)用于計(jì)算任何變量基于屏幕空間坐標(biāo)的變化率的指令（函數(shù)）。在WebGL中，使用...
摘要：修正線性單元，是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。顧名思義，值激活函數(shù)返回輸入的值。如同余弦函數(shù)，或簡(jiǎn)單正弦函數(shù)激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了周期性。此外，激活函數(shù)為零點(diǎn)對(duì)稱的奇函數(shù)。 在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)決定來自給定輸入集的節(jié)點(diǎn)的輸出，其中非線性激活函數(shù)允許網(wǎng)絡(luò)復(fù)制復(fù)雜的非線性行為。正如絕大多數(shù)神經(jīng)網(wǎng)絡(luò)借助某種形式的梯度下降進(jìn)行優(yōu)化，激活函數(shù)需要是可微分（或者至少是幾乎完全可微分的）。此外，復(fù)雜的激...
閱讀 1459·2023-01-11 13:20
閱讀 1814·2023-01-11 13:20
閱讀 1263·2023-01-11 13:20
閱讀 2006·2023-01-11 13:20
閱讀 4226·2023-01-11 13:20
閱讀 2882·2023-01-11 13:20
閱讀 1489·2023-01-11 13:20
閱讀 3809·2023-01-11 13:20
