成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專欄INFORMATION COLUMN

建表（Create Table） 數(shù)據(jù)倉庫 UDW Doris

ernest.wang / 2824人閱讀

摘要：數(shù)據(jù)排序使用的列數(shù)，取最前面幾列，不能超過總的列數(shù)。示例創(chuàng)建一個(gè)動(dòng)態(tài)分區(qū)表。創(chuàng)建外部表創(chuàng)建外部表在創(chuàng)建外部表的目的是可以通過訪問外部數(shù)據(jù)庫。創(chuàng)建表時(shí)，關(guān)于和的數(shù)量和數(shù)據(jù)量的建議。

建表（Create Table）

創(chuàng)建表

語法：

CREATE TABLE [IF NOT EXISTS] [database.]table
(
    column_definition_list,
    [index_definition_list]
)
[engine_type]
[keys_type]
[table_comment]
[partition_info]
distribution_info
[rollup_list]
[properties]
[extra_properties]

參數(shù)說明：

參數(shù)說明 database數(shù)據(jù)庫的名稱。column_definition_list列定義列表。column_definition列定義。column_type列類型。云數(shù)據(jù)倉庫UDoris支持的數(shù)據(jù)類型， 請(qǐng)參見數(shù)據(jù)類型。 aggr_type 聚合類型。云數(shù)據(jù)庫UDoris支持的聚合類型，請(qǐng)參見 聚合類型。 index_definition索引定義。engine_type表引擎類型，本文檔中類型皆為OLAP。key_type數(shù)據(jù)模型。 DUPLICATE KEY（默認(rèn)）：其后指定的列為排序列。 AGGREGATE KEY：其后指定的列為維度列。 UNIQUE KEY：其后指定的列為主鍵列。 table_comment 表注釋。partition_desc分區(qū)信息。distribution_desc定義數(shù)據(jù)分桶方式。rollup_list建表的同時(shí)可以創(chuàng)建多個(gè)物化視圖。properties設(shè)置表屬性。目前支持以下屬性。 replication_num：副本數(shù)。默認(rèn)副本數(shù)為3。 replication_allocation：根據(jù)Tag設(shè)置副本分布情況。該屬性可以完全覆蓋 replication_num 屬性的功能。 storage_medium/storage_cooldown_time：數(shù)據(jù)存儲(chǔ)介質(zhì)。 colocate_with：當(dāng)需要使用Colocation Join功能時(shí)，使用這個(gè)參數(shù)設(shè)置 Colocation Group。 bloom_filter_columns：用戶指定需要添加Bloom Filter索引的列名稱列表。各個(gè)列的 Bloom Filter 索引是獨(dú)立的，并不是組合索引。 in_memory：Doris 是沒有內(nèi)存表的概念。 function_column.sequence_type：當(dāng)使用UNIQUE KEY模型時(shí)，可以指定一個(gè)sequence列，當(dāng)KEY列相同時(shí)，將按照sequence列進(jìn)行REPLACE(較大值替換較小值，否則無法替換。 dynamic_partition.enable：用于指定表級(jí)別的動(dòng)態(tài)分區(qū)功能是否開啟。默認(rèn)為 true。 dynamic_partition.time_unit：用于指定動(dòng)態(tài)添加分區(qū)的時(shí)間單位，可選擇為DAY（天），WEEK(周)，MONTH（月），HOUR（時(shí)）。 dynamic_partition.start：用于指定向前刪除多少個(gè)分區(qū)。值必須小于0。默認(rèn)為 Integer.MIN_VALUE。 dynamic_partition.end：用于指定提前創(chuàng)建的分區(qū)數(shù)量。值必須大于0。 dynamic_partition.prefix：用于指定創(chuàng)建的分區(qū)名前綴，例如分區(qū)名前綴為p，則自動(dòng)創(chuàng)建分區(qū)名為p20200108。 dynamic_partition.buckets: 用于指定自動(dòng)創(chuàng)建的分區(qū)分桶數(shù)量。 dynamic_partition.create_history_partition: 是否創(chuàng)建歷史分區(qū)。 dynamic_partition.history_partition_num: 指定創(chuàng)建歷史分區(qū)的數(shù)量。 dynamic_partition.reserved_history_periods: 用于指定保留的歷史分區(qū)的時(shí)間段。 data_sort.sort_type: 數(shù)據(jù)排序使用的方法，目前支持兩種：lexical/z-order，默認(rèn)是lexical。 data_sort.col_num: 數(shù)據(jù)排序使用的列數(shù)，取最前面幾列，不能超過總的key列數(shù)。

示例：創(chuàng)建一個(gè)明細(xì)模型的表，分區(qū)，指定排序列，設(shè)置副本數(shù)為3

CREATE TABLE example_db.table_hash
(
    k1 DATE,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    k3 CHAR(10) COMMENT "string column",
    k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
)
DUPLICATE KEY(k1, k2)
COMMENT "my first table"
PARTITION BY RANGE(k1)
(
    PARTITION p1 VALUES LESS THAN ("2020-02-01"),
    PARTITION p1 VALUES LESS THAN ("2020-03-01"),
    PARTITION p1 VALUES LESS THAN ("2020-04-01")
)
DISTRIBUTED BY HASH(k1) BUCKETS 32
PROPERTIES (
    "replication_num" = "3"
);

示例：創(chuàng)建一個(gè)聚合模型表，使用固定范圍分區(qū)描述

CREATE TABLE table_range
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048) REPLACE,
    v2 INT SUM DEFAULT "1"
)
AGGREGATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1, k2, k3)
(
    PARTITION p1 VALUES [("2014-01-01", "10", "200"), ("2014-01-01", "20", "300")),
    PARTITION p2 VALUES [("2014-06-01", "100", "200"), ("2014-07-01", "100", "300"))
)
DISTRIBUTED BY HASH(k2) BUCKETS 32

示例：創(chuàng)建兩張同一個(gè) Colocation Group 自維護(hù)的表。

CREATE TABLE t1 (
    id int(11) COMMENT "",
    value varchar(8) COMMENT ""
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
    "colocate_with" = "group1"
);
CREATE TABLE t2 (
    id int(11) COMMENT "",
    value1 varchar(8) COMMENT "",
    value2 varchar(8) COMMENT ""
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10
PROPERTIES (
    "colocate_with" = "group1"
);

示例：創(chuàng)建一個(gè)動(dòng)態(tài)分區(qū)表。

CREATE TABLE example_db.dynamic_partition
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1) ()
DISTRIBUTED BY HASH(k2) BUCKETS 32
PROPERTIES(
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-3",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "32" 
);
創(chuàng)建外部表在Doris創(chuàng)建外部表的目的是可以通過Doris訪問外部數(shù)據(jù)庫。而Doris本身并不維護(hù)、存儲(chǔ)任何外部數(shù)據(jù)。

主要通過 ENGINE 類型來標(biāo)識(shí)是哪種類型的外部表，目前可選 ODBC、HIVE、ICEBERG 、HUDI。

示例：通過ODBC_Resource來創(chuàng)建ODBC外表。

CREATE EXTERNAL RESOURCE `oracle_odbc`
PROPERTIES (
"type" = "odbc_catalog",
"host" = "192.168.0.1",
"port" = "8086",
"user" = "test",
"password" = "test",
"database" = "test",
"odbc_type" = "oracle",
"driver" = "Oracle 19 ODBC driver"
);
CREATE EXTERNAL TABLE `baseall_oracle` (
  `k1` decimal(9, 3) NOT NULL COMMENT "",
  `k2` char(10) NOT NULL COMMENT "",
  `k3` datetime NOT NULL COMMENT "",
  `k5` varchar(20) NOT NULL COMMENT "",
  `k6` double NOT NULL COMMENT ""
) ENGINE=ODBC
COMMENT "ODBC"
PROPERTIES (
"odbc_catalog_resource" = "oracle_odbc",
"database" = "test",
"table" = "baseall"
);

示例：創(chuàng)建一個(gè)hive外部表。

CREATE TABLE example_db.table_hive
(
  k1 TINYINT,
  k2 VARCHAR(50),
  v INT
)
ENGINE=hive
PROPERTIES
(
  "database" = "hive_db_name",
  "table" = "hive_table_name",
  "hive.metastore.uris" = "thrift://127.0.0.1:9083"
);

示例：創(chuàng)建一個(gè) Iceberg 外表。

CREATE TABLE example_db.t_iceberg 
ENGINE=ICEBERG
PROPERTIES (
    "iceberg.database" = "iceberg_db",
    "iceberg.table" = "iceberg_table",
    "iceberg.hive.metastore.uris"  =  "thrift://127.0.0.1:9083",
    "iceberg.catalog.type"  =  "HIVE_CATALOG"
);

示例：創(chuàng)建一個(gè) Hudi 外表。

CREATE TABLE example_db.t_hudi
ENGINE=HUDI
PROPERTIES (
"hudi.database" = "hudi_db_in_hive_metastore",
"hudi.table" = "hudi_table_in_hive_metastore",
"hudi.hive.metastore.uris" = "thrift://127.0.0.1:9083"
);

創(chuàng)建表時(shí)，關(guān)于 Partition 和 Bucket 的數(shù)量和數(shù)據(jù)量的建議。

一個(gè)表的 Tablet 總數(shù)量等于 (Partition num * Bucket num)。一個(gè)表的 Tablet 數(shù)量，在不考慮擴(kuò)容的情況下，推薦略多于整個(gè)集群的磁盤數(shù)量。單個(gè) Tablet 的數(shù)據(jù)量理論上沒有上下界，但建議在 1G - 10G 的范圍內(nèi)。如果單個(gè) Tablet 數(shù)據(jù)量過小，則數(shù)據(jù)的聚合效果不佳，且元數(shù)據(jù)管理壓力大。如果數(shù)據(jù)量過大，則不利于副本的遷移、補(bǔ)齊，且會(huì)增加 Schema Change 或者 Rollup 操作失敗重試的代價(jià)（這些操作失敗重試的粒度是 Tablet）。當(dāng) Tablet 的數(shù)據(jù)量原則和數(shù)量原則沖突時(shí)，建議優(yōu)先考慮數(shù)據(jù)量原則。在建表時(shí)，每個(gè)分區(qū)的 Bucket 數(shù)量統(tǒng)一指定。但是在動(dòng)態(tài)增加分區(qū)時(shí)（ADD PARTITION），可以多帶帶指定新分區(qū)的 Bucket 數(shù)量?？梢岳眠@個(gè)功能方便的應(yīng)對(duì)數(shù)據(jù)縮小或膨脹。一個(gè) Partition 的 Bucket 數(shù)量一旦指定，不可更改。所以在確定 Bucket 數(shù)量時(shí)，需要預(yù)先考慮集群擴(kuò)容的情況。比如當(dāng)前只有 3 臺(tái) host，每臺(tái) host 有 1 塊盤。如果 Bucket 的數(shù)量只設(shè)置為 3 或更小，那么后期即使再增加機(jī)器，也不能提高并發(fā)度。舉一些例子：假設(shè)在有10臺(tái)BE，每臺(tái)BE一塊磁盤的情況下。如果一個(gè)表總大小為 500MB，則可以考慮4-8個(gè)分片。5GB：8-16個(gè)分片。50GB：32個(gè)分片。500GB：建議分區(qū)，每個(gè)分區(qū)大小在 50GB 左右，每個(gè)分區(qū)16-32個(gè)分片。5TB：建議分區(qū)，每個(gè)分區(qū)大小在 50GB 左右，每個(gè)分區(qū)16-32個(gè)分片

官網(wǎng)參考文檔

創(chuàng)建表的更多信息，請(qǐng)參見CREATE TABLE。創(chuàng)建外部表，請(qǐng)參見CREATE-EXTERNAL-TABLE。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/126878.html

相關(guān)文章

  • 概覽 數(shù)據(jù)倉庫 UDW Doris

    摘要：概覽概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉庫產(chǎn)品優(yōu)勢(shì)應(yīng)用場景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)節(jié)點(diǎn)擴(kuò)容重啟實(shí)例重置管理員密碼刪除集群連接集群數(shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入通過導(dǎo)入開發(fā)指南數(shù)據(jù)類型語法創(chuàng)建庫創(chuàng)建表創(chuàng)建視圖插入數(shù) 概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉庫UDoris產(chǎn)品優(yōu)勢(shì)應(yīng)用場景基本概念使用限制快速上手操作指南管理集群Backend配置升降級(jí)Frontend節(jié)點(diǎn)擴(kuò)...

    ernest.wang 評(píng)論0 收藏1705

  • 重啟集群 數(shù)據(jù)倉庫 UDW Doris

    摘要：重啟集群重啟集群重啟集群當(dāng)您需要重啟集群時(shí)，登錄賬號(hào)進(jìn)入到用戶控制臺(tái)，在全部產(chǎn)品下搜索或者數(shù)據(jù)倉庫下選擇數(shù)據(jù)倉庫，進(jìn)入到數(shù)據(jù)倉庫控制臺(tái)下，選擇操作重啟注意重啟集群為高危操作，集群將處于重啟中持續(xù)數(shù)秒，建議無必要時(shí)不要隨意重啟實(shí)例，這將會(huì) 重啟集群當(dāng)您需要重啟集群時(shí)，登錄UCloud賬號(hào)進(jìn)入到用戶控制臺(tái)，在全部產(chǎn)品下搜索或者數(shù)據(jù)倉庫下選擇數(shù)據(jù)倉庫 UDW Doris，進(jìn)入到數(shù)據(jù)倉庫UDoris...

    ernest.wang 評(píng)論0 收藏2903

  • 產(chǎn)品購買與使用 數(shù)據(jù)倉庫 UDW Doris

    摘要：如何連接云數(shù)據(jù)倉庫如何連接云數(shù)據(jù)倉庫如何連接云數(shù)據(jù)倉庫為保證安全，云數(shù)據(jù)倉庫僅提供內(nèi)網(wǎng)網(wǎng)絡(luò)，您連接集群時(shí)可以配合同一地域的云主機(jī)或者網(wǎng)絡(luò)產(chǎn)品使用。 產(chǎn)品購買與使用本篇目錄為什么只提供一種云盤類型？配置升降級(jí)對(duì)集群有什么影響？配置升級(jí)有什么建議？如何連接云數(shù)據(jù)倉庫UDoris？為什么只提供一種云盤類型？Doris的存儲(chǔ)特性對(duì)磁盤吞吐量要求很高，為保證Doris的性能優(yōu)勢(shì)， 因此僅提供RSSD云...

    ernest.wang 評(píng)論0 收藏1167

  • 聚合函數(shù) 數(shù)據(jù)倉庫 UDW Doris

    摘要：聚合函數(shù)函數(shù)名稱描述語法統(tǒng)計(jì)行數(shù)或者非值個(gè)數(shù)求最小值求最大值統(tǒng)計(jì)行數(shù)或者非值個(gè)數(shù)去重計(jì)算輸入的并集，返回新的計(jì)算輸入的并集，返回其基數(shù)計(jì)算和類型的列中不同值的個(gè)數(shù)，返回值和相同非精確快速去重列的類型不能是或者且表為模型聚合函數(shù)函數(shù)名稱描述語法 sum統(tǒng)計(jì)行數(shù)或者非NULL值個(gè)數(shù)sum(expr)min求最小值min(column)max求最大值max(column)count統(tǒng)計(jì)行數(shù)或...

    ernest.wang 評(píng)論0 收藏146

  • 概覽 數(shù)據(jù)倉庫 UDW Clickhouse

    摘要：概覽概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉庫產(chǎn)品優(yōu)勢(shì)應(yīng)用場景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)重啟實(shí)例重置管理員密碼刪除集群連接集群數(shù)據(jù)同步本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入間數(shù)據(jù)導(dǎo)入開發(fā)指南數(shù)據(jù)類型語法創(chuàng)建庫創(chuàng)建表創(chuàng)建視圖插入 概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉庫 UClickHouse產(chǎn)品優(yōu)勢(shì)應(yīng)用場景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)重啟實(shí)例重置管理員密碼刪...

    ernest.wang 評(píng)論0 收藏1076

發(fā)表評(píng)論

0條評(píng)論

閱讀需要支付1元查看
<