梧桐数据库表格式详细介绍

一、说明

梧桐数据库是一款分布式数据库，它支持多种存储格式，包括ROW、ORC、Hudi和MagmaAP。这些存储格式中，ROW是按行存储的格式，而ORC、Hudi和MagmaAP则是按行列存储的格式。在创建表时，用户可以根据需求选择不同的存储格式，例如创建一个默认的ORC表或显式指定为ROW存储格式的表。此外，梧桐数据库还支持创建S3内表，并且提供了基于Hash的分布和Random分布两种数据分布方式。MagmaAP格式的表在创建时默认使用Hash分布，并且支持索引。

二、每种表格式的区别和创建方式

1.ROW格式

这是一种按行存储的格式，适合于需要频繁进行行级更新或删除操作的场景。ROW格式的表不支持索引，但在梧桐数据库中，它支持存储压缩，如SNAPPY和ZLIB，以优化存储空间的使用。

创建row格式的表

CREATE TABLE rank2 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = row);

创建snappy压缩格式的row表

CREATE TABLE rank3 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = row, compresstype = snappy);

2.ORC格式

是一种列式存储格式，它在存储效率和查询性能之间提供了良好的平衡。ORC格式支持多种压缩算法，如LZ4、SNAPPY、ZSTD和ZLIB，适用于OLAP（在线分析处理）场景，可以显著提高数据扫描和查询的速度。

默认创建orc

CREATE TABLE rank1 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

);

指定创建orc表

CREATE TABLE rank4 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = orc);

创建带压缩的orc表

CREATE TABLE rank5 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = orc, compresstype = lz4);

3.Hudi格式

Apache Hudi是一种支持插入和更新操作的存储格式，它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi格式的表适用于需要高吞吐量数据摄入和更新的场景，同时支持数据的快速查询。

创建hudi表

CREATE TABLE rank6 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = horc, type = mor);

创建带压缩的hudi表

CREATE TABLE rank7 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);

4.MagmaAP格式

这是一种梧桐数据库特有的存储格式，它支持行存储和列存储的混合模式，并且内部自动实现了数据压缩。MagmaAP格式的表支持主键索引，适合于需要高并发写入和复杂查询的场景。

创建带压缩的magma表

CREATE TABLE rank8 (

    id int,

    rank int,

    year smallint,

    gender char(1),

    count int

) FORMAT 'magmaap';

注：在表的存储模型方面，WuTongDB提供了丰富的选项，例如可以创建snappy压缩的ROW表或不压缩的ORC表。同时，用户还可以创建带有primary key的MagmaAP表，这种表内部自动实现了压缩。WuTongDB的表存储模型支持多种特性，如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE操作以及是否支持索引等。

三、表格式区别对比

特性    ROW    ORC    Hudi    MAGMAAP

行/列存储    行    行列混存    行列混存    行列混存

存储格式    自定义存储格式    兼容标准 ORC 格式    兼容 Apache Hudi 表格式    自定义存储格式

是否支持新执行器    不支持    支持    支持    支持

压缩    支持snappy , zlib    支持lz4 , snappy , zstd , zlib    支持lz4 , snappy , zstd , zlib    自动选择压缩算法，不需要用户指定

UPDATE / DELTE    支持    支持    支持    支持

INDEX    不支持        不支持    不支持    支持