暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

PolarDB for PostgreSQL:OSS 外表

PolarDB 2024-12-23
104

关于 PolarDB PostgreSQL 版

PolarDB PostgreSQL 版是一款阿里云自主研发的云原生关系型数据库产品,100% 兼容 PostgreSQL,高度兼容Oracle语法;采用基于 Shared-Storage 的存储计算分离架构,具有极致弹性、毫秒级延迟、HTAP 、Ganos全空间数据处理能力和高可靠、高可用、弹性扩展等企业级数据库特性。同时,PolarDB PostgreSQL 版具有大规模并行计算能力,可以应对 OLTP 与 OLAP 混合负载。

功能介绍

Foreign Data Wrapper(FDW)是 PostgreSQL 提供的一个非常有意思的特性,中文翻译为 外部数据包装器。从字面意思上,PostgreSQL 数据库能够通过 FDW 扩展来操作当前数据库以外的数据。这些外部的数据源可以是:

  • 文件

  • 关系型数据库(PostgreSQL Oracle MySQL ...)

  • 非关系型数据库

  • Git 仓库

  • 网页

  • 大数据平台(Hadoop Hive ...)

  • ...

oss_fdw
 插件是 PolarDB for PostgreSQL 的一个外部数据包装器,能够将 阿里云对象存储 OSS (Object Storage Service) 上的数据与数据库中的外部表定义关联,使用户能够将数据库表的数据存放到 OSS 上的同时,而依旧能够通过标准 SQL 来读写这些数据。阿里云 OSS 是一款海量、安全、低成本、高可靠的云存储服务,提供最高可达 99.995% 的服务可用性,具备多种存储类型供选择,能够全面优化存储成本。数据库中的历史数据、只读归档数据、冷数据非常适合存放到 OSS 上,以节约数据库存储成本。

基本使用方法

开通阿里云 OSS 并创建 Bucket

请参考阿里云 OSS 的 产品文档

安装插件

CREATE EXTENSION oss_fdw;

创建外部数据服务器

配置 OSS 连接信息,创建 PolarDB-PG 到 OSS Bucket 的映射。其中需要的参数包含:

  • host:阿里云 OSS 的访问域名 (EndPoint)

  • bucket:阿里云 OSS 的存储空间 (Bucket) 名称

  • id key:阿里云账号 Access Key 的 ID 和 Secret

CREATE SERVER ossserver
FOREIGN DATA WRAPPER oss_fdw
OPTIONS (
    host 'oss-cn-xxx.aliyuncs.com',
    bucket 'mybucket',
    id 'xxx',
    key 'xxx'
);

将外部表映射到某个 OSS 目录

在 PolarDB-PG 中创建一个 OSS 外部表,映射到上一步配置的 OSS 外部数据源的某个目录下:

CREATE FOREIGN TABLE t1_oss (
    id INT,
    f FLOAT,
    txt TEXT
)
SERVER ossserver
OPTIONS (dir 'archive/');

向 OSS 外部表中导入数据:

=> INSERT INTO t1_oss VALUES (generate_series(1,100), 0.1'hello');
NOTICE:  begin writing data to oss location archive/, with block size 10 MB and oss file size 1024 MB
INSERT 0 100

此时,插入该表的数据已经写入到 OSS archive/ 路径下的文件中。使用如下方法可以查询该外部表:

=> EXPLAIN SELECTCOUNT(*) FROM t1_oss;
                           QUERY PLAN
-----------------------------------------------------------------
 Aggregate  (cost=6.54..6.54 rows=1 width=8)
   ->  Foreign Scan on t1_oss  (cost=0.00..6.40 rows=54 width=0)
         Directory on OSS: archive/
         Number Of OSS file: 1
(4 rows)

=> SELECTCOUNT(*) FROM t1_oss;
NOTICE:  a total of 1 files will be loaded, beginarchive/_t1_oss_741147075942690, endarchive/_t1_oss_741147075942690, compression: none
count
-------
   100
(1row)

对该表进行 TRUNCATE,将会移除该外部表在 OSS 上的所有映射文件:

=> TRUNCATE t1_oss;
TRUNCATE TABLE

=> SELECT COUNT(*) FROM t1_oss;
WARNING:  does not match any file in oss
 count
-------
     0
(1 row)

卸载插件

DROP EXTENSION oss_fdw;

使用限制

oss_fdw 外部表仅支持 SELECT、INSERT 和 TRUNCATE 操作,不支持 UPDATE 和 DELETE 操作。因此,只适用于 数据归档 场景:数据被写入 OSS 后,只会被读取,不再被更新。

PolarDB for PostgreSQL 11 全版本支持该插件;PolarDB for PostgreSQL 14 自 v14.5.3.0 (20221130) 起支持该插件。


文章转载自PolarDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论