KADB使用PXF连接KES验证

  • 验证环境

KADB版本:Greenplum Database 6.0.0 build dev.V003R002C001B0181.d354cc9215

KES版本:KingbaseES V008R006C007B0012

Java版本:openjdk version "1.8.0_262"

  • PXF部署

以下操作假设KADB和KES已经部署完成并且启动正常,环境变量设置完成

  1. 设置环境变量

在mppadin用户的.bashrc文件加入以下内容:

export PATH=$GPHOME/pxf/bin:$PATH

export PXF_CONF=$GPHOME/pxf

  1. 安装JAVA

修改/home/mppadmin/kadb/pxf/conf/pxf-env.sh文件加入JAVA安装目录:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64/jre

注:支持openjdk

  1. 注册pxf扩展

使用mppadmin用户登录master节点主机执行:

/home/mppadmin/mpp/pxf/bin/pxf cluster register

该命令拷贝pxf扩展文件到集群每一个节点的/home/mppadmin/kadb/share/postgresql/extension目录中,kadb介质已经完成此步骤,命令执行结果如下:

[mppadmin@mdw1 extension]$ pxf cluster register

Installing PXF extension on master host and 0 segment hosts...

PXF extension has been installed on 1 out of 1 host

  1. 拷贝KES JDBC驱动到KADB所有节点的$PXF_HOME/lib目录

  1. 创建jdbc连接参数配置文件

在KADB所有segment节点创建下面的文件(jdbc-site.xml文件模板在目录:/home/mppadmin/kadb/pxf/templates

修改改文件的下面参数:

  1. 启动PXF服务

在KADB master节点执行:

/home/mppadmin/mpp/pxf/bin/pxf cluster start

命令输出如下:

[mppadmin@mdw1 templates]$ pxf cluster start

Starting PXF on master host and 0 segment hosts...

PXF started successfully on 1 out of 1 host

查看pxf server允许状态:

[mppadmin@mdw1 templates]$ pxf cluster status

Checking status of PXF servers on master host and 0 segment hosts...

PXF is running on 1 out of 1 host

  1. 在测试数据库安装pxf扩展

登录KADB,在测试数据库中执行:

create extension pxf;

  • KADB通过PXF连接KES测试性能
  1.  KADB通过pxf外部表访问KES中的数据
  1. KES创建测试表

 test=# \d test

                         Table "public.test"

 Column |            Type            | Collation | Nullable | Default

--------+----------------------------+-----------+----------+---------

 a      | integer                    |           |          |

 b      | character varying(20 char) |           |          |

  1. 插入测试数据,并记录时间

test=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 1147.879 ms (00:01.148)

  1. 登录KADB,创建测试数据库test

创建只读外部表test

create external table test(

a int,

b varchar(20))

location(‘pxf://test?profile =jdbc')

FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');

  1. 外部表读性能

postgres=# select count(*) from test1;

  count 

---------

 2000002

(1 row)

Time: 3729.619 ms

KES本地读取性能

test=# select count(*) from test;

  count 

2000002

(1 row)

Time: 112.064 ms

  1. KADB通过pxf外部表写入KES数据
  1. KADB创建可写外部表

create writable external table test(

a int,

b varchar(20))

location('pxf://test?profile=jdbc')

FORMAT 'CUSTOM' (FORMATTER='pxfwritable_export');

  1. 通过外部表写入数据并记录时间

postgres=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 11397.677 ms

  1. KES本地写入并记录时间

test=# insert into test values(generate_series(1,1000000),'ccccccccccccccc');

INSERT 0 1000000

Time: 1147.879 ms (00:01.148)

相关推荐

  1. 【无标题】KADB使用DBLINK连接KES验证

    2024-01-25 10:44:03       62 阅读
  2. 使用ora2pg迁移mysql到KADB

    2024-01-25 10:44:03       41 阅读
  3. gin使用jwt登录验证

    2024-01-25 10:44:03       63 阅读
  4. 使用OpenSSL工具验证证书

    2024-01-25 10:44:03       46 阅读
  5. Android compose 使用指纹验证

    2024-01-25 10:44:03       34 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-25 10:44:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-25 10:44:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-25 10:44:03       82 阅读
  4. Python语言-面向对象

    2024-01-25 10:44:03       91 阅读

热门阅读

  1. Lua简介和应用场景介绍

    2024-01-25 10:44:03       54 阅读
  2. 【算法专题】动态规划之简单多状态 dp 问题

    2024-01-25 10:44:03       46 阅读
  3. StarRocks物化视图

    2024-01-25 10:44:03       72 阅读
  4. docker: 搭建 harbor 镜像仓库

    2024-01-25 10:44:03       52 阅读
  5. C#的IEnumerator<T> 和 IEnumerable

    2024-01-25 10:44:03       47 阅读
  6. 玩转k8s:yaml介绍

    2024-01-25 10:44:03       54 阅读
  7. PostgreSQL插件说明

    2024-01-25 10:44:03       51 阅读
  8. Vue 模块化使用 Vuex

    2024-01-25 10:44:03       56 阅读
  9. vue 虚拟DOM的优劣说明

    2024-01-25 10:44:03       51 阅读