【湖仓一体尝试】MYSQL和HIVE数据联合查询

爬了两天大大小小的一堆坑,今天把一个简单的单机环境的流程走通了,记录一笔。

先来个完工环境照:

mysql+hadoop+hive+flink+iceberg+trino

得益于IBM OPENJ9的优化,完全启动后的内存占用:

1)执行联合查询后的

2)其中trino由于必须使用ORACLE或OPENJDK,只能再安装多一个JDK21的环境

HIVE里ICEBERG的表和数据:

-- iceberg.test.my_tbl definition

CREATE TABLE iceberg.test.my_tbl (

user_id integer,

user_name varchar,

country varchar,

birthday date

)

WITH (

format = 'PARQUET',

format_version = 2,

location = 'hdfs://localhost:9000/user/hive/warehouse/test.db/my_tbl',

partitioning = ARRAY['country']

);

MYSQL里的表和数据:

-- dict.dict.country definition

CREATE TABLE dict.dict.country (

country_name varchar(2) NOT NULL,

country_cn varchar(20) NOT NULL

);

联合查询的执行结果:

最近更新

  1. TCP协议是安全的吗?

    2023-12-22 06:28:09       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-22 06:28:09       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-22 06:28:09       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-22 06:28:09       20 阅读

热门阅读

  1. Python PDF格式转PPT格式

    2023-12-22 06:28:09       40 阅读
  2. Spring Boot Web中文文档

    2023-12-22 06:28:09       37 阅读
  3. 【SpringBoot实战】基于阿里云实现文件上传

    2023-12-22 06:28:09       39 阅读
  4. vue获取图片的blob传给django后端

    2023-12-22 06:28:09       42 阅读
  5. OpenVAS 网络配置

    2023-12-22 06:28:09       37 阅读
  6. Linux安装Tengine服务器 linux安装tengine服务器

    2023-12-22 06:28:09       42 阅读
  7. Linux(CentOS)安装Redis教程

    2023-12-22 06:28:09       36 阅读
  8. centos 8 部署nextCloud

    2023-12-22 06:28:09       51 阅读