湖仓管理系统 Amoro部署

简介

Apache Amoro(incubating) 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。

Amoro 的愿景是依托于 Apache Iceberg、Apache Paimon 等新型数据湖表格式的基础功能,持续打磨湖仓管理系统的定位和开箱即用的功能,为大数据产品和用户带来:

降低湖仓应用门槛,融入现代数据栈,为围绕湖仓构建的大数据产品极瘦身,让湖仓不再成为互联网企业的专宠。

通过管理系统对维护任务的全托管能力,实现数据湖的自治,让数据治理变简单开箱即用。提供全托管维护任务的扩展能力,让湖仓管理变得好玩,帮业务清楚湖仓落地在降本增效,性能优化等各方面的价值。

功能

  • 提供统一的 Catalog 服务,对齐 Hive Metastore,Rest catalog 等开源标准,支持集成 Glue 等商业元仓,帮助引擎和产品构建流批统一的元仓。
  • 提供全托管的湖仓维护功能(Maintenance Function),包括但不限于数据自优化、数据过期、快照清理、元数据同步等。不同于引擎端实现,Amoro 希望通过全托管的湖仓维护功能打造数据在不同引擎之间的高可用性和开箱即用。
  • 向下支持对接不同的数据湖格式,包括 Apache Iceberg 和 Apache Paimon,以及一种对流批一体场景更加优化的 Mixed 格式。
  • 提供开箱即用的管理工具,包括但不限于 DSL 指令、Metrics、Dashboard。

部署

相关推荐

  1. 管理系统 Amoro部署

    2024-04-03 21:06:02       30 阅读
  2. Hologres + Flink 流式建设

    2024-04-03 21:06:02       53 阅读
  3. “存算分离“和“一体“

    2024-04-03 21:06:02       18 阅读
  4. 数据一体(二) 安装kafka

    2024-04-03 21:06:02       27 阅读
  5. 数据一体(四)安装hive

    2024-04-03 21:06:02       19 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-03 21:06:02       70 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-03 21:06:02       74 阅读
  3. 在Django里面运行非项目文件

    2024-04-03 21:06:02       62 阅读
  4. Python语言-面向对象

    2024-04-03 21:06:02       72 阅读

热门阅读

  1. torch-v1.3.1-build

    2024-04-03 21:06:02       29 阅读
  2. LeetCode 343. 整数拆分

    2024-04-03 21:06:02       29 阅读
  3. STC8H8K64U 学习笔记 - 矩阵键盘

    2024-04-03 21:06:02       33 阅读
  4. 题目:学习static定义静态变量的用法

    2024-04-03 21:06:02       34 阅读
  5. MATLAB 打开文件对话框选择点云输入 (52)

    2024-04-03 21:06:02       33 阅读
  6. 工厂方法模式

    2024-04-03 21:06:02       33 阅读
  7. 【SpringCloud】Config配置中心

    2024-04-03 21:06:02       37 阅读
  8. 分布式IO模块PLC扩展模拟量模块

    2024-04-03 21:06:02       35 阅读
  9. 为什么重写 equals 时,必须重写 hashCode?

    2024-04-03 21:06:02       29 阅读
  10. js绑定点击事件的方法

    2024-04-03 21:06:02       28 阅读