通过 AWS Glue 同步 MaxCompute 数据到 S3

1. 下载驱动

下载 3.3.6 版本的 driver

wget https://github.com/aliyun/aliyun-odps-jdbc/releases/download/v3.3.6/odps-jdbc-3.3.6-jar-with-dependencies.jar

将下载的jar包上传到 S3 指定目录下。(版本会影响方案的成功,4.x 以上版本验证是不可行的)

2. 在 Glue 创建 Connection

2.1 创建 Custom Connector

  1. 在 Glue 控制台的左侧菜单中找到 Connections,点击进入。
  2. 点击 Create Custom connectors 进入创建自定连接页面
  3. 在 Connector S3 URL 中选择之前步骤上传到 S3 的 jar 驱动包。
  • Name 自定义
  • Connector type 选择 JDBC
  • Class name 填写 com.aliyun.odps.jdbc.OdpsDriver
  • JDBC URL base 填写 jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=<projectname>&accessId=<accessid>&accessKey=<accesskey>&interactiveMode=true (在阿里云网站上找到对应region 的 endpoint)
  • URL parameter delimiter 填写 &
  1. 点击 Create
    在这里插入图片描述

2.2 Create connection

从上一步骤创建好 Connector 页面中,直接点击右上角的 Create connection,打开创建 Connection 的页面

  1. Name 自定义填写

  2. Connection credential type 选择 default

  3. 进入 Secrets Manager,创建一个新的对象,在 Key/Value 中分别填写 accessId,accessKey 对应在阿里云实际的用户ID和key。
    在这里插入图片描述

  4. 在 Glue 创建 Connection 页面选中上一步骤创建好的 Secret 对象。

  5. 展开 Network options 选择 VPC,和带有NAT的私有子网。

  6. 点击 Create ,这样就创建好 MaxComputer 的连接。

2.3 Glue ETL Job

  1. 点击菜单中的 ETL Jobs,选择 Visual with a source and target。Source 选择创建好的 Custom Connector,Target 选择 S3,点击 Create 创建一个新的 ETL Job
    在这里插入图片描述
  2. 在 ETL 画布页面,双击Data source,在Connection中选择,2.2 步骤创建的 MaxComputer Connection。设置需要同步的表名
  3. 点击 Data target,设置 S3 的路径
  4. 保存,运行。

相关推荐

  1. 通过Jenkins将应用发布K8s1.24.3

    2024-05-16 06:18:12       42 阅读
  2. 通过API接口实现自动化数据同步

    2024-05-16 06:18:12       65 阅读
  3. 从PostgreSQL同步数据Elasticsearch

    2024-05-16 06:18:12       31 阅读
  4. 记一次大量CSV数据文件同步数据库

    2024-05-16 06:18:12       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-16 06:18:12       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-16 06:18:12       100 阅读
  3. 在Django里面运行非项目文件

    2024-05-16 06:18:12       82 阅读
  4. Python语言-面向对象

    2024-05-16 06:18:12       91 阅读

热门阅读

  1. Linux系统安装MongoDB流程

    2024-05-16 06:18:12       39 阅读
  2. mysql入门与mongoDB入门

    2024-05-16 06:18:12       42 阅读
  3. Docker学习(10)搭建kubernetes集群

    2024-05-16 06:18:12       35 阅读
  4. 基于C++的OpenCV支持的KCF目标跟踪

    2024-05-16 06:18:12       39 阅读
  5. MongoDB聚合运算符:$zip

    2024-05-16 06:18:12       34 阅读
  6. Jetpack Compose 初探

    2024-05-16 06:18:12       54 阅读
  7. 在ubuntu安装Docker容器

    2024-05-16 06:18:12       36 阅读
  8. WebApp 使用post-css实现移动端适配

    2024-05-16 06:18:12       34 阅读
  9. 15. 三数之和

    2024-05-16 06:18:12       29 阅读