【Flink】FlinkSQL读取hive数据(批量)

一、简介:

Hive在整个数仓中扮演了非常重要的一环,我们可以使用FlinkSQL实现对hive数据的读取,方便后续的操作,本次例子为Flink1.13.6版本

二、依赖jar包准备:

官网地址如下:

Overview | Apache Flink

1、我们需要准备相关的jar包到Flink安装目录的lib目录下,我们需要根据官网hive的版本下载Flink的live连接包

 2、额外我们需要准备Flink的hadoop依赖包,否则会报缺少包的错误,下载过程见如下博客

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration-CSDN博客

下载后的jar包传到Flink安装目录的lib目录下,如下图:

相关推荐

  1. ICESat-2 ATL08 数据批量读取

    2024-02-21 09:42:01       10 阅读
  2. 文件单行读取批量读取

    2024-02-21 09:42:01       45 阅读
  3. Spark读取Hive数据或文件如何提升速度的优化思路

    2024-02-21 09:42:01       9 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-02-21 09:42:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-02-21 09:42:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-02-21 09:42:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-02-21 09:42:01       20 阅读

热门阅读

  1. 物联网平台构成与边缘计算

    2024-02-21 09:42:01       26 阅读
  2. 从查字典到查网络再到查大语言模型

    2024-02-21 09:42:01       32 阅读
  3. 单精度(float)和双精度(double)的区别

    2024-02-21 09:42:01       34 阅读
  4. Go 空切片与nil切片

    2024-02-21 09:42:01       33 阅读
  5. 区块链笔记(二)

    2024-02-21 09:42:01       31 阅读
  6. 闲鱼搜索API接口

    2024-02-21 09:42:01       63 阅读
  7. Android无法获取已安装应用包名的问题

    2024-02-21 09:42:01       28 阅读
  8. svg.js

    2024-02-21 09:42:01       28 阅读