数仓工具—Hive进阶之StorageHandler(23)

Storage Handler

引入Storage Handler,Hive用户使用SQL的方式读写外部数据源, 例如ElasticSearch、 Kafka、HBase等数据源的查询对非专业开发是有一定门槛的,借助Storage Handler,他们有了一种方便快捷的手段查询数据,Storage Handler作为Hive的存储插件,我们需要的时候直接添加即可。

另外,Hive作为数仓的核心组件,借助Storage Handler,数据导入导出可以统一以SQL实现,减少了大数据开发维护的技术栈。Storage Handler我们可以直接译为存储处理器

Storage Handler的使用

  1. 用Java实现HiveStorageHandler接口,并将Jar包加入Hive classpath。

  2. 创建外部表(External Table),且STORED BY 声明为第一步开发的类。

  3. 使用HiveSQL操作外部表

这里有一个概念性的问题,在hive 引入Storage Handler 之前就已经有内部表(managed)和外部表(external) 的概念了,关于内部表和外部表你可以参考 Hive内部表和外部表

A managed table is one for which the definition is primarily managed in Hive’s metastore, and for whose data storage Hiv

相关推荐

  1. 工具HiveStorageHandler(23)

    2024-01-07 07:20:02       65 阅读
  2. 工具Hive常见的StorageHandler(24)

    2024-01-07 07:20:02       60 阅读
  3. 工具Hive基础临时表及示例

    2024-01-07 07:20:02       27 阅读
  4. 工具Hive语法正则表达式函数

    2024-01-07 07:20:02       24 阅读
  5. 工具Hive语法替换函数和示例

    2024-01-07 07:20:02       23 阅读
  6. 工具Hive语法宏(Macro)

    2024-01-07 07:20:02       26 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-07 07:20:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-07 07:20:02       101 阅读
  3. 在Django里面运行非项目文件

    2024-01-07 07:20:02       82 阅读
  4. Python语言-面向对象

    2024-01-07 07:20:02       91 阅读

热门阅读

  1. 什么是神经网络?

    2024-01-07 07:20:02       53 阅读
  2. Android 屏蔽下拉状态栏(StatusBar)

    2024-01-07 07:20:02       51 阅读
  3. [设计模式 Go实现] 结构型~适配器模式

    2024-01-07 07:20:02       50 阅读
  4. JDBC*

    2024-01-07 07:20:02       46 阅读
  5. Python高级用法:装饰器用于缓存

    2024-01-07 07:20:02       63 阅读
  6. 前端缓存的位置

    2024-01-07 07:20:02       52 阅读
  7. 前端缓存的方式

    2024-01-07 07:20:02       49 阅读
  8. 前端技术之旅:从初识到精通的深度探索

    2024-01-07 07:20:02       53 阅读
  9. 2024年Python面试题

    2024-01-07 07:20:02       60 阅读