Hive-表设计优化

Hive-表设计优化

1.Hive查询基本原理

  • Hive的设计思想是通过元数据解析描述将HDFS上的文件映射成表。

  • 基本的查询原理是当用户通过HQL语句对Hive中的表进行复杂数据处理和计算时,默认将其转换为分布式计算MapReduce程序对HDFS中的数据进行读取处理的过程。

在这里插入图片描述

  • 当执行查询计划时,Hive会使用表的最后一级目录作为底层处理数据的输入。

在这里插入图片描述

在这里插入图片描述

2.分区表的设计与使用

  • 普通表结构问题:
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.分桶表的设计与使用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4.索引的设计与使用

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关推荐

  1. Hive优化(2)——join优化

    2024-05-14 07:52:04       11 阅读
  2. Hive优化(3)——索引优化

    2024-05-14 07:52:04       12 阅读
  3. hive sql&spark 优化

    2024-05-14 07:52:04       39 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-05-14 07:52:04       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-14 07:52:04       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-14 07:52:04       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-14 07:52:04       20 阅读

热门阅读

  1. uniapp外部scss文件使用scss语法不生效.

    2024-05-14 07:52:04       9 阅读
  2. 文心一言指令:引领语言模型的创新之路

    2024-05-14 07:52:04       11 阅读
  3. git自用随笔

    2024-05-14 07:52:04       8 阅读
  4. Php简易留言

    2024-05-14 07:52:04       10 阅读
  5. MySQL索引设计遵循一系列原则

    2024-05-14 07:52:04       13 阅读
  6. 数据分析思维——数据指标体系、异动分析

    2024-05-14 07:52:04       11 阅读