hive自定义函数

hive自定义函数

当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。

按实现方式,UDF分如下分类:
•普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。
•用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。
•用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。

按使用方法,UDF有如下分类:
•临时函数,只能在当前会话使用,重启会话后需要重新创建。
•永久函数,可以在多个会话中使用,不需要每次创建。

说明:
•一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。
•一个普通UDF必须至少实现一个evaluate()方法,evaluate函数支持重载。
•开发自定义函数需要在工程中添加hive-exec-3.1.0.jar依赖包,可从hive安装目录下获取。

示例:
java代码如下:

package day05_jar;

import org.apache.hadoop.hive.ql.exec.UDF;

public class TestHiveUdf extends UDF {
    public static String evaluate(String str) {
        return str.toUpperCase();
    }
}

hadoop fs -mkdir /user/hive/warehouse/hdfs-examples
hadoop fs -put -f  pinko.jar /user/hive/warehouse/hdfs-examples

CREATE FUNCTION ypg_upperstring AS 'day05_jar.TestHiveUdf' using jar ' /user/hive/warehouse/hdfs-examples/pinko.jar';

select ypg_upperstring('hello');
 ypg_upperstring
-----------------
 HELLO
(1 row)

相关推荐

  1. hive定义函数

    2024-05-13 14:38:03       8 阅读
  2. Hive定义函数详解

    2024-05-13 14:38:03       42 阅读
  3. Hive定义UpperGenericUDF函数

    2024-05-13 14:38:03       20 阅读
  4. Hive定义UDF函数

    2024-05-13 14:38:03       19 阅读
  5. hive定义udtf函数

    2024-05-13 14:38:03       12 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-05-13 14:38:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-13 14:38:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-13 14:38:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-13 14:38:03       20 阅读

热门阅读

  1. OpenCV 滤波方法总结

    2024-05-13 14:38:03       10 阅读
  2. golang函数默认参数

    2024-05-13 14:38:03       9 阅读
  3. mysql编程1

    2024-05-13 14:38:03       9 阅读
  4. NTP 协议获取网络时间

    2024-05-13 14:38:03       11 阅读
  5. day10-16:Spring Security

    2024-05-13 14:38:03       8 阅读
  6. vue3 setup标签使用总结

    2024-05-13 14:38:03       12 阅读
  7. [力扣题解]135. 分发糖果

    2024-05-13 14:38:03       11 阅读
  8. Leetcode 3145. Find Products of Elements of Big Array

    2024-05-13 14:38:03       11 阅读