Hive正则表达式

Hive版本：hive-3.1.2

一、Hive的正则表达式概述

        正则表达式是一种用于匹配和操作文本的强大工具，它是由一系列字符和特殊字符组成的模式，用于描述要匹配的文本模式。

      Hive的正则表达式灵活使用解决HQL开发过程中的很多问题，本篇文章主要对hive正则表达式的总结归纳。关系型数据库的正则表达式如下：

正则表达式 – 教程 | 菜鸟教程正则表达式 - 教程 正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”），可以用来描述和匹配字符串的特定模式。 正则表达式是一种用于模式匹配和搜索文本的工具。 正则表达式提供了一种灵活且强大的方式来查找、替换、验证和提取文本数据。 正则表达式可以应用于各种编程语言和文本处理工具中，如 JavaScript、Python、Java、Perl 等。 ..https://www.runoob.com/regexp/regexp-tutorial.html     Hive支持如下正则表达式：

• like
• rlike
• regexp
• regexp_extract
• regexp_replace

1.1 字符集合

1.2 边界集合

1.3 量词（重复次数）集合

1.4  转义操作符

1.5 运算符优先级

      正则表达式从左到右进行计算，并遵循优先级顺序。相同优先级的从左到右进行运算，不同优先级的运算先高后低。下表从最高到最低说明了各种正则表达式运算符的优先级顺序：

   举例：\d{2,3}|[a-z]+(abc)* 的运算顺序

• \d{2,3} 匹配两到三个数字
• | 表示或
• [a-z]+ 匹配一个或多个小写字母
• (abc)* 匹配零个或多个 "abc"

二、Hive 正则表达式案例

2.1 like

• 语法1: A like B    
• 语法2: like(A, B)
• 操作类型: strings
• 返回类型：boolean或null
• 描述：如果字符串A或者字符串B为null，则返回null；如果字符串A符合表达式B 的正则语法，则为true；否则为false。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。

-- 举例：
select 'ahngnfg' like '%nfg'  --> true （%nfg也可以理解为以'nfg'结尾的字符）
select 'ahngnfg' like 'nfg%'  --> false（nfg%也可以理解为以'nfg'开头的字符）
select 'ahngnfg' like '%nfg%'  --> true （%nfg% 也可以理解为包含'nfg'的字符）

2.2 rlike

• 语法1: A rlike B
• 语法2: rlike (A, B)
• 操作类型: strings
• 返回类型: boolean或null
• 描述: 如果字符串A或者字符串B为null，则返回null；如果字符串A符合JAVA正则表达式B的正则语法，则为true；否则为false。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。

java正则：

"." 任意单个字符
"*" 匹配前面的字符0次或多次
"+" 匹配前面的字符1次或多次
"?" 匹配前面的字符0次或1次
"\d" 匹配一个数字字符,等于[0-9],使用的时候写成'\\d'
"\D" 匹配一个非数字字符,等于[^0-9],使用的时候写成'\\D'

-- 举例：
select '2314' rlike '\\d+';  --> true
select 'numrqe' rlike '^num'; --> true

2.3 regexp

• 语法1: A regexp B
• 语法2: regexp (A, B)
• 操作类型: strings
• 返回类型: boolean或null
• 描述: 功能与rlike相同

测试案例：

-- 匹配有5个连续数字的字符串
with tmp1 as
(
select '12325abc' as rn
union all
select 'b91256ab56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '\\d{5}';

-- 匹配开头有3个及以上连续数字的字符
with tmp1 as
(
select '12325abc' as rn
union all
select '91fe56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '^\\d{3}';

-- 匹配开头只有3个连续数字的字符
with tmp1 as
(
select '12325abc' as rn
union all
select '912fe56' as rn
union all
select 'bfs89abc21' as rn
)
select rn
  from tmp1
 where rn regexp '^\\d{3}\\D';

2.4 regexp_replace正则替换

• 语法: regexp_replace(string A, string B, string C)
• 操作类型: strings
• 返回值: string
• 说明: 将字符串A中的符合java正则表达式B的部分替换为C。

-- 举例：
select regexp_replace('h234ney', '\\d+', 'fd'); --> hfdney

2.5 regexp_extract正则提取

• 语法: regexp_extract(string A, string pattern, int index)
• 返回值: string
• 说明: 将字符串A按照pattern正则表达式的规则拆分，返回index指定的字符，index从1开始计

--举例：
select regexp_extract('honeymoon', 'hon(.*?)(oon)', 0); --> honeymoon
select regexp_extract('honeymoon', 'hon(.*?)(oon)', 1); --> eym
select regexp_extract('honeymoon', 'hon(.*?)(oon)', 2); --> oon

参考文章：

HIVE正则(like、rlike、regexp、regexp_replace、regexp_extract)_hive 正则化-CSDN博客

大数据开发之Hive篇12-Hive正则表达式_hive 正则-CSDN博客