正则表达式

正则表达式概念

正则表达式是由一系列特殊字符组成的字符串,每个特殊字符都被称为元字符,元字符并不表示字面上的含义,而都有特定的含义。

例如a、b、1、2等字符属于普通字符,普通字符可以按照字面理解,而*、^、[]等元字符,shell赋予了他们超越字面意思的意义,如*字面意思是符号,实际却表示重复前面的字符0次或多次的隐藏含义

正则表达式也是强大的文本匹配工具,可以用于各种场景,例如文件搜索、文本处理、数据分析等。在Linux运维中,正则表达式更是必不可少的工具,可以用于以下场景:

  • 查找和替换文本
  • 验证输入数据
  • 提取文本信息
  • 编写脚本

正则表达式组成

一个正则表达式由下列1项或多项组成:

  • 一个字符集:普通字符
  • 锚:指定了正则表达式要匹配的文本在文本行中所处的位置
  • 修饰符:扩大或缩小正则表达式匹配文本的范围

正则表达式

正则表达式由一系列特殊字符组成,其中每个字符都有特定的含义和功能。以下是一些常见的正则表达式字符和功能:

字符 说明
\ 转义,将下一字符标记为普通字符
^ 匹配输入字符开头(如’^a’,匹配a开头)
$ 匹配输入字符串结尾(如’$a’,匹配a结尾)
* 匹配一个字符出现n次
+ 一次或多次匹配前面的字符或子表达式。例如,"zo+"与"zo"和"zoo"匹配,但与"z"不匹配。+ 等效于 {1,}。
? 零次或一次匹配前面的字符或子表达式。例如,"do(es)?“匹配"do"或"does"中的"do”。? 等效于 {0,1}。
{ n} n 是非负整数。正好匹配 n 次。例如,"o{2}"与"Bob"中的"o"不匹配,但与"food"中的两个"o"匹配。
{ n,} n 是非负整数。至少匹配 n 次。例如,"o{2,}“不匹配"Bob"中的"o”,而匹配"foooood"中的所有 o。"o{1,}“等效于"o+”。"o{0,}“等效于"o*”。
{ n,m} Mn 是非负整数,其中 n <= m。匹配至少 n 次,至多 m 次。例如,"o{1,3}"匹配"fooooood"中的头三个 o。‘o{0,1}’ 等效于 ‘o?’。注意:您不能将空格插入逗号和数字之间。
? 当此字符紧随任何其他限定符(*、+、?、{ n}、{ n,}、{ n,m})之后时,匹配模式是"非贪心的"。"非贪心的"模式匹配搜索到的、尽可能短的字符串,而默认的"贪心的"模式匹配搜索到的、尽可能长的字符串。例如,在字符串"oooo"中,"o+?“只匹配单个"o”,而"o+“匹配所有"o”。
. 匹配除"\r\n"之外的任何单个字符。若要匹配包括"\r\n"在内的任意字符,请使用诸如"[\s\S]"之类的模式。
(pattern) 匹配 pattern 并捕获该匹配的子表达式。可以使用 $0…$9 属性从结果"匹配"集合中检索捕获的匹配。若要匹配括号字符 ( ),请使用"(“或者”)"。
(?:pattern) 匹配 pattern 但不捕获该匹配的子表达式,即它是一个非捕获匹配,不存储供以后使用的匹配。这对于用"or"字符 (|) 组合模式部件的情况很有用。例如,'industr(?:y|ies) 是比 ‘industry|industries’ 更经济的表达式。
(?=pattern) 执行正向预测先行搜索的子表达式,该表达式匹配处于匹配 pattern 的字符串的起始点的字符串。它是一个非捕获匹配,即不能捕获供以后使用的匹配。例如,‘Windows (?=95|98|NT|2000)’ 匹配"Windows 2000"中的"Windows",但不匹配"Windows 3.1"中的"Windows"。预测先行不占用字符,即发生匹配后,下一匹配的搜索紧随上一匹配之后,而不是在组成预测先行的字符后。
(?!pattern) 执行反向预测先行搜索的子表达式,该表达式匹配不处于匹配 pattern 的字符串的起始点的搜索字符串。它是一个非捕获匹配,即不能捕获供以后使用的匹配。例如,‘Windows (?!95|98|NT|2000)’ 匹配"Windows 3.1"中的 “Windows”,但不匹配"Windows 2000"中的"Windows"。预测先行不占用字符,即发生匹配后,下一匹配的搜索紧随上一匹配之后,而不是在组成预测先行的字符后。
x|y 匹配 xy。例如,‘z|food’ 匹配"z"或"food"。‘(z|f)ood’ 匹配"zood"或"food"。
[xyz] 字符集。匹配包含的任一字符。例如,"[abc]“匹配"plain"中的"a”。
[^xyz] 反向字符集。匹配未包含的任何字符。例如,"[^abc]“匹配"plain"中"p”,“l”,“i”,“n”。
[a-z] 字符范围。匹配指定范围内的任何字符。例如,"[a-z]"匹配"a"到"z"范围内的任何小写字母。
[^a-z] 反向范围字符。匹配不在指定的范围内的任何字符。例如,"[^a-z]"匹配任何不在"a"到"z"范围内的任何字符。
\b 匹配一个字边界,即字与空格间的位置。例如,“er\b"匹配"never"中的"er”,但不匹配"verb"中的"er"。
\B 非字边界匹配。“er\B"匹配"verb"中的"er”,但不匹配"never"中的"er"。
\cx 匹配 x 指示的控制字符。例如,\cM 匹配 Control-M 或回车符。x 的值必须在 A-Z 或 a-z 之间。如果不是这样,则假定 c 就是"c"字符本身。
\d 数字字符匹配。等效于 [0-9]。
\D 非数字字符匹配。等效于 [^0-9]。
\f 换页符匹配。等效于 \x0c 和 \cL。
\n 换行符匹配。等效于 \x0a 和 \cJ。
\r 匹配一个回车符。等效于 \x0d 和 \cM。
\s 匹配任何空白字符,包括空格、制表符、换页符等。与 [ \f\n\r\t\v] 等效。
\S 匹配任何非空白字符。与 [^ \f\n\r\t\v] 等效。
\t 制表符匹配。与 \x09 和 \cI 等效。
\v 垂直制表符匹配。与 \x0b 和 \cK 等效。
\w 匹配任何字类字符,包括下划线。与"[A-Za-z0-9_]"等效。
\W 与任何非单词字符匹配。与"[^A-Za-z0-9_]"等效。
\xn 匹配 n,此处的 n 是一个十六进制转义码。十六进制转义码必须正好是两位数长。例如,“\x41"匹配"A”。“\x041"与”\x04"&"1"等效。允许在正则表达式中使用 ASCII 代码。
*num* 匹配 num,此处的 num 是一个正整数。到捕获匹配的反向引用。例如,"(.)\1"匹配两个连续的相同字符。
*n* 标识一个八进制转义码或反向引用。如果 *n* 前面至少有 n 个捕获子表达式,那么 n 是反向引用。否则,如果 n 是八进制数 (0-7),那么 n 是八进制转义码。
*nm* 标识一个八进制转义码或反向引用。如果 *nm* 前面至少有 nm 个捕获子表达式,那么 nm 是反向引用。如果 *nm前面至少有 n 个捕获,则 n 是反向引用,后面跟有字符 m。如果两种前面的情况都不存在,则 *nm 匹配八进制值 nm,其中 nm 是八进制数字 (0-7)。
\nml n 是八进制数 (0-3),ml 是八进制数 (0-7) 时,匹配八进制转义码 nml
\un 匹配 n,其中 n 是以四位十六进制数表示的 Unicode 字符。例如,\u00A9 匹配版权符号 (©)。

在Linux中正则表达式一些常用示例

复制/etc/passwd作为测试文件

cat /etc/passwd >> /tmp/test.txt

1、筛选出以r开头的行

grep  '^r' test.txt

输出:

root:x:0:0:root:/root:/bin/bash

2、筛选出n结尾的行

grep -i -n 'n$' test.txt 

输出:

2:bin:x:1:1:bin:/bin:/sbin/nologin
3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
...

3、筛选出以小数点结尾的行,小数点作为特殊符号,需要用转义字符\

#echo写入小数点到文件,再筛选
echo '...' >> test.txt | grep -i '\.$' test.txt 

输出:

...

4、筛选出文件中的空行(^开头和$结尾,两者结合就是空白行,-n输出行号,标识又23、24两行空白)

grep -n '^$' test.txt 

输出:

23:
24:

5、筛选出包含roo的行

echo "ROOT" >> test.txt | grep -i -n 'root*' test.txt                   

上面命令,使用了grep一些用法:

  • -i 忽略大小写,
  • -n 输出行号

输出:

1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin
27:ROOT

6、找出文中,r出现的次数

grep -i -n 'r*' test.txt | wc -l 
25

7、找出文中,包含小写字母、大写字母、数字的字符

也可以单独筛选[a-f]或者[1-5],数字,字母大小写,可随意组合

grep -i -n '[a-zA-Z0-9]' test.txt

输出:

在这里插入图片描述

其中,

  • 输出的内容,字母和数字标红,用于标识匹配中
  • 而冒号:则是白色字体显示,标识未匹配

8、将文件的root全部替换为admin

sed 's/root/admin/g' test.txt 

输出:

admin:x:0:0:admin:/admin:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
...

9、删除文章2~3行内容

sed '2,3d' test.txt 

输出:

root:x:0:0:root:/root:/bin/bash
adm:x:3:4:adm:/var/adm:/sbin/nologin
...

准备文件,并写入内容,使用命令vim 文件名

vim josh.txt

josh josh1 josh2
josh josh1 josh2
josh josh1 josh2

10、输出1-2列内容

awk '{print $1,$2}' josh.txt

输出:

josh josh1
josh josh1
josh josh1

正则表达式是一种强大的工具,可以用于各种实际应用。掌握正则表达式的使用方法,可以提高工作效率和代码质量。

相关推荐

  1. 表达式

    2023-12-14 08:38:02       40 阅读
  2. 表达式

    2023-12-14 08:38:02       47 阅读
  3. 表达式

    2023-12-14 08:38:02       47 阅读
  4. 【Python】表达式

    2023-12-14 08:38:02       35 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-14 08:38:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-14 08:38:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-14 08:38:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-14 08:38:02       18 阅读

热门阅读

  1. shell编程系列(14)-正则表达式详解

    2023-12-14 08:38:02       37 阅读
  2. react Api之createContext

    2023-12-14 08:38:02       35 阅读
  3. MFC(Microsoft Foundation Classes)中 MessageBox

    2023-12-14 08:38:02       37 阅读
  4. 挑战52天学小猪佩奇笔记--day21

    2023-12-14 08:38:02       30 阅读
  5. Linux vdso机制

    2023-12-14 08:38:02       43 阅读
  6. 解决前端跨域问题,后端解决方法

    2023-12-14 08:38:02       41 阅读
  7. Vue2面试题:说一下组件通信有哪些方式?

    2023-12-14 08:38:02       35 阅读
  8. 机器学习---数字聚类案例

    2023-12-14 08:38:02       39 阅读
  9. 如何在PHP中使用PDO(PHP Data Objects)?

    2023-12-14 08:38:02       50 阅读