Linux系统中的管道命令、grep命令、sed命令和awk命令

莲藕

本章将和大家分享Linux系统中的管道命令、grep命令、sed命令和awk命令。废话不多说，下面我们直接进入主题。
一、管道命令

Linux 中的管道命令（pipe）是一种非常强大的特性，它允许你将一个命令的输出作为另一个命令的输入。管道命令极大地增强了命令行的灵活性和功能，使得复杂的数据处理任务变得简单。
1、基本语法

1. command1 | command2

复制代码

command1 的输出会被传递给 command2 作为其输入。
可以链式使用多个管道命令，例如 command1 | command2 | command3。
2、示例

1）查看系统进程并按内存使用量排序

1. ps aux --sort=-%mem | less

复制代码

这里，ps aux --sort=-%mem 命令列出所有进程并按内存使用率降序排序，然后通过管道传递给 less 命令，使得你可以逐页查看输出。
2）查找包含特定文本的文件，并计算行数

1. grep '特定文本' 文件名 | wc -l

复制代码

这里，grep '特定文本' 文件名 命令查找文件中包含“特定文本”的行，然后将这些行传递给 wc -l 命令来计算行数。
3）查看当前目录的文件和目录，然后仅显示目录

1. ls -l | grep '^d'

复制代码

ls -l 命令以长格式列出当前目录的内容，然后通过管道传递给 grep '^d' 命令，后者仅匹配以 d（表示目录）开头的行。
4）使用多个管道进行复杂的数据处理
假设你有一个日志文件，你想要找出所有错误消息（假设以 "ERROR" 开头），并计算这些消息的数量，同时忽略大小写：

1. grep -i 'error' 日志文件.log | wc -l

复制代码

这里，grep -i 'error' 日志文件.log 命令使用 -i 选项忽略大小写地查找包含 "error" 的行，然后通过管道传递给 wc -l 命令来计数。
3、注意事项

• 管道命令中的每个命令都在其子 shell 中运行，因此它们之间的变量不是共享的。
  
• 管道命令中每个命令的输入和输出都是通过标准输入（stdin）和标准输出（stdout）进行的，除非特别重定向了输入或输出。
  
• 管道命令中的错误输出（stderr）默认不会传递给下一个命令，除非使用重定向或特殊的命令（如 2>&1）来合并标准输出和错误输出。
  

二、grep命令

主要作用是文件过滤分割与合并，grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
1、基本语法

1. grep [选项]... 模式 [文件]...

复制代码

• 选项：可以调整 grep 的行为，如忽略大小写、显示匹配行的行号等。
  
• 模式：指定要搜索的文本模式，可以是简单的字符串或复杂的正则表达式。
  
• 文件：指定要搜索的文件名。如果没有指定文件名，grep 将从标准输入读取数据。
  

2、常用选项

• -i：忽略大小写。
  
• -v：反向选择，只显示不匹配的行。
  
• -c：计算匹配的行数，而不是显示行内容。
  
• -l：只列出包含匹配文本的文件名，而不显示匹配的行。
  
• -n：显示匹配的行号。
  
• -r 或 -R：递归搜索子目录中的文件。
  
• -E：使用扩展的正则表达式。
  
• -F：将模式作为固定字符串处理，而不是正则表达式。
  
• -o：只输出匹配的部分，而不是整行。
  
• -A 数字：显示匹配行以及之后的几行。
  
• -B 数字：显示匹配行以及之前的几行。
  
• -C 数字：显示匹配行以及上下文的几行。
  

3、示例

1）基本语法

1. grep pattern file.txt

复制代码

2）忽略大小写

1. grep -i pattern file.txt

复制代码

3）显示行号

1. grep -n pattern file.txt

复制代码

4）递归搜索所有子目录

1. grep -rnw '/path/to/directory' -e 'pattern'

复制代码

5）只显示文件名

1. grep -l pattern *.txt

复制代码

6）只显示匹配的行数

1. grep -c pattern file.txt

复制代码

7）匹配整个单词

1. grep -w pattern file.txt

复制代码

8）使用正则表达式

1. grep -E '\bword\b' file.txt

复制代码

9）显示上下文的几行

1. grep -C 2 pattern file.txt

复制代码

10）搜索文件中的所有“error”字符串

1. grep "error" /var/log/syslog

复制代码

11）搜索当前目录及子目录下所有文件中包含“function”的行，并显示行号

1. grep -rn "function" .

复制代码

12）计算文件中包含“warning”的行数

1. grep -c "warning" file.txt

复制代码

13）反向选择，显示不包含“debug”的所有行

1. grep -v "debug" file.txt

复制代码

14）在多个文件中查找

1. grep "match_pattern" file_1 file_2 file_3 ...

复制代码

15）标记匹配颜色 --color=auto 选项

1. grep "match_pattern" file_name --color=auto

复制代码

16）使用正则表达式 -E 选项

1. grep -E "[1-9]+"
2. 或
3. egrep "[1-9]+"

复制代码

17）只输出文件中匹配到的部分 -o 选项

1. [root@localhost ~]# echo this is a test line. | grep -o -E "[a-z]+\."
2. line.
3. [root@localhost ~]# echo this is a test line. | egrep -o "[a-z]+\."
4. line.

复制代码

18）统计文件或者文本中包含匹配字符串的行数 -c 选项

1. grep -c "text" file_name

复制代码

19）输出包含匹配字符串的行数 -n 选项

1. grep "text" -n file_name
2. 或
3. cat file_name | grep "text" -n
5. #多个文件
6. grep "text" -n file_1 file_2

复制代码

20）搜索多个文件并查找匹配文本在哪些文件中

1. grep -l "text" file1 file2 file3...

复制代码

4、grep递归搜索文件

1）在多级目录中对文本进行递归搜索

1. grep "text" . -r -n
2. # .表示当前目录

复制代码

2）忽略匹配样式中的字符大小写

1. [root@localhost ~]# echo "hello world" | grep -i "HELLO"
2. hello world

复制代码

3）选项 -e 制动多个匹配样式

1. [root@localhost ~]# echo this is a text line | grep -e "is" -e "line" -o
2. is
3. is
4. line
5. #也可以使用-f选项来匹配多个样式，在样式文件中逐行写出需要匹配的字符。
6. [root@localhost myfolder]# cat patfile
7. aaa
8. bbb
9. [root@localhost myfolder]# echo aaa bbb ccc ddd eee | grep -f patfile -o
10. aaa
11. bbb

复制代码

4）在grep搜索结果中包括或者排除指定文件

1. #只在目录中所有的.php和.html文件中递归搜索字符"main()"
2. grep "main()" . -r --include *.{php,html}
4. #在搜索结果中排除所有README文件
5. grep "main()" . -r --exclude "README"
7. #在搜索结果中排除filelist文件列表里的文件
8. grep "main()" . -r --exclude-from filelist

复制代码

5）grep静默输出

1. grep -q "test" filename
2. #不会输出任何信息，如果命令运行成功返回0，失败则返回非0值。一般用于条件测试。

复制代码

6）打印出匹配文本之前或者之后的行

1. #显示匹配某个结果之后的3行，使用 -A 选项：
2. [root@localhost myfolder]# seq 10 | grep "5" -A 3
3. 5
4. 6
5. 7
6. 8
8. #显示匹配某个结果之前的3行，使用 -B 选项：
9. [root@localhost myfolder]# seq 10 | grep "5" -B 3
10. 2
11. 3
12. 4
13. 5
15. #显示匹配某个结果的前三行和后三行，使用 -C 选项：
16. [root@localhost myfolder]# seq 10 | grep "5" -C 3
17. 2
18. 3
19. 4
20. 5
21. 6
22. 7
23. 8
25. #如果匹配结果有多个，会用“--”作为各匹配结果之间的分隔符：
26. [root@localhost myfolder]# echo -e "a\nb\nc\na\nb\nc" | grep a -A 1
27. a
28. b
29. --
30. a
31. b

复制代码

三、sed命令

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
1、基本语法

1. sed [选项]... '{命令}' [输入文件]...

复制代码

• 选项：控制sed的行为，如-i直接修改文件内容，-e允许多个编辑命令等。
  
• 命令：用单引号括起来，指定要对文本执行的操作。
  
• 输入文件：指定sed要处理的文件。如果未指定文件，sed将从标准输入读取数据。
  

2、常用选项

• -e：添加一个编辑命令。
  
• -f：从文件中读取编辑命令。
  
• -i：直接修改文件内容。
  
• -n：抑制默认输出，只输出被明确指定的行。
  
• -r：启用扩展正则表达式支持。
  
• -u：以原子方式更新文件（与 -i 一起使用）。
  

3、命令格式

sed 命令的基本格式是：

1. [address][,address] command

复制代码

• address：可以是行号或正则表达式，用于指定命令作用的范围。
  
• command：要执行的操作。
  

4、常用命令

• p：打印匹配的行。
  
• d：删除匹配的行。
  
• s：替换文本。
  
• i：在指定行之前插入文本。
  
• a：在指定行之后追加文本。
  
• c：替换匹配的行。
  

5、示例

1）打印文件的前几行

1. sed -n '1,5p' filename

复制代码

-n选项和p命令一起使用，仅打印被p命令指定的行（这里是前1~5行）。
2）删除文件中的空行

1. sed '/^$/d' filename

复制代码

使用正则表达式/^$/匹配空行，d命令删除这些行。
3）替换文本

1. sed 's/old/new/g' filename

复制代码

将文件中的"old"替换为"new"。g标志表示全局替换（即每行中的所有匹配项）。
4）直接修改文件（危险动作，注意确认）

1. sed -i 's/old/new/g' filename

复制代码

-i选项允许sed直接修改文件内容，而不是输出到标准输出。
5）在特定行之前或之后插入文本

1. sed '3i\New line' filename  # 在第3行之前插入"New line"  
2. sed '3a\New line' filename  # 在第3行之后追加"New line"

复制代码

6）替换整行

1. sed '3c\This is a new line' filename

复制代码

将第3行替换为"This is a new line"。
7）替换字符串并保存结果

1. sed -i 's/pattern/replacement/g' file.txt

复制代码

这将直接修改 file.txt 文件中的内容。
8）读取多个文件并应用相同的编辑

1. sed 's/pattern/replacement/g' file1.txt file2.txt

复制代码

9）使用多个编辑命令

1. sed -e 's/pattern1/replacement1/g' -e 's/pattern2/replacement2/g' file.txt

复制代码

10）使用行号指定编辑范围

1. sed '1,10 s/pattern/replacement/g' file.txt

复制代码

11）以行为单位的新增/删除

将 ./file 的内容列出并且打印行号，同时删除2~5行内容：

1. [root@localhost myfolder]# nl ./file | sed '2,5d'
2.      1  11
3.      6  66
4.      7  77
5.      8  88
6.      9  99
7. ......

复制代码

因为2~5行内容被删除了，所以就不显示2~5行的内容了。
只要删除第 2 行：

1. [root@localhost myfolder]# nl ./file | sed '2d'
2.      1  11
3.      3  33
4.      4  44
5.      5  55
6.      6  66
7. ......

复制代码

要删除第 10 到最后一行：

1. [root@localhost myfolder]# nl ./file | sed '10,$d'
2.      1  11
3.      2  22
4.      3  33
5.      4  44
6.      5  55
7.      6  66
8.      7  77
9.      8  88
10.      9  99

复制代码

在第2行后面加上[drink tea]字样：

1. [root@localhost myfolder]# nl ./file | sed '2a drink tea'
2.      1  11
3.      2  22
4. drink tea
5.      3  33
6.      4  44
7.      5  55
8.      6  66
9.      7  77
10.      8  88
11.      9  99
12. ......

复制代码

在第2行前面加上[drink tea]字样：

1. [root@localhost myfolder]# nl ./file | sed '2i drink tea'
2.      1  11
3. drink tea
4.      2  22
5.      3  33
6.      4  44
7.      5  55
8.      6  66
9.      7  77
10. ......

复制代码

如果要增加两行以上，例如：[Drink tea or …..]与[drink beer?]：

1. [root@localhost myfolder]# nl ./file | sed '2a Drink tea or ......\
2. > drink beer?'
3.      1  11
4.      2  22
5. Drink tea or ......
6. drink beer?
7.      3  33
8.      4  44
9.      5  55
10. ...省略...

复制代码

每一行之间都必须要以反斜杠“\”来进行新行的添加。
12）以行为单位的替换与显示

将第2~5行的内容替换为[No 2~5]：

1. [root@localhost myfolder]# nl ./file | sed '2,5c No 2~5'
2.      1  11
3. No 2~5
4.      6  66
5.      7  77
6.      8  88
7. ......

复制代码

通过这个方法我们就能够将数据整行取代了！
仅列出 ./file 文件内的第 5~7 行内容：

1. [root@localhost myfolder]# nl ./file | sed -n '5,7p'
2.      5  55
3.      6  66
4.      7  77

复制代码

13）数据的搜寻并显示

搜索 ./file 有aa关键字的行，并且只输出匹配的行：

1. [root@localhost myfolder]# nl ./file | sed -n '/aa/p'
2.     17  aa
3.     32  dsaaaaaaaaaassdasdassdadadssdasdasd3213213213
4.     37  Gaaa
5.     59  aaaaa

复制代码

其中使用-n表示只打印匹配的行。
14）数据的搜寻并删除

删除 ./file 所有包含“22”的行，其他行输出：

1. [root@localhost myfolder]# nl ./file | sed '/22/d'
2.      1  11
3.      3  33
4.      4  44
5.      5  55
6.      6  66
7. ......

复制代码

15）数据的搜寻并执行命令

搜索 ./file 文件找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把 test 替换为 testNew，再输出这行：

1. [root@localhost myfolder]# nl ./file | sed -n '/root/{s/test/testNew/;p}'
2.     32  testNew admin root

复制代码

如果只替换 ./file 的第一个 test 关键字为 testNew ，就退出：

1. [root@localhost myfolder]# nl ./file | sed -n '/test/{s/test/testNew/;p;q}'
2.     32  testNew admin root

复制代码

最后的q表示退出。
16）数据的搜寻并替换

除了整行的处理模式之外，sed 还可以用行为单位进行部分数据的搜寻并取代。基本上 sed 的搜寻、替代与 vi 类似：

1. sed 's/要被取代的字串/新的字串/g'

复制代码

四、awk命令

awk是行处理器：相比较屏幕处理的优点，在处理大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息。
awk处理过程：依次对每一行进行处理，然后输出。
1、基本语法

1. awk [options] 'pattern {action}' [filename]

复制代码

• options：命令行选项，用于控制awk的工作方式。这些选项包括设置字段分隔符、定义变量等。
  
• pattern：模式匹配，用于指定哪些行或记录需要被处理。模式可以是正则表达式、条件表达式或布尔表达式。如果省略pattern，则对所有行执行action。
  
• action：当模式匹配成功时，需要执行的命令或语句。这些命令或语句可以是内置的awk命令，也可以是自定义的代码块。
  
• filename：指定要处理的文件名。如果省略，则默认从标准输入读取。
  

2、常用选项

• -F fs 或 --field-separator=fs：设置字段分隔符，默认为空格。
  
• -v var=val 或 --assign=var=val：定义变量及其初始值。
  
• -f script-file 或 --file=script-file：从文件中读取awk脚本。
  
• -i inplace 或 --inplace：直接在原文件上修改（注意：这个选项在GNU awk中可能不被支持，需要使用其他工具如sed实现）。
  
• -n 或 --non-decimal-data：允许非十进制数被识别。
  
• -W interactive 或 --interactive：以交互模式运行。
  

3、脚本语法

awk 脚本通常由模式（pattern）和动作（action）组成。基本形式为：

1. pattern { action }

复制代码

• pattern：一个表达式，如果为真，则执行 action。
  
• action：一组要执行的命令。
  

如果省略 pattern，则默认为 true，意味着 action 将应用于每一行。
4、内置变量

awk 提供了一些内置变量来简化脚本编写：

• ARGC：命令行参数的数量。
  
• ARGV：命令行参数的数组。
  
• ENVIRON：环境变量的数组。
  
• FILENAME：当前文件名。
  
• FNR：当前文件中的记录编号。
  
• FS：字段分隔符。
  
• NF：当前记录中的字段数量。
  
• NR：所有处理过的记录总数。
  
• OFS：输出字段分隔符。
  
• ORS：输出记录分隔符。
  
• RS：输入记录分隔符。
  

5、函数

awk 提供了多种内置函数来处理文本和数值数据：

• print：输出数据。
  
• printf：格式化输出数据。
  
• getline：从文件中读取一行。
  
• split：分割字符串到数组。
  
• gsub：全局替换。
  
• match：正则表达式匹配。
  
• rand 和 srand：生成随机数。
  
• sqrt, exp, log, sin, cos, atan2：数学函数。
  
• tolower 和 toupper：转换字符串为小写或大写。
  
• length：返回字符串长度。
  
• index：返回子字符串的位置。
  
• substr：获取子字符串。
  
• mktime：转换日期字符串为时间戳。
  

6、awk命令形式

1. awk [-F|-f|-v] 'BEGIN{} /pattern/ {command1;command2} END{}' [filename]

复制代码

• [-F|-f|-v]  大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
  
• ' '  引用代码块
  
• BEGIN  初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
  
• /pattern/  匹配代码块，可以是字符串或正则表达式
  
• {}  命令代码块，包含一条或多条命令
  
• ;  多条命令使用分号分隔
  
• END  结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息
  
• [filename]  需要处理的文件
  

7、特殊要点

$0	表示整个当前行
$1	每行第一个字段
$n	当前记录的第n个字段，字段间由FS分隔
NF	字段数量变量
NR	每行的记录号，多文件记录递增
FNR	与NR类似，不过多文件记录不递增，每个文件都从1开始
\t	制表符
\n	换行符
FS	BEGIN时定义分隔符(默认是任何空格)
RS	输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~	匹配，与==相比不是精确比较
!~	不匹配，不精确比较
==	等于，必须全部相等，精确比较
!=	不等于，精确比较
&&	逻辑与
||	逻辑或
OFS	输出字段分隔符， 默认也是空格，可以改为制表符等
ORS	输出的记录分隔符，默认为换行符，即处理结果也是一行一行输出到屏幕
-F'[:#/]'	定义三个分隔符

8、示例

1） 打印所有行

1. awk '{print}' file.txt

复制代码

2）打印特定列

1. awk '{print $1}' file.txt  # 打印第一列

复制代码

3）计算总和

1. awk '{sum += $1} END {print sum}' numbers.txt

复制代码

4）过滤特定模式

1. awk '/pattern/ {print}' file.txt

复制代码

5）使用多个模式

1. awk '/pattern1/ || /pattern2/ {print}' file.txt

复制代码

6）自定义分隔符

1. awk -F: '{print $1}' /etc/passwd  # 使用冒号作为分隔符，打印/etc/passwd文件的第一列（用户名）

复制代码

9、注意事项

• awk默认按行处理文本，并使用空格作为字段分隔符。
  
• awk支持变量定义、流程控制（如if、else、for、while）、数学函数和字符串函数等高级功能。
  
• awk还提供了BEGIN和END两个特殊的模式块，BEGIN块在读取任何输入行之前执行，END块在读取完所有输入行之后执行。
  
• awk中的$0代表整行文本，$1、$2、$3...代表第一个、第二个、第三个字段等。
  
• awk还包含一些内置变量，如NR（当前记录号，即行号）、NF（当前记录的字段数，即每行的列数）等。
  

这些只是 awk 基础使用的冰山一角。awk 的功能非常强大，可以编写复杂的脚本来处理各种各样的任务。
 
此文由博主精心撰写转载请保留此原文链接：https://www.cnblogs.com/xyh9039/p/18337347
版权声明：如有雷同纯属巧合，如有侵权请及时联系本人修改，谢谢！！！ 

来源:https://www.cnblogs.com/xyh9039/p/18337347
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！