Linux三剑客grep、sed、awk(包括练习题)

只是一种无奈

Linux grep、sed、awk（包含练习题）

一、grep

Linux grep (global regular expression) 命令用于查找文件里符合条件的字符串或正则表达式。

• 基本用法与常见的正则表达式
  

1. grep [options] pattern [files]
2. 命令         参数           匹配模式        文件数据
3.         -i：忽略大小写进行匹配。
4.         -v：反向查找，只打印不匹配的行。
5.         -n：显示匹配行的行号。
6.         -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
7.         -q 或 --quiet或--silent : 不显示任何信息。
8.         -o 或 --only-matching : 只显示匹配PATTERN 部分。
10. `找到mysql有关的行并显示行号`
11. [root@localhost /]# grep "mysql" /tmp/passwd.txt -n
12. 49:mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
14. `找到MYSQL有关的行不区分大小写`
15. [root@localhost /]# grep "MYSQL" /tmp/passwd.txt -i
16. 49:mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
18. `找到不是mysql有关的行`
19. [root@localhost /]# grep  "mysql" /tmp/passwd.txt -v
20. root:x:0:0:root:/root:/bin/bash
21. bin:x:1:1:bin:/bin:/sbin/nologin
22. daemon:x:2:2:daemon:/sbin:/sbin/nologin
24. `统计还有root行的行数`
25. [root@localhost /]# grep  "root" /tmp/passwd.txt -c
26. 2
28. ---^符号 锚定行的开始 如：'^grep'匹配所有以grep开头的行
29. `^ 以什么开头`
30. `找到m开头的行 不区分大小写`
31. [root@localhost /]# grep  '^m' /tmp/luffy.txt -i
32. My qq is 877348180.
33. My name is chaoge.
35. ---$符号 锚定行的结束 如：'grep$'匹配所有以grep结尾的行
36. `$ 以什么开结尾`
37. [root@localhost /]# grep  'oldboy$' /tmp/luffy.txt -i
38. I am oldboy
40. `找到luffy.txt文件中的空行   '^$'以空开头 以空结尾`
41. [root@localhost /]# grep  '^$' /tmp/luffy.txt -n
42. 3:
43. 5:
45. `找到luffy.txt文件中的非空行`
46. [root@localhost /]# grep  '^$' /tmp/luffy.txt -v
47. I am oldboy
48. I like linux.
49. My name is xuxuxu
50. #Our school website is http://xixixi.com
52. `找到luffy.txt文件中的非空非注释行`
53. [root@localhost /]# grep  '^$|^#' /tmp/luffy.txt -Ev
54. I am oldboy
55. I teach linux.
56. I like python.
57. My qq is 877348180.
58. My name is chaoge.
60. ---.符号 表示任意一个字符，有且只有一个，不包含空行
61. `"."点表示任意一个字符，有且只有一个，不包含空行`
62. '匹配出".ac"，找出任意一个两位字符，包含s'
63. [root@localhost /]# grep  '.s' /tmp/luffy.txt
64. My qq is 877348180.
65. My name is chaoge.
66. Our school website is http:/loldboyedu.com
68. `找到以.结尾的行 直接写.$会被当做任意字符 用\进行转义`
69. [root@localhost /]# grep  '\.$' /tmp/luffy.txt -i
70. I teach linux.
71. I like python.
72. My qq is 877348180.
73. My name is chaoge.
75. [root@localhost /]# grep  '/bin/bash$' /tmp/passwd.txt -n
76. 1:root:x:0:0:root:/root:/bin/bash
77. 44:test:x:1000:1000:test:/home/test:/bin/bash
78. 45:xiaosang:x:1001:1001::/home/xiaosang:/bin/bash
79. 46:biaosang:x:1002:1002::/home/biaosang:/bin/bash
81. `找到passwd.txt文件中以/bin/bash结尾的行，且只显示找到的/bin/bash本身`
82. [root@localhost /]# grep  '/bin/bash$' /tmp/passwd.txt -n -o
83. 1:/bin/bash
84. 44:/bin/bash
85. 45:/bin/bash
86. 46:/bin/bash
88. ---*符号 匹配零个或多个先前字符如：'*grep'匹配所有一个或多个空格后紧跟grep的行
89. [root@localhost /]# grep  'boy*' /tmp/luffy.txt
90. I am oldboy
91. #Our school website is http:/loldboyedu.com
93. `贪婪匹配`
94. [root@localhost /]# grep  '.*e' /tmp/luffy.txt  -o
95. I te
96. I like
97. My name is chaoge
98. Our school website is http:/loldboye
100. ---[]符号 匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep
101. [root@localhost /]# grep [ib]s /tmp/luffy.txt
102. My qq is 877348180.
103. My name is chaoge.
104. Our school website is http:/loldboyedu.com
106. [root@localhost /]# grep [a-z] /tmp/luffy.txt
107. I am oldboy
108. I teach linux.
109. I like python.
110. My qq is 877348180.
111. My name is chaoge.
112. Our school website is http:/loldboyedu.com
114. ---[^]符号 匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行

复制代码

• 扩展正则表达式实践
  此处使用grep -E 进行实践扩展正则，egrep官网已经弃用
  

1. +符号
2. `+号表示匹配前一个字符1次或多次，必须使用grep -E 扩展正则`
3. [root@localhost /]# grep  'l+' /tmp/luffy.txt -E
4. I am oldboy
5. I teach linux.
6. I like python.
7. Our school website is http:/loldboyedu.com
9. ？符号
10. `匹配前一个字符0次或1次`
11. `找到文件中包含gd或god的行`
12. [root@localhost /]# grep 'go?d' /tmp/test.txt -E
13. gd
14. god
16. |符号 在正则中表示或者的意思
17. `找到/tmp中txt文件，且名字里包含a或b的字符`
18. [root@localhost /]# find /tmp -name "*.txt" | grep -E "a|b"
19. /tmp/passwd.txt
20. /tmp/my_crontab.txt
22. ()符号
23. `将一个或多个字符捆绑在一起，当作一个整体进行处理`
24. [root@localhost /]# grep -E 'g(oo|al)d' /tmp/test.txt
25. good
26. gald
28. a{n,m}匹配a的次数
29. `重复前一个字符各种次数，可以通过-o参数显示明确的匹配过程`
30. [root@localhost /]# grep -E "x{2,4}" /tmp/xuxu.txt
31. xxxxxxxuuuuuu
32. xxxxuuuu
33. xxuu
35. [root@localhost /]# grep -E "x{2,4}" /tmp/xuxu.txt -o
36. xxxx
37. xxx
38. xxxx
39. xx
41. `最多匹配4次`
42. [root@localhost /]# grep -E "x{,4}" /tmp/xuxu.txt
43. xxxxxxxuuuuuu
44. xxxxuuuu
45. xu
46. xxuu
48. `最少匹配4次`
49. [root@localhost /]# grep -E "x{4,}" /tmp/xuxu.txt
50. xxxxxxxuuuuuu
51. xxxxuuuu

复制代码

二、sed

注意：sed和awk使用单引号，双引号有特殊解释
sed是Stream Editor（字符流编辑器）的缩写，简称流编辑器
sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

• 基本语法
  

1. sed [options] '{command}[flags]' filename   
2.         命令选项        内部选项和参数                文件
3. 命令选项
4. -e script 将脚本中指定的命令添加到处理输入时执行的命令中,  多条件，一行中要有多个操作
5. -f script 将文件中指定的命令添加到处理输入时执行的命令中
6. -n                 仅显示script处理后的结果
7. -i        编辑文件内容
8. -i.bak    修改时同时创建.bak备份文件。
9. -r        使用扩展的正则表达式
10. !         取反 （跟在模式条件后与shell有所区别）
12. sed常用内部命令
13. a   在匹配后面添加
14. i   在匹配前面添加
15. p   打印
16. d   删除
17. s   查找替换
18. c   更改
19. y   转换   N D P
21. flags
22. 数字             表示新文本替换的模式
23. g：             表示用新文本替换现有文本的全部实例
24. p：             表示打印原始的内容
25. w filename:     将替换的结果写入文件
27. 空地址 全文匹配
28. 单地址 指定文件某一行
29. /pattern/        被模式匹配的每一行
30. 范围区间         10，20 十到二十行 10，+5第10行向下5行，/pattern1/，/pattern2/
31. 步长        1~2，表示1，3，5，7，9行，2~2表示2，4，6，8，10偶数行

复制代码

• 基本用法
  

1. `打印第2、3行`
2. [root@localhost /]# sed "2,3p" /tmp/luffy.txt -n
3. I teach linux.
4. I like python.
6. `打印第一行和下面3行`
7. [root@localhost /]# sed "1,+3p" /tmp/luffy.txt -n
8. I am oldboy
9. I teach linux.
10. I like python.
11. I like linux.
13. `找出有linux的行并打印`
14. [root@localhost /]# sed "/linux/p" /tmp/luffy.txt -n
15. I teach linux.
16. I like linux.
18. `删除第5行至末尾行的内容`
19. [root@localhost ~]# sed '5,$d' /tmp/luffy2.txt -i
21. `s///替换 g表示全局替换`
22. [root@localhost ~]# sed 's/linux/java/g' /tmp/luffy2.txt -i
23. [root@localhost ~]# cat /tmp/luffy2.txt
24. I teach java.
25. I like python.
27. `多次替换`
28. [root@localhost ~]# sed -e 's/java/linux/g' -e 's/python/c++/g' /tmp/luffy2.txt -i
29. [root@localhost ~]# cat /tmp/luffy2.txt
30. I teach linux.
31. I like c++.
33. `在文件第二行后追加一行`
34. [root@localhost ~]# sed '2a good good study' /tmp/luffy2.txt -i
35. [root@localhost ~]# cat /tmp/luffy2.txt
36. I teach linux.
37. I like c++.
38. good good study
40. `在第三行前插入一行`
41. [root@localhost ~]# sed '3i happy every day' /tmp/luffy2.txt -i
42. [root@localhost ~]# cat /tmp/luffy2.txt
43. I teach linux.
44. I like c++.
45. happy every day
46. good good study
48. `在每一行加上分隔符`
49. [root@localhost ~]# sed 'a -------------' /tmp/luffy2.txt -i
50. [root@localhost ~]# cat /tmp/luffy2.txt
51. I teach linux.
52. -------------
53. I like c++.
54. -------------
55. happy every day
56. -------------
57. good good study
58. -------------
60. -------------
62. -------------
64. `双斜线正则匹配 配合d删除`
65. [root@localhost ~]# sed -e '/^$/d' -e '/^#/d' /tmp/luffy2.txt
66. I teach linux.
67. I like c++.
68. happy every day
69. good good study
70. [root@localhost ~]# sed  '/^$/d;/^#/d' /tmp/luffy2.txt
71. I teach linux.
72. I like c++.
73. happy every day
74. good good study
77. `取出linux的ip地址`  
78. [root@localhost ~]#  ifconfig ens33 | sed '2p' -n | sed 's/^.*inet//' | sed 's/net.*$//'
79. 192.168.70.14  
81. [root@localhost ~]# ifconfig ens33 | sed -e "2s/^.*inet//" -n  -e "2s/net.*$//p"
82. 192.168.70.14  

复制代码

三、awk

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
1，主要的作用：
用来处理文本，将文本按照指定的格式输出。其中包含了变量，循环以及数组。
2，语法

awk [option] 'pattern[action]' file ...
awk 参数          ‘条件动作’                 文件
Action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作就是print 和 printf

3,   action动作场景

• $0表示整行
  
• $NF表示当前分割后的最后一列
  
• 倒数第二列可以写成$(NF-1)
  

1. `打印所有列`
2. [root@localhost ~]# awk '{print $0}' /tmp/awktest.txt
3. xux1 xux2 xux3 xux4 xux5
4. xux6 xux7 xux8 xux9 xux10
5. xux11 xux12 xux13 xux14 xux15
6. xux16 xux17 xux18 xux19 xux20
7. xux21 xux22 xux23 xux24 xux25
8. xux26 xux27 xux28 xux29 xux30
9. xux31 xux32 xux33 xux34 xux35
10. xux36 xux37 xux38 xux39 xux40
11. xux41 xux42 xux43 xux44 xux45
12. xux46 xux47 xux48 xux49 xux50
14. `打印第一列`
15. [root@localhost ~]# awk '{print $1}' /tmp/awktest.txt
16. xux1
17. xux6
18. xux11
19. xux16
20. xux21
21. xux26
22. xux31
23. xux36
24. xux41
25. xux46

复制代码

4，内置变量

NR                  表示当前文件的行数
NF                  表示当前文件有几列
FS                  表示当前的列分隔符
RS                  表示当前的行分隔符
OFS            输出字段分隔符
ORS            输出记录分隔符

1. [root@localhost ~]# awk 'NR==5{print $0}' /tmp/awktest.txt
2. xux21 xux22 xux23 xux24 xux25
4. [root@localhost ~]# awk 'NR==5, NR ==6{print $0}' /tmp/awktest.txt
5. xux21 xux22 xux23 xux24 xux25
6. xux26 xux27 xux28 xux29 xux30
8. `打印第1-3行所有列`
9. [root@localhost ~]# awk 'NR==1,NR ==3{print $0}' /tmp/awktest.txt
10. xux1 xux2 xux3 xux4 xux5
11. xux6 xux7 xux8 xux9 xux10
12. xux11 xux12 xux13 xux14 xux15
14. `打印行号NR`
15. [root@localhost ~]# awk '{print NR,$0}' /tmp/awktest.txt
16. 1 xux1 xux2 xux3 xux4 xux5
17. 2 xux6 xux7 xux8 xux9 xux10
18. 3 xux11 xux12 xux13 xux14 xux15
19. 4 xux16 xux17 xux18 xux19 xux20
20. 5 xux21 xux22 xux23 xux24 xux25
21. 6 xux26 xux27 xux28 xux29 xux30
22. 7 xux31 xux32 xux33 xux34 xux35
23. 8 xux36 xux37 xux38 xux39 xux40
24. 9 xux41 xux42 xux43 xux44 xux45
25. 10 xux46 xux47 xux48 xux49 xux50
27. [root@localhost ~]# awk '{print $(NF-2),$(NF-1),$NF}' /tmp/awktest.txt
28. xux3 xux4 xux5
29. xux8 xux9 xux10
30. xux13 xux14 xux15
31. xux18 xux19 xux20
32. xux23 xux24 xux25
33. xux28 xux29 xux30
34. xux33 xux34 xux35
35. xux38 xux39 xux40
36. xux43 xux44 xux45
37. xux48 xux49 xux50
39. `ip地址`
40. [root@localhost ~]# ifconfig ens33 | awk 'NR==2{print $2}'
41. 192.168.70.14

复制代码

5,   自定义输出
​        注意：awk，必须 外层单引号，内层双引号
​        内置变量 $1、$2 都不得添加双引号，否则会识别为文本，尽量别加引号

1. `使用逗号默认空格分隔`
2. [root@localhost ~]#  awk '{print $1,$3,$5}' /tmp/awktest.txt  
3. xux1 xux3 xux5
4. xux6 xux8 xux10
5. xux11 xux13 xux15
6. xux16 xux18 xux20
7. xux21 xux23 xux25
8. xux26 xux28 xux30
9. xux31 xux33 xux35
10. xux36 xux38 xux40
11. xux41 xux43 xux45
12. xux46 xux48 xux50
14. [root@localhost ~]#  awk '{print "n1: "$1,"n2: "$3,"n3: "$5}' /tmp/awktest.txt
15. n1: xux1 n2: xux3 n3: xux5
16. n1: xux6 n2: xux8 n3: xux10
17. n1: xux11 n2: xux13 n3: xux15
18. n1: xux16 n2: xux18 n3: xux20
19. n1: xux21 n2: xux23 n3: xux25
20. n1: xux26 n2: xux28 n3: xux30
21. n1: xux31 n2: xux33 n3: xux35
22. n1: xux36 n2: xux38 n3: xux40
23. n1: xux41 n2: xux43 n3: xux45
24. n1: xux46 n2: xux48 n3: xux50

复制代码

6,   功能性参数

-F 指定分割字段符
-v 定义或修改一个awk内部的变量
-f 从脚本文件中读取awk命令
输入分隔符，awk默认是空格，空白字符，英文是field separator，变量名是FS
输出分隔符，output field separator，简称0FS
awk模式
关系运算符含义用法示例</tdtd小于/tdtdx < y/td/trtrtd=/tdtd小于等于/tdtdx = y/td/trtrtd==/tdtd等于/tdtdx == y/td/trtrtd!=/tdtd不等于/tdtdx != y/td/trtrtd=/tdtd大于等于/tdtdx = y/td/trtrtd>大于x > y~与对应的正则匹配则为真x ~ /正则/!~与对应的正则不匹配则为真x !~ /正则/

1. `-F 自定义输入分隔符`
2. [root@localhost ~]# awk -F ":"  'NR==1{print $0}' /tmp/passwd.txt
3. root:x:0:0:root:/root:/bin/bash
4. [root@localhost ~]# awk -F ":"  'NR==1{print $1}' /tmp/passwd.txt
5. root
7. `还可以用 FS 搭配-v 使用 改变输入分隔符`
8. [root@localhost ~]# awk -v FS=":" 'NR==1{print $1}' /tmp/passwd.txt
9. root
11. `使用单个逗号 输出分隔符默认是空格`
12. [root@localhost ~]# awk -F":" 'NR==1{print $1,$NF}' /tmp/passwd.txt
13. root /bin/bash
15. `自定义输出分割符号`
16. [root@localhost ~]# awk -F":" 'NR==1{print $1,"----------",$NF}' /tmp/passwd.txt
17. root ---------- /bin/bash  
19. `OFS 修改默认输出分隔符`
20. [root@localhost ~]# awk -F":" -v OFS="---------" 'NR==1{print $1,$NF}' /tmp/passwd.txt
21. root---------/bin/bash
23. `将输出分隔符修改为制表符`
24. [root@localhost ~]# awk -F":" -v OFS="\t" 'NR==1{print $1,$NF}' /tmp/passwd.txt
25. root    /bin/bash
27. `RS 指定符号为换行符`
28. [root@localhost ~]# awk -v RS=' ' '{print NR,$0}' /tmp/awktest.txt
29. 1 xux1
30. 2 xux2
31. 3 xux3
32. 4 xux4
33. 5 xux5
34. 6
35. xux6
36. 7 xux7
37. 8 xux8
38. 9 xux9
39. 10 xux10
40. 11
41. xux11
43. `ORS 将换行符换成自定义符号`
44. [root@localhost ~]# awk -v ORS='--------' '{print NR,$0}' /tmp/awktest.txt
45. 1 xux1 xux2 xux3 xux4 xux5 --------2 xux6 xux7 xux8 xux9 xux10 --------3 xux11 xux12 xux13 xux14 xux15 --------4 xux16 xux17 xux18 xux19 xux20 --------5 xux21 xux22 xux23 xux24 xux25 --------6 xux26 xux27 xux28 xux29 xux30 --------7 xux31 xux32 xux33 xux34 xux35 --------8 xux36 xux37 xux38 xux39 xux40 --------9 xux41 xux42 xux43 xux44 xux45 --------10 xux46 xux47 xux48 xux49 xux50--------
47. `BEGIN模式`
48. [root@localhost ~]# awk 'BEGIN{print "这是begin模式"} NR==1{print NR,$0}' /tmp/awktest.txt
49. 这是begin模式
50. 1 xux1 xux2 xux3 xux4 xux5
52. `BEGIN模式可以不加文件; awk可以使用自定义变量`
53. [root@localhost ~]# awk -v name="plmm" 'BEGIN{print "我喜欢",name}'
54. 我喜欢 plmm
56. `ARGV[N] 第一个是awk命令本身 第二个是文件名`
57. [root@localhost ~]# awk '{print ARGV[0],ARGV[1],$0}' /tmp/awktest.txt
58. awk /tmp/awktest.txt xux1 xux2 xux3 xux4 xux5
59. awk /tmp/awktest.txt xux6 xux7 xux8 xux9 xux10
60. awk /tmp/awktest.txt xux11 xux12 xux13 xux14 xux15
61. awk /tmp/awktest.txt xux16 xux17 xux18 xux19 xux20
62. awk /tmp/awktest.txt xux21 xux22 xux23 xux24 xux25
63. awk /tmp/awktest.txt xux26 xux27 xux28 xux29 xux30
64. awk /tmp/awktest.txt xux31 xux32 xux33 xux34 xux35
65. awk /tmp/awktest.txt xux36 xux37 xux38 xux39 xux40
66. awk /tmp/awktest.txt xux41 xux42 xux43 xux44 xux45
67. awk /tmp/awktest.txt xux46 xux47 xux48 xux49 xux50
68. [root@localhost ~]# awk '{print ARGV[0],ARGV[1],ARGV[2],$0}' /tmp/awktest.txt
69. awk /tmp/awktest.txt  xux1 xux2 xux3 xux4 xux5
70. awk /tmp/awktest.txt  xux6 xux7 xux8 xux9 xux10
71. awk /tmp/awktest.txt  xux11 xux12 xux13 xux14 xux15
72. awk /tmp/awktest.txt  xux16 xux17 xux18 xux19 xux20
73. awk /tmp/awktest.txt  xux21 xux22 xux23 xux24 xux25
74. awk /tmp/awktest.txt  xux26 xux27 xux28 xux29 xux30
75. awk /tmp/awktest.txt  xux31 xux32 xux33 xux34 xux35
76. awk /tmp/awktest.txt  xux36 xux37 xux38 xux39 xux40
77. awk /tmp/awktest.txt  xux41 xux42 xux43 xux44 xux45
78. awk /tmp/awktest.txt  xux46 xux47 xux48 xux49 xux50
80. `在引用外部变量`
81. [root@localhost ~]# what="我喜欢plmm！！！"
82. [root@localhost ~]# awk -v name=$what 'BEGIN{print name}'
83. 我喜欢plmm！！！

复制代码

7,   print 和 printf 的区别

• ​        printf动作默认不会添加换行符
  
• ​    print 默认添加空格换行符
  
• ​    printf需要指定format；
  
  
  
  • %d打印单个ASCII 字符 printf("The character is %c\n",x) 输出: The character is A%d打印一个十进制数 printf("The boy is %d years old\n",y) 输出：The boy is 15 years old%e打印数字的e 记数法形式 printf("z is %e\n",z) 打印: z is 2.3e+0 1%f打印一个浮点数 printf("z is %f\n", 2.3 * 2) 输出: z is 4.600000%o打印数字的八进制 printf("y is %o\n",y) 输出：z is 17%s打印一个字符串 print("The name of the culprit is %s\n",$1) 输出：The name of the culprit is Bob Smith
    
  
  
• printf修饰符
  
  
  
  • -：左对齐，默认右对齐
    
  • +：显示数值符号；printf "%+d"
    
  
  

1. [root@localhost ~]# awk '{printf $1}' /tmp/awktest.txt
2. xux1xux6xux11xux16xux21xux26xux31xux36xux41xux46[root@localhost ~]#
4. `%s`
5. [root@localhost ~]# awk '{printf "%s\n",$1}' /tmp/awktest.txt
6. xux1
7. xux6
8. xux11
9. xux16
10. xux21
11. xux26
12. xux31
13. xux36
14. xux41
15. xux46
17. [root@localhost ~]# awk '{printf "第一列 %s     第二列 %s    第三列 %s\n",$1,$2,$3}' /tmp/awktest.txt
18. 第一列 xux1     第二列 xux2    第三列 xux3
19. 第一列 xux6     第二列 xux7    第三列 xux8
20. 第一列 xux11     第二列 xux12    第三列 xux13
21. 第一列 xux16     第二列 xux17    第三列 xux18
22. 第一列 xux21     第二列 xux22    第三列 xux23
23. 第一列 xux26     第二列 xux27    第三列 xux28
24. 第一列 xux31     第二列 xux32    第三列 xux33
25. 第一列 xux36     第二列 xux37    第三列 xux38
26. 第一列 xux41     第二列 xux42    第三列 xux43
27. 第一列 xux46     第二列 xux47    第三列 xux48
29. `%d`
30. [root@localhost ~]# awk 'BEGIN{printf "%d%d%d%d\n",1,2,3,4}'
31. 1234
33. `- +对齐`
34. [root@localhost ~]# awk '{printf "第一列 %-20s第二列 %-20s第三列 %-20s\n",$1,$2,$3}' /tmp/awktest.txt
35. 第一列 xux1                第二列 xux2                第三列 xux3               
36. 第一列 xux6                第二列 xux7                第三列 xux8               
37. 第一列 xux11               第二列 xux12               第三列 xux13               
38. 第一列 xux16               第二列 xux17               第三列 xux18               
39. 第一列 xux21               第二列 xux22               第三列 xux23               
40. 第一列 xux26               第二列 xux27               第三列 xux28               
41. 第一列 xux31               第二列 xux32               第三列 xux33               
42. 第一列 xux36               第二列 xux37               第三列 xux38               
43. 第一列 xux41               第二列 xux42               第三列 xux43               
44. 第一列 xux46               第二列 xux47               第三列 xux48   

复制代码

grep 练习题

1. `找出root开头的行`
2. [root@localhost ~]# grep '^root' /tmp/passwd.txt
3. root:x:0:0:root:/root:/bin/bash
5. `匹配以root开头或者以mysql开头的行，注意定位锚点`
6. [root@localhost ~]# grep -E '^(root|mysql)' /etc/passwd
7. root:x:0:0:root:/root:/bin/bash
8. mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
10. `过滤出除了root开头的行`
11. [root@localhost ~]# grep -v '^root' /etc/passwd
12. bin:x:1:1:bin:/bin:/sbin/nologin
13. daemon:x:2:2:daemon:/sbin:/sbin/nologin
14. adm:x:3:4:adm:/var/adm:/sbin/nologin
16. `统计root出现的次数`
17. [root@localhost ~]# grep 'root' /etc/passwd -c
18. 2
20. `匹配test用户最多一次 -m`
21. [root@localhost ~]# grep '^test' /etc/passwd -m 1
22. test:x:1000:1000:test:/home/test:/bin/bash
24. `匹配多个文件，列出存在信息的文件名字`
25. [root@localhost ~]# grep 'test' /tmp/passwd.txt /etc/passwd /tmp/test.txt -l
26. /tmp/passwd.txt
27. /etc/passwd
29. `显示/etc/passwd文件中不以/bin/bash结尾的行`
30. [root@localhost ~]# grep -v '/bin/bash$' /tmp/passwd.txt
31. bin:x:1:1:bin:/bin:/sbin/nologin
32. daemon:x:2:2:daemon:/sbin:/sbin/nologin
33. adm:x:3:4:adm:/var/adm:/sbin/nologin
34. lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
36. `匹配uid和gid是2,3数字的行`
37. [root@localhost ~]# grep -E '\<[0-9]{2,3}\>' /tmp/passwd.txt
38. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
39. operator:x:11:0:operator:/root:/sbin/nologin
40. games:x:12:100:games:/usr/games:/sbin/nologin
41. ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
42. nobody:x:99:99:Nobody:/:/sbin/nologin
43. systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
45. `找出文件中，以至少一个空白字符开头，后面是非空字符的行`
46. [root@localhost ~]# grep '^[[:space:]].*' /tmp/luffy2.txt
47. happy every day
48. [root@localhost ~]# grep '^[[:space:]]+[^[:space:]]' /tmp/luffy2.txt  -E
49. happy every day
51. [root@localhost ~]# grep -E '^(root|mysql|xiao)' /tmp/passwd.txt
52. root:x:0:0:root:/root:/bin/bash
53. xiaosang:x:1001:1001::/home/xiaosang:/bin/bash
54. mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
55. xiao:x:555:555::/home/www:/shbin/nologin
56. xiao1:x:555:555::/home/www:/shbin/nologin
58. [root@localhost ~]# grep -E '^(root|mysql|xiao)\>' /tmp/passwd.txt
59. root:x:0:0:root:/root:/bin/bash
60. mysql:x:27:27:MariaDB Server:/var/lib/mysql:/sbin/nologin
61. xiao:x:555:555::/home/www:/shbin/nologin
63. `找出/etc/init.d/functions文件中的所有函数名`
64. [root@localhost ~]# grep -E '[a-zA-Z]+\(\)' /etc/init.d/functions
65. checkpid() {
66. __kill_pids_term_kill_checkpids() {
67. __kill_pids_term_kill() {
68. __pids_var_run() {
69. __pids_pidof() {
70. daemon() {
71. killproc() {
73. `找出:前面字符与结尾相同的行`
74. [root@localhost ~]# grep -E '^([^:]+).*\1$' /tmp/passwd.txt
75. sync:x:5:0:sync:/sbin:/bin/sync
76. shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
77. halt:x:7:0:halt:/sbin:/sbin/halt
78. nobody:x:99:99:Nobody:/:/sbin/nologin
79. ntp:x:38:38::/etc/ntp:/sbin/nologin
80. nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
81. nginx:x:987:981:Nginx web server:/var/lib/nginx:/sbin/nologin

复制代码

sed 练习题

1. `将开头是#符号的行和空行删除`
2. [root@localhost ~]# sed -e '/^$/d' -e '/^#/d' /tmp/luffy2.txt
3. I teach linux.
4. I like c++.
5. happy every day
6. good good study
8. `将文本中空行，开头是空格的行替换为#`
9. [root@localhost ~]# sed -e 's/^[[:space:]]/#/g' -e 's/^$/#/g' /tmp/luffy2.txt
10. I teach linux.
11. #
12. I like c++.
13. #
14. happy every day
15. #
16. #good good study
17. #
18. #
20. `在文本前三行加上@符号` ==用了扩展正则表达式 -r，引用了原文 \1==
21. [root@localhost ~]# sed  -r '1,3s/(^.)|(^$)/@\1/' /tmp/luffy2.txt
22. @I teach linux.
23. @
24. @I like c++.
26. happy every day
28. good good study
31. `sed 取ip地址`
32. [root@localhost ~]# ifconfig
33. ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
34.         inet 192.168.70.14  netmask 255.255.255.0  broadcast 192.168.70.255
35.         inet6 fe80::3a93:caf:b995:b1d6  prefixlen 64  scopeid 0x20<link>
36.         ether 00:0c:29:c0:b0:a1  txqueuelen 1000  (Ethernet)
37.         RX packets 13469  bytes 1208013 (1.1 MiB)
38.         RX errors 0  dropped 0  overruns 0  frame 0
39.         TX packets 9149  bytes 1040700 (1016.3 KiB)
40.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
41.         
42. [root@localhost ~]# ifconfig ens33 | sed '2s/^.*inet//;2s/netm.*//p'  -n
43. 192.168.70.14
46. `sed 找出系统版本`
47. [root@localhost ~]# cat /etc/centos-release
48. CentOS Linux release 7.9.2009 (Core)
49. `中括号中间^取反,+贪婪匹配，() \1 扩展正则`
50. [root@localhost ~]# sed -r 's/^.*release[[:space:]]//;s/([^.]+).*/\1/p' /etc/centos-release -n
51. 7

复制代码

awk练习题

<blockquote>[code]`在当前系统中打印用户的用户名和家目录`[root@localhost ~]# awk -F ":" '$3>=1000{print $1,$(NF-1)}' /tmp/passwd.txt nfsnobody /var/lib/nfstest /home/testxiaosang /home/xiaosangbiaosang /home/biaosang`给/tmp/xuxu.txt文件的前五行，添加#号`[root@localhost ~]# awk 'NR