文本处理命令之grep

2017-07-03

[TOC]

grep的作用是可以匹配文件内容中指定的字符串，并显示字符串所在的行。如果只是匹配字符串，那么作用就很有限。所以grep也是支持正则表达式的。

一、正则表达式

正则表达式：某个字符串集合的精确表达，由普通字符和特殊字符构成，普通字符包括大小写字母，数字及空格和下划线，而特殊字符对正则表达式来说具有特殊的含义，它会被扩展用来匹配普通字符。正式因为使用了这些特殊字符，才使得我们不用明确一一指定普通字符的不同组合。

特殊字符含义：

mark

[字符]：表示匹配[ ]中限定的字符范围。[0-9]表示数字，[a-z]表示小写字母

^：一般表示行首以什么开头，在[ ]中表示范围取反

$：行的结尾，^\$表示空行

.：表示任意一个字符

*：表示前面的字符有0个或多个，**不表示一个字符，表示的是在它前面字符的个数**

.*：任意字符

以下特殊符号需要脱义或者使用egrep（grep -E）

{}：表示匹配的字符重复的次数

()：表示一个整体，后面需要引用时，使用n，n为数字

?：表示0个或1个前面字符

+：表示一个或多个前面字符

|：表示或者，字符串1|字符串2|字符串3

二、grep用法

mark

1、格式

grep 选项 “字符串（正则表达式）” 文件名

2、选项作用

-n 打印行号

1
2
3

[root@allen1 ~]# grep  -n "root" passwd 
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

-c 统计符合要求的行数

1 2	[root@allen1 ~]# grep -c "root" passwd 2

-v 打印不符合要求的行

[root@allen1 ~]# cat passwd |wc -l 
27
[root@allen1 ~]# grep  -vc "root" passwd 
25

-i 忽略大小写

[root@allen1 ~]# grep  -i "root" passwd 
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ROOT
Root
rooT

-w 精确匹配

[root@allen1 ~]# grep   "12" passwd 
123
12
124
[root@allen1 ~]# grep  -w "12" passwd 
12

-r 匹配目录下

[root@allen1 ~]# grep -r "root" ./
./d6z/1.txt:#                       reboot. Useful when non-root dump target is specified.
./d6z/1.txt:#sshkey /root/.ssh/kdump_id_rsa
./d6z/1.txt:log_group = root
./d6z/1.txt:action_mail_acct = root
./d6z/1.txt:# use chroot = yes
匹配到二进制文件 ./d6z/test2.tar
./passwd:root:x:0:0:root:/root:/bin/bash
./passwd:operator:x:11:0:operator:/root:/sbin/nologin
.......
#在一个目录下，过滤所有*.php文档中含有eval的行：grep -r --include="*.php" 'eval' /data/

-q 安静模式，即不输出内容，用于shell脚本判断

-E 使用特殊符号是不需要使用脱义符，类似egrep

-l 匹配多个文件时，输出只打印符合条件的文件

[root@allen1 ~]# grep -lr "root" ./
./.bash_history
./.ssh/id_rsa.pub
./test1/split.aa
./test1/split.ab
./test1/split.ac
./test1/split.ad
./test1/split.ae
.....

-ABC 后面跟数字，显示匹配到的行的上下n行

A：所在行以及下面n行

B：所在行以及上面n行

C：所在行以及上下n行

三、grep应用实例

grep -n ‘root’ /etc/passwd

#匹配包含root的行并显示行号
[root@allen1 ~]# grep -n "root" passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin

grep -nv ‘nologin’ /etc/passwd

#显示匹配不包含nologin的行，并显示行号
[root@allen1 ~]# grep -nv 'nologin' passwd
1:root:x:0:0:root:/root:/bin/bash
6:sync:x:5:0:sync:/sbin:/bin/sync
7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8:halt:x:7:0:halt:/sbin:/sbin/halt
22:user2:x:1010:1002::/home/user2:/bin/bash
.......

grep ‘[0-9]’ /etc/inittab

#匹配包含数字的行
[root@allen1 ~]# grep '[0-9]' /etc/inittab 
# multi-user.target: analogous to runlevel 3
# graphical.target: analogous to runlevel 5

grep -v ‘[0-9]’/etc/inittab

#匹配包含数字的行，但是显示不包含数字的行
[root@allen1 ~]# grep -v '[0-9]' /etc/inittab 
# inittab is no longer used when using systemd.
#
# ADDING CONFIGURATION HERE WILL HAVE NO EFFECT ON YOUR SYSTEM.
#
# Ctrl-Alt-Delete is handled by /usr/lib/systemd/system/ctrl-alt-del.target
#
# systemd uses 'targets' instead of runlevels. By default, there are two main targets:
.......

grep -v ‘^#’ /etc/inittab

#匹配空行，但是显示不是空行的行
[root@allen1 ~]# grep -v '[0-9]' /etc/inittab 
# inittab is no longer used when using systemd.
#
# ADDING CONFIGURATION HERE WILL HAVE NO EFFECT ON YOUR SYSTEM.
#
# Ctrl-Alt-Delete is handled by /usr/lib/systemd/system/ctrl-alt-del.target
.......

grep -v ‘^#’ /etc/inittab|grep -v ‘^$’

1
2
3

#首先显示不以“#”开头的行，在显示不是空行的行
[root@allen1 ~]# grep -v '^#' /etc/inittab |grep -v '^$'
hello

grep ‘^[^a-zA-Z]‘ test.txt

#匹配以非字母开头的行
[root@allen1 ~]# grep  '^[^a-zA-Z]'  test.txt 
23ss
1d22dwsa

grep ‘r.o’ test.txt

#匹配包含ro之间有任意一个字符的行
[root@allen1 ~]# grep  'r.o' test.txt 
roo
r.o
r?o
r1o

grep ‘oo*’ test.txt

#匹配一个o或者多个o的行
[root@allen1 ~]# grep  'oo*' test.txt 
roo
r.o
r?o
r1o
r22o
ooo
o
ooooooo

grep ‘.*’ test.txt

#匹配任意内容
[root@allen1 ~]# grep '.*' test.txt 
aa22
23ss
1d22dwsa
a132
roo
r.o
r?o
r1o
r22o
ooo
o
ooooooo

grep -E ‘o{2}‘ test.txt

#匹配含有两个o的行
[root@allen1 ~]# grep  'o{2}' test.txt  -E
roo
ooo

egrep ‘o{2}’ test.txt

1	#与上方例子左右一致

egrep ‘o+’ test.txt

#匹配至少1个o或者多个o的行
[root@allen1 ~]# egrep 'o+' test.txt 
roo
r.o
r?o
r1o
r22o
ooo
o
ooooooo

egrep ‘oo?’ /etc/passwd

#匹配一个o或者两个o的行
[root@allen1 ~]# egrep 'oo?' test.txt 
roo
r.o
r?o

egrep ‘root|nologin’ /etc/passwd

匹配包含“root”或者“nologin”的行
[root@allen1 ~]# egrep  'root|nologin' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

egrep ‘(oo){2}’ /etc/passwd

#匹配包含两个oo的行
[root@allen1 ~]# egrep  'oo{2}' passwd
oooooo
oooooooo