文本处理命令之sed

[TOC]

一、什么是sed，以及sed是如何工作的？

1、sed是一个流编辑器，它可以对从标准输入流中得到数据进行处理，然后把处理以后得到的结果输出到标准输出，而标准输出通常关联到终端屏幕，因此处理后的结果也会显示到屏幕上。

2、sed的工作模式，当sed命令执行时，它会从输入文件中（或者标准输入）读取一行数据，并把这行数据复制一份保存在它内部的一个工作缓存中。sed命令把它的这个缓存叫做模式空间，所有的数据都是在这个缓存处理的。然后sed命令会根据指定的编辑命令对缓存中的数据精心处理。当这行数据处理完以后，sed会读取下一行数据，重复整个过程，直到所有的数据被处理完为止。当有多个编辑命令时，会将上一个编辑命令处理完的结果作为下一个编辑命令的输入，重复数据处理过程，并且严格按照顺序执行，先执行完前面的，再执行后面的，所以需要注意顺序，避免得不到预期的结果。

二、sed的语法

1、基本语法

1
sed  选项  '编辑命令'  filename

mark

2、选项

-n：仅列出编辑命令处理的行，一般和p动作合用

1
2
3
[root@allen1 sed]# sed -n '/root/p'  passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

-e：同时实现多个命令，每个编辑命令前加-e，可用于脚本

1
2
3
4
5
[root@allen1 sed]# sed -e '/root/p' -e '/bus/p'  -n  passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin

-r：使用特殊符号时，不用使用转义符，与grep的-E选项作用一致

-i：直接读取修改文件的内容，在i后面加上.bak可以在修改之前将原文件备份为filename.bak

-f：指定编辑命令脚本文件

3、如何选择操作的行

（1）在sed编辑命令前指定操作的行

#sed ‘3d’ file \\选择第三行

#sed ‘3,8d’ file \\表示指定行的范围，起始行需要小于终止行（不能缺少）

#sed -n ‘3,+3p’ file \\表示打印第三行以及后面三行

#sed -n ‘1~2p’ file \\起始行为第1行，“~”表示每隔1行取一行打印。

（2）使用正则表达式确定操作的行

#sed ‘/^$/d’ file

#sed -n ‘/pattern1/,/pattern2/‘p file \\打印文件中从正则1到正则2的行

（3）匹配字符串

#sed -n ‘/字符串1/p’ file \\打印文件中包含字符串1的行

4、编辑命令动作

（1）p：打印，一般与选项-n一起使用

可打印，’行数’ ‘/字符串/‘ ‘/正则表达式/‘

1
2
3
#sed -n '5,10'p  passwd        #打印5-10行
#sed -n '/root/'p  passwd      #打印包含'root'的行
#sed -n '/[0-9]/'p passwd      #打印包含数字的行

如何不打印匹配到的内容，在p前面加一个!即可

（2）d：删除

可删除，’行数’ ‘/字符串/‘ ‘/正则表达式/‘

1
2
3
#sed  '5,10'd  passwd        #删除5-10行
#sed  '/root/'d  passwd      #删除包含'root'的行
#sed  '/[0-9]/'d passwd      #删除包含字母的行

（3）i，在匹配到的行上方插入内容

可匹配，’行数’ ‘/字符串/‘ ‘/正则表达式/‘

1
2
3
4
5
#sed '1i$a test' passwd				#匹配到第1行，并在上方插入“$a test”
#sed '/root/i$a test' passwd		#匹配到包含“root”的行，并在上方插入“$a test”
#sed '/^root/i$a test' passwd		#匹配到以”root“开头的行，并在上方插入“$a test”
#如何插入多行：
sed '1i$a test\n$b test'   passwd	使用/n换行符可以插入多行

（4）a，在匹配到的行下方增加内容

可匹配， ‘行数’ ‘/字符串/‘ ‘/正则表达式/‘

1
2
3
4
5
#sed '1a$a test' passwd				#匹配到第1行，并在下方插入“$a test”
#sed '/root/a$a test' passwd		#匹配到包含“root”的行，并在下方插入“$a test”
#sed '/^root/a$a test' passwd		#匹配到以”root“开头的行，并在下方插入“$a test”
#如何插入多行：
sed '1a$a test\n$b test'   passwd	使用/n换行符可以插入多行

（5）I：匹配字符串时不区分大小写，需要写在p前面

1
2
3
4
5
6
[root@allen1 grep]# sed -n '/^j/Ip' test2 
Jesse Neal:408-233-8971:45 Rose Terrace, San Francisco, CA 92303:2/3/36:25000
Jose Santiago:385-898-8357:38 Fife Way, Abilene, TX 39673:1/5/58:95600
job
[root@allen1 grep]# sed -n '/^j/pI' test2 
sed：-e 表达式 #1，字符 6：命令后含有多余的字符

（6）s，替换匹配到的字符

可匹配， ‘/字符串/’ ‘/表达式/’

语法：s/被替换字符/替换字符/gi 被替换字符=A 替换字符=B

​ 多行替换：n,ns/A/B/g n,$s/A/B/g %s/A/B/g

​ /可以使用#，@替代，g表示全局替换，i表示不区分大小写。

5、编辑命令中“s”动作的使用

（1）基本语法

sed ‘/正则1/s/正则2/正则3/gi’ file

说明：匹配到正则1的行，将正则2匹配到的内容修改为正则3的内容。

①其中的“/”可以使用“#”OR“@”替换

②正则1可以省略，表示全局替换。也可以使用行号代替。\#sed ‘1,3s/A/B/gi’

③正则2表示准备替换的内容，正则3表示替换内容。

④g表示整行替换，i表示不区分大小写

（2）如何引用匹配到的内容

使用符号“&”可以替代正则2匹配到的结果

#sed ‘’s/正则2/&字符串/gi \\在正则2匹配到的内容后面添加内容

#sed ‘’s/正则2/字符串&/gi \\将正则2匹配到的内容前面添加内容

1
2
3
4
5
6
7
8
9
10
11
[root@allen1 grep]# sed 's/^.*$/test:&/g'  /root/passwd 
test:root:x:0:0:root:/root:/bin/bash
test:bin:x:1:1:bin:/bin:/sbin/nologin
test:daemon:x:2:2:daemon:/sbin:/sbin/nologin
test:adm:x:3:4:adm:/var/adm:/sbin/nologin
.......
[root@allen1 grep]# sed 's/^.*$/&:test/g'  /root/passwd 
root:x:0:0:root:/root:/bin/bash:test
bin:x:1:1:bin:/bin:/sbin/nologin:test
daemon:x:2:2:daemon:/sbin:/sbin/nologin:test
......

（3）替换字符位置

替换字符位置需要根据文件的特征，使用相应的正则表达式表示需要替换的字符串。并用（）表示成一个整体，方便后面引用，使用\1,\2进行引用，最多9个。

#sed -r ‘s/(rot)(.*)(bash)/\3\2\1/‘ passwd

1
2
3
#将passwd文件中的“rot”与"bash"互换位置
[root@allen1 sed]# sed -r  's/(rot)(.*)(bash)/\3\2\1/g'   passwd
bash:x:0:0:root:/root:/bin/rot

sed -r ‘1s/([^:]+):(.*):([^:]+)/\3:\2:\1/g’ passwd

1
2
3
#将passwd中的第一行以冒号分隔的第一段和第二段互换位置
[root@allen1 sed]# head passwd |sed -r '1s/([^:]+):(.*):([^:]+)/\3:\2:\1/g'
/bin/bash:x:0:0:root:/root:rot

（4）（）与\1，&的应用：

①将（）表示的内容替换为整行

1
2
3
#快速显示IP
[root@allen1 ~]# ifconfig ens33|sed -r '2s#inet (.*) netmask.*$#\1#g'|sed -n '2p' 
192.168.205.137

②&与\1一起使用后，使用bash执行输出内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#批量重名文件：
[root@chensiqi1 chen]# find ./ -name "*_finished.jpg"
./stu_102999_1_finished.jpg
./stu_102999_5_finished.jpg
./stu_102999_3_finished.jpg
./stu_102999_2_finished.jpg
./stu_102999_4_finished.jpg
要求为：stu_102999_1_finished.jpg==>stu_102999_1.jpg
[root@chensiqi1 chen]# find ./ -name "*_finished.jpg" | sed -r 's#^(.*)_finished(.*)#\1\2#g'
./stu_102999_1.jpg
./stu_102999_5.jpg
./stu_102999_3.jpg
./stu_102999_2.jpg
[root@chensiqi1 chen]# find ./ -name "*_finished.jpg" | sed -r 's#^(.*)_finished(.*)#& \1\2#g' 
./stu_102999_1_finished.jpg ./stu_102999_1.jpg
./stu_102999_5_finished.jpg ./stu_102999_5.jpg
./stu_102999_3_finished.jpg ./stu_102999_3.jpg
./stu_102999_2_finished.jpg ./stu_102999_2.jpg
./stu_102999_4_finished.jpg ./stu_102999_4.jpg
[root@chensiqi1 chen]# find ./ -name "*_finished.jpg" | sed -r 's#^(.*)_finished(.*)#mv & \1\2#g' 
mv ./stu_102999_1_finished.jpg ./stu_102999_1.jpg
mv ./stu_102999_5_finished.jpg ./stu_102999_5.jpg
mv ./stu_102999_3_finished.jpg ./stu_102999_3.jpg
mv ./stu_102999_2_finished.jpg ./stu_102999_2.jpg
mv ./stu_102999_4_finished.jpg ./stu_102999_4.jpg
[root@chensiqi1 chen]# find ./ -name "*_finished.jpg" | sed -r 's#^(.*)_finished(.*)#mv & \1\2#g' |bash
[root@chensiqi1 chen]# ls
stu_102999_1.jpg  stu_102999_2.jpg  stu_102999_3.jpg  stu_102999_4.jpg  stu_102999_5.jpg
命令说明：
1.“\1”代表前面“(^.*)”匹配内容，“&”代表“s# #”里被替换的内容，这里匹配到的是完整的文件名。
2.使用bash命令执行，bash命令执行标准输入的语句，如同我们在命令行输入语句后敲回车。

一些复杂的操作，可以使用sed显示出来，然后使用|bash直接执行。

三、sed的拓展使用

1、sed修改文件时先备份文件

在-i选项后边加上.bak(.任意字符)，sed会对文件进行先备份后修改

1
2
3
4
5
6
7
[root@allen1 file2]# cat aa
1111111111111111111111111111111111111111111111111111111
[root@allen1 file2]# sed -i.bak  's/[0-9]/a/g' aa
[root@allen1 file2]# cat aa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
[root@allen1 file2]# cat aa.bak
1111111111111111111111111111111111111111111111111111111

2、sed如何获取行号

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@allen1 file2]# cat bb
aaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaa
aaaaaaaaaaaaa
aaaaa
[root@allen1 file2]# sed  '='  bb
1
aaaaaaaaaaaaaaaaaaaaaa
2
aaaaaaaaaaaaaaa
3
aaaaaaaaaaaaa
4
aaaaa
#输出的是行号与行分开
改进：sed  '='  bb |sed  'N;S/\N/ /'
N：表示读取下一行数据并附加到模式空间

匹配行数，字符串，正则表达式，指定显示行号

显示总行数的方法：sed -n '$=' filename

3、sed如何取不连续的行

1
2
3
[root@allen1 file2]# sed -n  '2p;4p'  bb
aaaaaaaaaaaaaaa
aaaaa

4、特殊符号{}的使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[root@allen1 file2]# sed -n  '2,4p;='  bb
1
aaaaaaaaaaaaaaa
2
aaaaaaaaaaaaa
3
aaaaa
4
5
6
7
8
[root@allen1 file2]# sed -n  '2,4{p;=}'  bb
aaaaaaaaaaaaaaa
2
aaaaaaaaaaaaa
3
aaaaa
4
sed是一个编辑命令处理一次后，再重新加载文件内容处理第二个编辑命令，
{}可以将几个sed编辑命令统一，只在一个数据流中处理，避免重复输出
× 文章目录
  1. 1. 一、什么是sed，以及sed是如何工作的？
  2. 2. 二、sed的语法
    1. 2.1. 1、基本语法
    2. 2.2. 2、选项
    3. 2.3. 3、如何选择操作的行
    4. 2.4. 4、编辑命令动作
    5. 2.5. 5、编辑命令中“s”动作的使用
  3. 3. 三、sed的拓展使用
    1. 3.1. 1、sed修改文件时先备份文件
    2. 3.2. 2、sed如何获取行号
    3. 3.3. 3、sed如何取不连续的行
    4. 3.4. 4、特殊符号{}的使用

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

企鹅409631175