文本處理——sed初步

sed是一種流編輯器，它一次處理一行內容。

處理時，把當前處理的行存儲在臨時緩沖區(pattern space),同時輸出到屏幕，接著用sed命令處理緩沖區中的內容，接著讀取下一行，這樣不斷重復，直到文件末尾。

用法：

sed -[options] [操作] inputfile

-n：不輸出模式空間內容到屏幕，即不自動打印

-e: 多點編輯

-f：/PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本

-r: 支持使用擴展正則表達式

-i.bak: 原處編輯并且備份源文件（.bak可以改為任意字符）

操作： [地址定界]function

地址定界：最簡單的是n1,n2function:從n1匹配到n2的行，然后進行操作比如：10,20[動作行為]

單地址：

#：指定的行

/pattern/:被此模式匹配到的行，如果要使用擴展的正則表達式，則要使用-f選項

地址范圍：

#,#從行到行

#，+#：比如3,+6代表是從第3行開始增加6行到第9行

/pat1/,/pat2/:pat1到pat2的行，如果匹配到pat1到pat2，將其加入到緩沖區，并且會繼續向下匹配

#,/pat1/

~:步進

1~2：匹配奇數行。從第一行開始，每隔2行匹配一次

2~2：匹配偶數行

function：

d: 刪除模式空間匹配的行，因為是刪除啊，所以 d 后面通常不接任何咚咚；

p: 顯示模式空間中的內容

a [\]text：在指定行后面追加文本

支持使用\n實現多行追加

i [\]text：在行前面插入文本

c [\]text：替換行為單行或多行文本

w /path/somefile: 保存模式匹配的行至指定文件，sed ‘10,90w /root/file’ file1將從f1匹配到的行到file

r /path/somefile：讀取指定文件的文本至模式空間中

匹配到的行后

=: 為模式空間中的行打印行號

!:模式空間中匹配行取反處理cat

s///：查找替換,支持使用其它分隔符，s@@@，s###

替換標記：

g: 行內全局替換

w /PATH/TO/SOMEFILE：將替換成功的行保存至文件中

數據的搜尋并執行命令

搜索/etc/passwd,找到root對應的行，執行后面花括號中的一組命令，每個命令之間用分號分隔，這里把bash替換為blueshell，再輸出這行：

nl /etc/passwd | sed -n ‘/root/{s/bash/blueshell/;p}’

root:x:0:0:root:/root:/bin/blueshell

如果只替換/etc/passwd的第一個bash關鍵字為blueshell，就退出

nl /etc/passwd | sed -n ‘/bash/{s/bash/blueshell/;p;q}’

root:x:0:0:root:/root:/bin/blueshell

最后的q是退出。

案例：

nl /etc/passwd |sed ‘2d’只刪除第 2 行

sed ‘/^#\|^[[:space:]]*$/d’ f1搜索出來以#號開頭或有空白行

sed –n ‘2p’ /etc/passwd??? 輸出第二行

sed –n ‘1,4p’ /etc/passwd從第一行到第四行顯示

sed –n ‘/root/p’ /etc/passwd??? 顯示匹配到root的行

sed –n ‘2,/root/p’ /etc/passwd 從2行開始匹配root，并顯示

sed -n ‘/^$/=’ file 顯示空行行號

sed –n –e ‘/^$/p’ –e ‘/^$/=’ file 多點編輯，我覺得類似grep的-e選項，或者的關系

sed ‘/root/a\superman’ /etc/passwd行后添加字符

sed ‘/root/i\superman’ /etc/passwd 行前

sed ‘/root/c\superman’ /etc/passwd 代替行

sed ‘/^$/d’ file刪除空行，不包括空格組成的空行

sed ‘1,10d’ file

nl /etc/passwd | sed ‘2,5d’

nl /etc/passwd | sed ‘2a tea’在第二行后面添加tea

sed ‘s/test/mytest/g’ example 將test替換為mytest

sed –n ‘s/root/&superman/p’ /etc/passwd 單詞后，相當于后向引用，替換為rootsuperman

sed –n ‘s/root/superman&/p’ /etc/passwd 單詞前

sed -e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets

sed –i.bak ‘s/dog/cat/g’ pets 編輯前先將pets備份為pets.bak然后進行替換編輯

高級編輯命令：

h：把模式空間中的內容覆蓋至保持空間中；

H：把模式空間中的內容追加至保持空間中；

g：把保持空間中的內容覆蓋至模式空間中；

G：把保持空間中的內容追加至模式空間中；

x：把模式空間中的內容與保持空間中的內容互換；

n：覆蓋讀取匹配到的行的下一行至模式空間中；

N：追加讀取匹配到的行的下一行至模式空間中；

d: 刪除模式空間中的行

D：刪除當前模式空間開端至\n的內容（不再傳至標準輸出），放棄之后的命令，但是對剩余模式空間重新執行sed

示例：

sed? -n? ‘n;p’? FILE：顯示偶數行；

sed? ‘1!G;h;$!d’? FILE：逆序顯示文件的內容；

sed? ’$!d’? FILE：取出最后一行；

sed? ‘$!N;$!D’ FILE：取出文件后兩行；

sed ‘/^$/d;G’ FILE：刪除原有的所有空白行，而后為所有的非空白行后添加一個空白行；

sed? ‘n;d’? FILE：顯示奇數行；

sed ‘G’ FILE：在原有的每行后方添加一個空白行；

作業：

1.刪除centos7系統/etc/grub2.cfg文件中所有以空白開頭的行行首的空白字符

sed ‘s/^[[:space:]]*//gp’ /etc/grub2.cfg

2.刪除/etc/fstab文件中所有以#開頭，后面至少跟一個空白字符的行的行首的#和空白字符

sed ‘s/^#[[:space:]]\+//g’ /etc/fstab

3、在centos6系統/root/install.log每一行行首增加#號

sed ‘s/^/#/’ /root/install.log

4、在/etc/fstab文件中不以#開頭的行的行首增加#號

sed? -n ‘/^#/!{s/^/#/p}’ /root/f1

sed? ‘s/^[^#]\|^$/#&/’ /root/f1

5、處理/etc/fstab路徑,使用sed命令取出其目錄名和基名

echo “/etc/sysconfig/network-scripts” |sed -r ‘s@(^/.*/)([^/]+/?)@\2@’

echo “/etc/sysconfig/network-scripts” |sed -r ‘s@(^/.*/)([^/]+/?)@\1@’

6、利用sed 取出ifconfig命令中本機的IPv4地址

ifconfig eth0|sed? -n -e ‘2s/^.*r://’ -e ‘2s/ .*//p’

7、統計centos安裝光盤中Package目錄下的所有rpm文件的以.分隔倒數第二個字段的重復次數

ls -1? /misc/cd/Packages/ |sed -nr “s@(.*\.)([[:alnum:]_]+\.rpm)@\2@p” |sort |uniq -c|sort -n

8、統計/etc/init.d/functions文件中每個單詞的出現次數，并排序（用grep和sed兩種方法分別實現）

grep? -o “[[:alpha:]]\+” /etc/init.d/functions |sort|uniq -c|sort -nr

sed -nre ‘s/[^[:alpha:]]+/\n/gp’? /etc/init.d/functions |sort | uniq -c|sort -n

9、將文本文件的n和n+1行合并為一行，n為奇數行

nl f1|sed -n “N;s/\n//p”