sed 相關概念總結

文件查看命令：cat, tac,rev

cat [OPTION]… [FILE]…

-E: 顯示行結束符$

-n: 對顯示出的每一行進行編號

-A：顯示所有控制符

-b：非空行編號

-s：壓縮連續的空行成一行

[root@CentOS7 ~]# cat yyy

[root@CentOS7 ~]# cat -A yyy

$

tac： 把文件反著寫

rev： 把文件內行反著寫

more: 分頁查看文件

more [OPTIONS…] FILE…

-d: 顯示翻頁及退出提示

less：一頁一頁地查看文件或STDIN輸出

查看時有用的命令包括：

/文本搜索文本

n/N跳到下一個or 上一個匹配

less命令是man命令使用的分頁器

head [OPTION]… [FILE]…

-c #: 指定獲取前#字節

-n #: 指定獲取前#行

-#：指定行數

tail [OPTION]… [FILE]…

-c #: 指定獲取后#字節

-n #: 指定獲取后#行

-#：

-f: 跟蹤顯示文件新追加的內容,常用日志監控

tail -n0 -f f1 &

后臺查看f1 的內容    

jobs

fg 1

ctrl + c

cut [OPTION]… [FILE]…

-d DELIMITER: 指明分隔符，默認tab

-f FILEDS:

#: 第#個字段

#,#[,#]：離散的多個字段，例如1,3,6

#-#：連續的多個字段, 例如1-6

混合使用：1-3,7

-c按字符切割

–output-delimiter=STRING指定輸出分隔符

顯示文件或STDIN數據的指定列

cut -d:-f1/etc/passwd

cat  /etc/passwd|cut-d:-f7

cut -c2-5/usr/share/dict/words

paste 合并兩個文件同行號的列到一行

paste [OPTION]… [FILE]…

-d 分隔符:指定分隔符，默認用TAB

-s : 所有行合成一行顯示

paste f1 f2

paste -s f1 f2

計數單詞總數、行總數、字節總數和字符總數

可以對文件或STDIN中的數據運行

$ wc story.txt

39 237 1901 story.txt

行數字數字符數

使用 -l 來只計數行數

使用 -w 來只計數單詞總數

使用 -c 來只計數字節總數

使用 -m 來只計數字符總數

把整理過的文本顯示在STDOUT，不改變原始文件

$sort[options]file(s)

常用選項

-r執行反方向（由上至下）整理

-n執行按數字大小整理

-f選項忽略（fold）字符串中的字符大小寫

-u選項（獨特，unique）刪除輸出中的重復行

-t c選項使用c做為字段界定符

-k X選項按照使用c字符分隔的X列來整理能夠使用多次

uniq命令：從輸入中刪除重復的前后相接的行

uniq[OPTION]… [FILE]…

-c: 顯示每行重復出現的次數；

-d: 僅顯示重復過的行；

-u: 僅顯示不曾重復的行；

連續且完全相同方為重復

常和sort 命令一起配合使用：

sort userlist.txt | uniq-c

diff命令的輸出被保存在一種叫做“補丁”的文件中

使用-u選項來輸出“統一的（unified）”diff格式文件，最適用于補丁文件。

patch命令復制在其它文件中進行的改變（要謹慎使用！）

適用-b選項來自動備份改變了的文件

$ diff -u f1  f11 > foo.patch

$ rm -f f11

$ patch  -b  f1  foo.patch

就恢復了 f11  名字為 f1   f11 變成了 foo.patch

練習

1、找出ifconfig命令結果中本機的所有IPv4地址

[root@CentOS7 testdir]# ifconfig | head -2 | tail -1 | tr -s " " | cut -d" " -f3

2、查出分區空間使用率的最大百分比值

[root@CentOS7 testdir]# df | sort -t% -n | cut -c 44-46 | head -1

3、查出用戶UID最大值的用戶名、UID及shell類型

[root@CentOS7 testdir]#sort -t: -k3 -n /etc/passwd | tail -1 | cut -d: -f1,3,7

4、查出/tmp的權限，以數字方式顯示

stat /tmp | head -4 | tail -1 | cut -d/ -f1 | cut -d\( -f2

5、統計當前連接本機的每個遠程主機IP的連接數，并按從大到小排序

[root@CentOS7 testdir]# netstat -tn | cut -d: -f2 | tr -s " " | sort -nr | cut -d" " -f2 | uniq -c

linux 上文本處理三劍客

grep：文本過濾(模式：pattern)工具;

grep, egrep, fgrep（不支持正則表達式搜索）

sed：stream editor，文本編輯工具；

awk：Linux上的實現gawk，文本報告生成器；

grep: Global search REgularexpression and Print out the line.

作用：文本搜索工具，根據用戶指定的“模式”對目標文本逐行進行匹配檢查；打印匹配到的行；

模式：由正則表達式字符及文本字符所編寫的過濾條件

grep [OPTIONS] PATTERN [FILE…]

grep root /etc/passwd

grep "$USER" /etc/passwd

grep '$USER' /etc/passwd

grep `whoami` /etc/passwd

–color=auto: 對匹配到的文本著色顯示；

-v: 顯示不能夠被pattern匹配到的行；

-i: 忽略字符大小寫

-n：顯示匹配的行號

-c: 統計匹配的行數

-o: 僅顯示匹配到的字符串；

-q: 靜默模式，不輸出任何信息

-A #：after, 后#行

-B #: before, 前#行

-C #：context, 前后各#行

-e：實現多個選項間的邏輯or關系

grep –e ‘cat ’ -e ‘dog’ file

-w：整行匹配整個單詞

-E：使用ERE

正則表達式

REGEXP：由一類特殊字符及文本字符所編寫的模式，其中有些字符（元字符）不表示字符字面意義，而表示控制或通配的功能

程序支持：grep, vim, less,nginx等

分兩類：

基本正則表達式：BRE

擴展正則表達式：ERE

grep -E, egrep

正則表達式引擎：

采用不同算法，檢查處理正則表達式的軟件模塊

PCRE（Perl Compatible Regular Expressions）

元字符分類：字符匹配、匹配次數、位置錨定、分組

man 7 regex

字符匹配:

. ：匹配任意單個字符；

[] ：匹配指定范圍內的任意單個字符

[^] ：匹配指定范圍外的任意單個字符

[:digit:]、[:lower:]、[:upper:]、[:alpha:]、[:alnum:]、[:punct:]、[:space:]

匹配次數：用在要指定次數的字符后面，用于指定前面的字符要出現的次數

*：匹配前面的字符任意次，包括0次

貪婪模式：盡可能長的匹配

.*：任意長度的任意字符

\?：匹配其前面的字符0或1次

\+：匹配其前面的字符至少1次

\{m\}：匹配前面的字符m次

\{m,n\}：匹配前面的字符至少m次，至多n次

\{,n\}：匹配前面的字符至多n次    <=n

\{m,\}：匹配前面的字符至少m次    >=m

位置錨定：定位出現的位置

^：行首錨定，用于模式的最左側

$：行尾錨定，用于模式的最右側

grep "^root.*bash$" /etc/passwd

^PATTERN$: 用于模式匹配整行

^$: 空行

^[[:space:]]*$ ：空白行

\< 或\b：詞首錨定，用于單詞模式的左側

\> 或\b：詞尾錨定；用于單詞模式的右側

\<PATTERN\>：匹配整個單詞

grep "\<root\>" /etc/passwd

分組：\(\)：將一個或多個字符捆綁在一起，當作一個整體進行處理，如：\(root\)\+

分組括號中的模式匹配到的內容會被正則表達式引擎記錄于內部的變量中，這些變量的命名方式為: \1, \2, \3, …

\1: 從左側起，第一個左括號以及與之匹配右括號之間的模式所匹配到的字符；

實例：\(string1\+\(string2\)*\)

\1: string1\+\(string2\)*

\2: string2

后向引用：引用前面的分組括號中的模式所匹配字符(而非模式本身)

元字符    定義

^  行首

$         行尾

.         任意單一字符

[]        []內任意單一字符

[^]       除[]內任意單一字符

*         *前面字符重復不確定次數

\+        \+前面字符重復一次以上不確定次數

\?        ？前面字符重復0或1次

\         轉義符

.*        任意長度字符

\{n\}     前面字符重復n次

\{n,\}    前面字符重復n次以上

\{m,n\}   前面字符重復m次和n次之間

[:alpha:] 所有字母，包括大、小寫

[:alnum:] 所有字母和數字

[:upper:] 所有大寫字母

[:lower:] 所有小寫字母

[:digit:] 所有數字

[:punct:] 所有標點符號

[:space:] 空格和Tab

egrep= grep -E

egrep[OPTIONS] PATTERN [FILE…]

擴展正則表達式的元字符：

字符匹配：

. 任意單個字符

[] 指定范圍的字符

[^] 不在指定范圍的字符

次數匹配：

*：匹配前面字符任意次

?: 0或1次

+：1次或多次

{m}：匹配m次

{m,n}：至少m，至多n次

位置錨定：

^ :行首

$ :行尾

\<, \b :語首

\>, \b :語尾

分組：

()

后向引用：\1, \2, …

或者：

a|b

C|cat: C或cat

(C|c)at:Cat或cat

練習

1、顯示/proc/meminfo文件中以大小s開頭的行；(要求：使用兩種方式)

grep "^[sS]" /proc/meminfo

grep -i "^s" /proc/meminfo

grep -e 's' -e 'S' /proc/meminfo

2、顯示/etc/passwd文件中不以/bin/bash結尾的行

grep -v "/bin/bash$" /etc/passwd

3、顯示用戶rpc默認的shell程序

grep -w "^rpc\b" /etc/passwd | cut -d: -f7

4、找出/etc/passwd中的兩位或三位數

grep "\<[[:digit:]]\{2,3\}\>" /etc/passwd

5、顯示/etc/grub2.cfg文件中，至少以一個空白字符開頭的且后面存非空白字符的行

grep "^[ ]\+[^[:space:]].*" /etc/grub2.cfg 

6、找出"netstat -tan"命令的結果中以'LISTEN'后跟0、1或多個空白字符結尾的行

netstat -tan | grep "\bLISTEN[[:space:]]*$"

7、添加用戶bash、testbash、basher以及nologin(其shell為/sbin/nologin),而后找出/etc/passwd文件中用戶名同shell名的行

grep "^\(\<.*\>\).*/\1$" /etc/passwd

grep "\([[:almun:]]\{1,\}\):.*\1$" /etc/passwd

1、顯示當前系統root、mage或wang用戶的UID和默認shell

grep -E "^(root|user1|user2):" passwd | cut -d: -f1,3,7

2、找出/etc/rc.d/init.d/functions文件中行首為某單詞(包括下劃線)后面跟一個小括號的行

egrep "^([[:alpha:]_]+)\(\).*" /etc/rc.d/init.d/functions

3、使用egrep取出/etc/rc.d/init.d/functions中其基名

echo "/etc/rc.d/init.d/functions" | egrep -o "[^/]+$"

4、使用egrep取出上面路徑的目錄名

echo "/etc/rc.d/init.d/functions" | egrep -o "[^/]+$"

5、統計以root身份登錄的每個遠程主機IP地址的登錄次數

last | grep root | tr -s " "| cut -d " "  -f3| grep  "^[[:digit:]]" | uniq -c

6、利用擴展正則表達式分別表示0-9、10-99、100-199、200-249、250-255

7、顯示ifconfig命令結果中所有IPv4地址

sed:

sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成后，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容并沒有改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件,簡化對文件的反復操作,編寫轉換程序等

用法：

sed[option]… 'script' inputfile…

常用選項：

-n：不輸出模式空間內容的自動打印

-e: 多點編輯

-f /PATH/TO/SCRIPT_FILE: 從指定文件中讀取編輯腳本

-r: 支持使用擴展正則表達式

-i: 原處編輯

script:

'地址命令'

地址定界：

(1) 不給地址：對全文進行處理

(2) 單地址：

#: 指定的行

/pattern/：被此處模式所能夠匹配到的每一行

(3) 地址范圍：

#,#

#,+#

/pat1/,/pat2/

#,/pat1/

(4) ~：步進

1~2 奇數行

2~2 偶數行

編輯命令：

d: 刪除模式空間匹配的行

p: 顯示模式空間中的內容

a \text：在行后面追加文本；支持使用\n實現多行追加

i\text：在行前面插入文本；支持使用\n實現多行插入

c \text：替換行為單行或多行文本

w /path/to/somefile: 保存模式匹配的行至指定文件

r /path/from/somefile：讀取指定文件的文本至模式空

間中匹配到的行后

=: 為模式空間中的行打印行號

!:模式空間中匹配行取反處理

s///：查找替換,支持使用其它分隔符，s@@@，s###

替換標記：

g: 行內全局替換

p: 顯示替換成功的行

w /PATH/TO/SOMEFILE：將替換成功的行保存至文件中

sed示例

sed‘2p’ /etc/passwd

sed–n ‘2p’ /etc/passwd

sed–n ‘1,4p’ /etc/passwd

sed–n ‘/root/p’ /etc/passwd

sed–n ‘2,/root/p’ /etc/passwd從2行開始

sed-n ‘/^$/=’ file 顯示空行行號

sed–n –e ‘/^$/p’ –e ‘/^$/=’ file

sed‘/root/a\superman’ /etc/passwd行后

sed‘/root/i\superman’ /etc/passwd行前

sed‘/root/c\superman’ /etc/passwd代替行

sed‘/^$/d’ file

?sed‘1,10d’ file

nl/etc/passwd| sed‘2,5d’

nl/etc/passwd| sed‘2a tea’

sed's/test/mytest/g' example

sed–n‘s/root/&superman/p’ /etc/passwd單詞后

sed–n‘s/root/superman&/p’ /etc/passwd單詞前

sed-e ‘s/dog/cat/’ -e ‘s/hi/lo/’ pets

sed–i.bak ‘s/dog/cat/g’ pets

練習

1、刪除/etc/grub2.conf文件中所有以空白開頭的行行首的空白字符

2、刪除/etc/fstab文件中所有以#開頭，后面至少跟一個空白字符的行的行首的#和空白字符

3、在/root/install.log每一行行首增加#號

4、在/etc/fstab文件中不以#開頭的行的行首增加#號

5、處理/etc/fstab路徑,使用sed命令取出其目錄名和基名

6、利用sed 取出ifconfig命令中本機的IPv4地址

7、統計centos安裝光盤中Package目錄下的所有rpm文件的以.分隔倒數第二個字段的重復次數

高級編輯命令：

h: 把模式空間中的內容覆蓋至保持空間中

H：把模式空間中的內容追加至保持空間中

g: 從保持空間取出數據覆蓋至模式空間

G：從保持空間取出內容追加至模式空間

x: 把模式空間中的內容與保持空間中的內容進行互換

n: 讀取匹配到的行的下一行覆蓋至模式空間

N：追加匹配到的行的下一行至模式空間

d: 刪除模式空間中的行

D：刪除當前模式空間開端至\n的內容（不在傳至標準輸出），放棄之后的命令，但是對剩余模式空間重新執行sed

sed示例

sed -n 'n;p' FILE

sed '1!G;h;$!d' FILE

sed '$!N;$!D' FILE

sed '$!d' FILE

sed ‘G’ FILE

sed ‘g’ FILE

sed ‘/^$/d;G’ FILE

sed 'n;d' FILE

sed -n '1!G;h;$p' FILE