文本三劍客grep爵士與手下的血淚奮戰

文件查看命令： cat, tac,rev
cat [OPTION]… [FILE]…

•  -E: 顯示行結束符$

• -n: 對顯示出的每一行進行編號

• -A：顯示所有控制符

• -b： 非空行編號

• -s：壓縮連續的空行成一行

文件查看

分頁查看文件內容
more: 分頁查看文件
more [OPTIONS…] FILE…
-d: 顯示翻頁及退出提示
less：一頁一頁地查看文件或STDIN輸出
查看時有用的命令包括：
/文本 搜索 文本
n/N 跳到下一個 or 上一個匹配

less 命令是man命令使用的分頁器

顯示文本前或后行內容
head
head [OPTION]… [FILE]…

• -c #: 指定獲取前#字節

• -n #: 指定獲取前#行

• -#： 指定行數

tail
tail [OPTION]… [FILE]…

• -c #: 指定獲取后#字節

• -n #: 指定獲取后#行

• -#：

• -f: 跟蹤顯示文件新追加的內容,常用日志監控

在后臺監控文件更新，使用命令：tail -0 file &
(&：是能讓程序在后臺運行的命令)

按列抽取文本cut和合并文件paste
cut [OPTION]… [FILE]…

• -d DELIMITER: 指明分隔符，默認tab

• -f FILEDS:

• #: 第#個字段

• #,#[,#]：離散的多個字段，例如1,3,6

• #-#：連續的多個字段, 例如1-6

• 混合使用： 1-3,7

• -c 按字符切割   –output-delimiter=STRING指定輸出分隔符

cut和paste
顯示文件或STDIN數據的指定列

cut -d: -f1 /etc/passwd
cat /etc/passwd | cut -d: -f7
cut -c2-5 /usr/share/dict/words

paste 合并兩個文件同行號的列到一行
paste [OPTION]… [FILE]…
-d 分隔符:指定分隔符，默認用TAB
-s : 所有行合成一行顯示
paste f1 f2
paste -s f1 f2

分析文本的工具

文本數據統計： wc
整理文本： sort
比較文件： diff和patch

收集文本統計數據wc

計數單詞總數、行總數、字節總數和字符總數
可以對文件或STDIN中的數據運行

行數 字數 字符數

• 使用 -l 來只計數行數

• 使用 -w 來只計數單詞總數

• 使用 -c 來只計數字節總數

• 使用 -m 來只計數字符總數

文本排序sort

把整理過的文本顯示在STDOUT，不改變原始文件
$ sort [options] file(s)
常用選項

• -r 執行反方向（由上至下）整理

• -n 執行按數字大小整理

• -f 選項忽略（ fold）字符串中的字符大小寫

• -u 選項（獨特， unique）刪除輸出中的重復行

• -t c 選項使用c做為字段界定符

• -k X 選項按照使用c字符分隔的X列來整理能夠使用多次

uniq

uniq命令：從輸入中刪除重復的前后相接的行
uniq [OPTION]… [FILE]…

• -c: 顯示每行重復出現的次數；

• -d: 僅顯示重復過的行；

• -u: 僅顯示不曾重復的行；

連續且完全相同方為重復
常和sort 命令一起配合使用：
sort userlist.txt | uniq -c

比較文件
比較兩個文件之間的區別
$ diff foo.conf-broken foo.conf-works
5c5
< use_widgets = no
—
> use_widgets = yes
注明第5行有區別（改變）

復制對文件改變patch
diff 命令的輸出被保存在一種叫做“補丁”的文件中
使用 -u 選項來輸出“統一的（ unified）” diff格式文
件，最適用于補丁文件。
patch 命令復制在其它文件中進行的改變（要謹慎使用
?。?br />適用 -b 選項來自動備份改變了的文件
$ diff -u foo.conf-broken foo.conf-works > foo.patch
$ patch -b foo.conf-broken foo.patch

練習
1、找出ifconfig命令結果中本機的所有IPv4地址
2、查出分區空間使用率的最大百分比值
3、查出用戶UID最大值的用戶名、 UID及shell類型
4、查出/tmp的權限，以數字方式顯示
5、統計當前連接本機的每個遠程主機IP的連接數，并按從大
到小排序

Linux上文本處理三劍客
grep：文本過濾(模式： pattern)工具;
grep, egrep, fgrep（不支持正則表達式搜索）
sed： stream editor，文本編輯工具；
awk： Linux上的實現gawk，文本報告生成器；

grep
grep: Global search REgular expression and Print out
the line.
作用：文本搜索工具，根據用戶指定的“模式”對目標文
本逐行進行匹配檢查；打印匹配到的行；
模式：由正則表達式字符及文本字符所編寫的過濾條件
grep [OPTIONS] PATTERN [FILE…]

grep命令選項

• –color=auto: 對匹配到的文本著色顯示；

• -v: 顯示不能夠被pattern匹配到的行；

• -i: 忽略字符大小寫

• -n： 顯示匹配的行號

• -c: 統計匹配的行數

• -o: 僅顯示匹配到的字符串

• -q: 靜默模式，不輸出任何信息

• -A #： after, 后#行

• -B #: before, 前#行

• -C #： context, 前后各#行

• -e：實現多個選項間的邏輯or關系

• grep –e ‘cat ’ -e ‘dog’ file

• -w：整行匹配整個單詞

• -E：使用ERE

正則表達式
REGEXP：由一類特殊字符及文本字符所編寫的模式，其中有些字符（元字符）不表示字符字面意義，而表示控制或通配的功能

基本正則表達式元字符
字符匹配:

• . ： 匹配任意單個字符；

• [] ： 匹配指定范圍內的任意單個字符

• [^] ：匹配指定范圍外的任意單個字符

• [:digit:]、 [:lower:]、 [:upper:]、 [:alpha:]、 [:alnum:]
  、 [:punct:]、 [:space:]

正則表達式
匹配次數：用在要指定次數的字符后面，用于指定前面的字
符要出現的次數

• *：匹配前面的字符任意次，包括0次
  貪婪模式：盡可能長的匹配

• .*：任意長度的任意字符

• \?：匹配其前面的字符0或1次

• \+：匹配其前面的字符至少1次

• \{m\}：匹配前面的字符m次

• \{m,n\}：匹配前面的字符至少m次，至多n次

• \{,n\}：匹配前面的字符至多n次

• \{m,\}：匹配前面的字符至少m次

正則表達式
位置錨定：定位出現的位置

• ^：行首錨定，用于模式的最左側

• $：行尾錨定，用于模式的最右側

• ^PATTERN$: 用于模式匹配整行

• ^$: 空行

• ^[[:space:]]*$ ：空白行

• \< 或 \b：詞首錨定，用于單詞模式的左側

• \> 或 \b：詞尾錨定；用于單詞模式的右側

• \<PATTERN\>：匹配整個單詞

正則表達式
分組： \(\)：將一個或多個字符捆綁在一起，當作一個整體進
行處理，如： \(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄
于內部的變量中，這些變量的命名方式為: \1, \2, \3, …

• \1: 從左側起，第一個左括號以及與之匹配右括號之間的模式所匹配到的字符；
  實例： \(string1\+\(string2\)*\)

• \1: string1\+\(string2\)*

• \2: string2

后向引用：引用前面的分組括號中的模式所匹配字符(而
非模式本身)

正則表達式
元字符 定義

• ^ 行首

• $ 行尾

• . 任意單一字符

• [] []內任意單一字符

• [^] 除[]內任意單一字符

• * *前面字符重復不確定次數

• \+ \+前面字符重復一次以上不確定次數

• \? ？前面字符重復0或1次

• \ 轉義符

• .* 任意長度字符

• \{n\} 前面字符重復n次

• \{n,\} 前面字符重復n次以上

• \{m,n\} 前面字符重復m次和n次之間

正則表達式

元字符 定義

• [:alpha:] 所有字母，包括大、小寫

• [:alnum:] 所有字母和數字

• [:upper:] 所有大寫字母

• [:lower:] 所有小寫字母

• [:digit:] 所有數字

• [:punct:] 所有標點符號

• [:space:] 空格和Tab

練習
1、顯示/proc/meminfo文件中以大小s開頭的行； (要求：使
用兩種方式)

2、顯示/etc/passwd文件中不以/bin/bash結尾的行

3、顯示用戶rpc默認的shell程序

4、找出/etc/passwd中的兩位或三位數

5、顯示/etc/grub2.cfg文件中，至少以一個空白字符開頭的
且后面存非空白字符的行

6、找出”netstat -tan”命令的結果中以’LISTEN’后跟0、 1
或多個空白字符結尾的行

7、添加用戶bash、 testbash、 basher以及nologin(其shell為
/sbin/nologin),而后找出/etc/passwd文件中用戶名同shell名
的行

egrep及擴展的正則表達式
egrep = grep -E
egrep [OPTIONS] PATTERN [FILE…]
擴展正則表達式的元字符：
字符匹配：

• . 任意單個字符

• [] 指定范圍的字符

• [^] 不在指定范圍的字符

擴展正則表達式
次數匹配：

• *：匹配前面字符任意次

• ?: 0或1次

• +： 1次或多次

• {m}：匹配m次

• {m,n}：至少m，至多n次

擴展正則表達式
位置錨定：

• ^ :行首

• $ :行尾

• \<, \b :語首

• \>, \b :語尾

• 分組：()

• 后向引用： \1, \2, …

• 或者：

• a|b

• C|cat: C或cat

• (C|c)at:Cat或cat

練習
1、顯示當前系統root、 mage或wang用戶的UID和默認shell

2、找出/etc/rc.d/init.d/functions文件中行首為某單詞(包
括下劃線)后面跟一個小括號的行

3、使用egrep取出/etc/rc.d/init.d/functions中其基名

4、使用egrep取出上面路徑的目錄名

5、統計以root身份登錄的每個遠程主機IP地址的登錄次數

6、利用擴展正則表達式分別表示0-9、 10-99、 100-199、
200-249、 250-255

[0-9]

[1-9][1-9]

1[0-9][0-9]

2[0-4][0-9]

25[0-5]
7、顯示ifconfig命令結果中所有IPv4地址

作業：

4、取本機ip地址

5、取各分區利用率的數值

6、統計/etc/init.d/functions 文件中每個單詞出現的次數，并按頻率從高到低顯示

7、/etc/rc.d/init.d/functions或/etc/rc.d/init.d/functions/”  取目錄名

做過了。略
8、正則表達式表示身份證號

9、正則表達式表示手機號

10、正則表達式表示郵箱

11、正則表達式表示QQ號