文本工具

本文將介紹Linux下使用Shell處理文本時最常用的工具:find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;提供的例子和參數都是最常用和最為實用的

?1. ?grep

作用:文本搜索工具,根據用戶指定的“模式”對目標文本逐行進行匹配檢查;打印匹配到的行
模式:由正則表達式字符及文本字符所編寫的過濾條件

–color=auto: 對匹配到的文本著色顯示
-v: 顯示不被pattern匹配到的行
-i: 忽略字符大小寫
-n:顯示匹配的行號
-c: 統計匹配的行數
-o: 僅顯示匹配到的字符串
-q: 靜默模式,不輸出任何信息
-A #: after, 后#行
-B #: before, 前#行
-C #:context, 前后各#行
-e:實現多個選項間的邏輯or關系
grep –e ‘cat ’ -e ‘dog’ file
-w:匹配整個單詞
-E:使用ERE
-F:相當于fgrep,不支持正則表達式

 

2.文件查看命令:cat

cat [OPTION]… [FILE]…
-E: 顯示行結束符$
-n: 對顯示出的每一行進行編號
-A:顯示所有控制符
-b:非空行編號
-s:壓縮連續的空行成一行

 

文本統計工具 ?wc ?sort ?uniq

 

wc計數單詞總數、行總數、字節總數和字符總數
可以對文件或STDIN中的數據運行
wcstory.txt
39 ? ? ? 237 ? 1901 ? story.txt
行數 ? ?字數 ? ?字節數
常用選項
-l只計數行數
-w只計數單詞總數
-c只計數字節總數
-m只計數字符總數
-L顯示文件中最長行的長度

文本排序sort把整理過的文本顯示在STDOUT,不改變原始文件
sort[options]file(s)
常用選項
-r執行反方向(由上至下)整理
-n執行按數字大小整理
-f選項忽略(fold)字符串中的字符大小寫
-u選項(獨特,unique)刪除輸出中的重復行
-t c選項使用c做為字段界定符
-k X選項按照使用c字符分隔的X列來整理能夠使用多次

 

uniq命令:從輸入中刪除前后相接的重復的行
uniq[OPTION]… [FILE]…
-c: 顯示每行重復出現的次數
-d: 僅顯示重復過的行
-u: 僅顯示不曾重復的行
連續且完全相同方為重復
常和sort 命令一起配合使用:
sort userlist.txt | uniq-c

cut [OPTION]… [FILE]…
-d DELIMITER: 指明分隔符,默認tab
-f FILEDS:#: 第#個字段
#,#[,#]:離散的多個字段,例如1,3,6
#-#:連續的多個字段, 例如1-6
混合使用:1-3,7
-c按字符切割
–output-delimiter=STRING指定輸出分隔符

正則表達式

由一類特殊字符及文本字符所編寫的模式,其中有些字符(元字符)不表示字符字面意義,而表示控制或通配的功能
程序支持:grep,sed,awk,vim, less,nginx,varnish等
分兩類:
基本正則表達式:BRE
擴展正則表達式:ERE
grep -E, egrep
正則表達式引擎:
采用不同算法,檢查處理正則表達式的軟件模塊
PCRE(Perl Compatible Regular Expressions)
元字符分類:字符匹配、匹配次數、位置錨定、分組

字符匹配:
. 匹配任意單個字符
[] 匹配指定范圍內的任意單個字符
[^] 匹配指定范圍外的任意單個字符
[:alnum:] 字母和數字
[:alpha:] 代表任何英文大小寫字符,亦即A-Z, a-z
[:lower:] 小寫字母[:upper:] 大寫字母
[:blank:] 空白字符(空格和制表符)
[:space:]水平和垂直的空白字符(比[:blank:]包含的范圍廣)
[:cntrl:] 不可打印的控制字符(退格、刪除、警鈴…)
[:digit:] 十進制數字[:xdigit:]十六進制數字
[:graph:] 可打印的非空白字符
[:print:] 可打印字符
[:punct:] 標點符號

匹配次數:用在要指定次數的字符后面,用于指定前面的字符要出現的次數
* 匹配前面的字符任意次,包括0次
貪婪模式:盡可能長的匹配
.*任意長度的任意字符
\?匹配其前面的字符0或1次
\+匹配其前面的字符至少1次
\{n\}匹配前面的字符n次
\{m,n\}匹配前面的字符至少m次,至多n次
\{,n\}匹配前面的字符至多n次
\{n,\}匹配前面的字符至少n次

位置錨定:定位出現的位置
^ 行首錨定,用于模式的最左側
$ 行尾錨定,用于模式的最右側
^PATTERN$ 用于模式匹配整行
^$ 空行
^[[:space:]]*$ 空白行
\< 或\b詞首錨定,用于單詞模式的左側
\> 或\b詞尾錨定;用于單詞模式的右側
\<PATTERN\>匹配整個單詞

分組:\(\) 將一個或多個字符捆綁在一起,當作一個整體進行處理,如:\(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄于內部的變量中,這些變量的命名方式為: \1, \2, \3, …
\1表示從左側起第一個左括號以及與之匹配右括號之間的模式所匹配到的字符
示例:\(string1\+\(string2\)*\)
\1 :string1\+\(string2\)*
\2 :string2
后向引用:引用前面的分組括號中的模式所匹配字符,而非模式本身
或者:\|
示例:a\|b: a或b C\|cat: C或cat \(C\|c\)at:Cat或cat

 

綜合以上所有具體事例

取函數名

QQ圖片20171125104656

顯示/proc/meminfo文件中以大小s開頭的行

QQ截圖20171125104929

QQ截圖20171125105040

找出“netstat -tan”命令的結果中以‘LISTEN’后跟任意多個空白字符結尾的行QQ截圖20171125105212

 

添加用戶bash、testbash、basher、sh、nologin(其shell為/sbin/nologin),找出/etc/passwd用戶名同shell名的行

QQ截圖20171125105411

 

利用df和grep,取出磁盤各分區利用率,并從大到小排序

QQ截圖20171125105550

 

顯示ifconfig命令結果中所有IPv4地址

QQ截圖20171125105802

本文來自投稿,不代表Linux運維部落立場,如若轉載,請注明出處:http://www.www58058.com/88853

(0)
張雷張雷
上一篇 2017-11-24 20:06
下一篇 2017-11-25 11:40

相關推薦

  • 學習宣言

    娶媳婦!娶媳婦!娶媳婦有木有!?。?請享受無法回避的痛苦?。。。。。?!

    Linux干貨 2016-12-27
  • Haproxy+Keepalived+Varnish+LAMP+Memcacked+NFS 實現WordPress站點的動靜分離

    詳細說明,請點擊CSDN博客的連接地址:http://blog.csdn.net/yhy1271927580/article/details/70195158

    2017-04-16
  • Linux基礎之shell腳本編程(二)

    1、寫一個腳本,完成以下功能    (1) 假設某目錄(/etc/rc.d/rc3.d/)下分別有K開頭的文件和S開頭的文件若干;    (2) 顯示所有以K開頭的文件的文件名,并且給其附加一個stop字符串;    (3) 顯示所有以S開頭的文件的文件名,并且給其附加一個start字符串; &nb…

    Linux干貨 2016-11-17
  • 馬哥教育網絡班20期+第3周課程練習

    1、列出當前系統上所有已經登錄的用戶的用戶名,注意:同一個用戶登錄多次,則只顯示一次即可。 [root@localhost ~]# who root     pts/0        2016-06-23&nb…

    Linux干貨 2016-06-29
  • 簡單路由實驗

    今天學習了路由相關的基礎知識,為了加深印象,做了如下的一個實驗。根據下面的網絡拓撲圖分別配置兩臺PC和路由,以實現PC1和PC2能夠互相ping通。實驗環境為VM虛擬機 在實驗開始前,我們需要在路由添加兩塊網卡,PC機添加一塊網卡,此實驗網卡的鏈接方式是橋接,一共需要4臺虛擬機,兩臺做PC機,兩臺做路由器 1、R2路由器的配置 [root@linuxpao&…

    Linux干貨 2016-09-05
  • linux 怎么使用幫助

    linux怎么使用幫助 Which命令 whatis命令 使用手冊來獲取幫助-man命令 通過info命令查看幫助 使用軟件自帶的幫助文檔來獲取幫助 通過在線文檔獲取幫助 使用網站和搜索 linux 怎么使用幫助 在linux中有很多命令,配置文件,很多命令選項和參數,我們不可能完全記住的,那工作中遇到怎么辦,我們可以查看linux自帶的幫助文檔,或者利用搜…

    Linux干貨 2016-09-05
欧美性久久久久