-
文件查看工具:cat
將[文件]或標準輸入組合輸出到標準輸出。
-A, –show-all 等于-vET
-b, –number-nonblank 對非空輸出行編號
-e 等于-vE
-E, –show-ends 在每行結束處顯示"$"
-n, –number 對輸出的所有行編號
-s, –squeeze-blank 不輸出多行空行
-t 與-vT 等價
-T, –show-tabs 將跳格字符顯示為^I
-u (被忽略)
-v, –show-nonprinting 使用^ 和M- 引用,除了LFD和 TAB 之外
–help 顯示此幫助信息并退出
–version 顯示版本信息并退出
2.分頁查看文件:more
more [OPTIONS…] FILE… -d: 顯示翻頁及退出提示
3.單頁查看文件:less
查看時有用的命令包括: /文本 搜索 文本 n/N 跳到下一個 或 上一個匹配 less 命令是man命令使用的分頁器
4.獲取文本前幾行:head -n:指定獲取第幾行 -c:指定獲取多少字節
5.獲取文件后幾行:tail -n:指定獲取第幾行 -c:指定獲取多少字節
6.文件分割工具:cut
-d DELIMITER: 指明分隔符,默認tab 例如:-d":"
-f 指定獲取字段:
#: 第#個字段
#,#[,#]:離散的多個字段,例如1,3,6
#-#:連續的多個字段, 例如1-6
混合使用:1-3,7 -c
按字符切割 –output-delimiter=STRING指定輸出分隔符
例如;我們要獲取/etc/passwd下面的用戶名以及uid和shell類型??
[root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7
7.合并工具:paste
合并兩個文件同行號的列到一行
-d 分隔符:指定分隔符,默認用TAB
-s : 所有行合成一行顯示
[root@localhost ~]# paste -s luyubo.txt luyubo1.txt
8.文本統計工具:wc
wc可以用來統計單詞總數,行總數,以及字節總數,字符總數。
用法:wc [選項]… [文件]…
或:wc [選項]… –files0-from=F
輸出每個指定文件的行數、單詞計數和字節數,如果指定了多于一個文件,繼續給出所有相關數據的總計。如果沒有指定文件,或者文件為"-",則從標準輸入讀取數據。
-c, –bytes輸出字節數統計
-m, –chars輸出字符數統計
-l, –lines輸出行數統計
–files0-from=文件從指定文件讀取以NUL 終止的名稱,如果該文件被
指定為"-"則從標準輸入讀文件名
-L, –max-line-length 顯示最長行的長度
-w, –words顯示單詞計數
9.文本排序工具:sort
我們這里列出幾個常用的幾個選項
-r 執行反方向(由上至下)整理
-n 執行按數字大小整理
-f 選項忽略(fold)字符串中的字符大小寫
-u 選項(獨特,unique)刪除輸出中的重復行
-t c 選項使用c做為字段界定符
-k X 選項按照使用c字符分隔的X列來整理能夠使用多次
10.統計重復次數:uniq
-c: 顯示每行重復出現的次數
-d: 僅顯示重復過的行
-u: 僅顯示不曾重復的行 連續且完全相同方為重復
#一般配合sort使用。soft luyubo.txt | uniq -c
Linux文本處理三劍客之一——grep
grep就像是一個篩選器一樣。功能有多強大,就看我們怎么去靈活的使用,結合正則表達式。
用法: grep [選項]… PATTERN [FILE]…
在每個 FILE 或是標準輸入中查找 PATTERN。
默認的 PATTERN 是一個基本正則表達式(縮寫為 BRE)。
例如: grep -i 'hello world' menu.h main.c
正則表達式選擇與解釋:
-E: –extended-regexp PATTERN 是一個可擴展的正則表達式(縮寫為 ERE)
-F: –fixed-strings PATTERN 是一組由斷行符分隔的定長字符串。
-G: –basic-regexp PATTERN 是一個基本正則表達式(縮寫為 BRE)
-P: –perl-regexp PATTERN 是一個 Perl 正則表達式
-e: –regexp=PATTERN 用 PATTERN 來進行匹配操作
-f: –file=FILE 從 FILE 中取得 PATTERN
-i: –ignore-case 忽略大小寫
-w: –word-regexp 強制 PATTERN 僅完全匹配字詞
-x: –line-regexp 強制 PATTERN 僅完全匹配一行
-z: –null-data 一個 0 字節的數據行,但不是空行
-v: –invert-match 顯示不能夠被pattern匹配到的行;
-q: –quiet 靜默模式,不輸出任何信息
-o: –only-matching 僅顯示匹配到的字符串;
-c: –count 統計匹配的行數
-n: –line-numbe 顯示匹配的行號
-A #:–after-context=NUM after, 后#行
-B #:–before-context=NUM before, 前#行
-C #:–context=NUM 前后各#行
輸出控制:
-m: –max-count=NUM NUM 次匹配后停止
-b: –byte-offset 輸出的同時打印字節偏移
-n: –line-number 輸出的同時打印行號
–line-buffered 每行輸出清空
-H: –with-filename 為每一匹配項打印文件名
-h: –no-filename 輸出時不顯示文件名前綴
–label=LABEL 將LABEL 作為標準輸入文件名前綴文件控制:
-B: –before-context=NUM 打印以文本起始的NUM 行
-A: –after-context=NUM 打印以文本結尾的NUM 行
-C: –context=NUM 打印輸出文本NUM 行
正則表達式(REGEXP):由一類特殊字符及文本字符所編寫的模式,其中有 些字符(元字符)不表示字符字面意義,而表示控制或通配 的功能
正則表達式分為兩類:
基本正則表達式:BRE
擴展正常表達式:ERE grep -E -egrep
正則表達式引擎:
采用不同算法,檢查處理正則表達式的軟件模塊 PCRE(Perl Compatible Regular Expressions)
元字符分類:字符匹配、匹配次數、位置錨定、分組 這里我理解為正則里面功能分支
基本正則表達式元字符:
. : 匹配任意單個字符;
[] : 匹配指定范圍內的任意單個字符
[^] :匹配指定范圍外的任意單個字符
^ 行首
$ 行尾
. 任意單一字符
[] []內任意單一字符
[^] 除[]內任意單一字符
* *前面字符重復不確定次數
\+ \+前面字符重復一次以上不確定次數
\? ?前面字符重復0或1次
\ 轉義符
.* 任意長度字符
\{n\} 前面字符重復n次
\{n,\} 前面字符重復n次以上
\{m,n\} 前面字符重復m次和n次之間
[:alpha:] 所有字母,包括大、小寫
[:alnum:] 所有字母和數字
[:upper:] 所有大寫字母
[:lower:] 所有小寫字母
[:digit:] 所有數字
[:punct:] 所有標點符號
[:space:] 空格和Tab
正則表達式:
匹配次數:用在要指定次數的字符后面,用于指定前面的字 符要出現的次數
*:匹配前面的字符任意次,包括0次
貪婪模式:盡可能長的匹配
.*:任意長度的任意字符
\?:匹配其前面的字符0或1次
\+:匹配其前面的字符至少1次
\{n\}:匹配前面的字符n次
\{m,n\}:匹配前面的字符至少m次,至多n次
\{,n\}:匹配前面的字符至多n次
\{n,\}:匹配前面的字符至少n次
位置錨定:定位出現的位置
^:行首錨定,用于模式的最左側
$:行尾錨定,用于模式的最右側
^PATTERN$: 用于模式匹配整行
^$: 空行
^[[:space:]]*$ :空白行
\< 或 \b:詞首錨定,用于單詞模式的左側
\> 或 \b:詞尾錨定;用于單詞模式的右側
\<PATTERN\>:匹配整個單詞
分組表示:
\(\):將一個或多個字符捆綁在一起,當作一個整體進 行處理,如:\(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄 于內部的變量中,這些變量的命名方式為: \1, \2, \3, …
\1: 從左側起,第一個左括號以及與之匹配右括號之間 的模式所匹配到的字符
實例:
\(string1\+\(string2\)*\)
\1: string1\+\(string2\)*
\2: string2
后向引用:引用前面的分組括號中的模式所匹配字符(而 非模式本身)
擴展正則表達式
#擴展表達式支持一些新的語法。
egrep = grep -E
擴展正則表達式的元字符: ?
字符匹配:
. 任意單個字符
[] 指定范圍的字符
[^] 不在指定范圍的字符
次數匹配:
*:匹配前面字符任意次
?: 0或1次
+:1次或多次
{m}:匹配m次
{m,n}:至少m,至多n次
位置錨定:
^ :行首
$ :行尾
\<, \b :語首
\>, \b :語尾 ?
分組:
() 后向引用:\1, \2, … ?
或者:
a|b
C|cat: C或cat
(C|c)at:Cat或cat
原創文章,作者:鬧鐘哥,如若轉載,請注明出處:http://www.www58058.com/31695