Linux文本處理三劍客之awk詳解

前言

awk是一款強大的報告生成器，不同于sed和grep,它的側重點是如何把文本信息更好的展示出來，常用與統計和格式化輸出。awk相當于微型的shell,有著自己一套語法結構，例如：循環結構，數組，條件判斷，函數，內置變量等功能。處理對象一般純文本文件或純文本信息。

用法詳解

基本語法

awk [options] 'program' file file ...
awk [options] 'PATTERN{action}' file file ...

-F CHAR：輸入分隔符

awk的輸出

print item1, item2,...

① 各項目之間使用逗號分隔，而輸出時則使用輸出分隔符分隔

② 輸出的各item可以字符串或數值、當前記錄的字段、變量或awk的表達式，數值會被隱式轉換為字符串后輸出

③ print后面item如果省略，相當于print $0，若輸出空白，使用pirnt ""

模式

① Regexp: 格式為/PATTERN/，僅處理被/PATTERN/匹配到的行

② Expression: 表達式，其結果為非0或非空字符串時滿足條件，僅處理滿足條件的行

③ Ranges: 行范圍，此前地址定界，startline, endline，僅處理范圍內的行

④ BEGIN/END: 特殊模式，僅在awk命令的program運行之前（BEGIN）或運行之后（END）執行一次

⑤ Empty:空模式，匹配任意行

awk的變量

內置變量

FS：Field Seperator, 輸入時的字段分隔符
RS：Record Seperator, 輸出行分隔符
OFS: Output Field Seperator, 輸出時的字段分隔符;
ORS: Outpput Row Seperator, 輸出時的行分隔符；

NR：Numbers of Record, 行數；所有文件的一并計數

NF：Numbers of Field，字段數

FNR：行數；各文件分別計數；

ARGV：數組，保存命令本身這個字符，awk '{print $0}' 1.txt 2.txt，意味著ARGV[0]保存awk
ARGC: 保存awk命令中參數的個數
FILENAME： awk正在處理的當前文件的名稱

可自定義變量

-v var_name=VALUE       #變量名區分字符大小寫

①可以program中定義變量

② 可以命令行中通過-v選項自定義變量

awk的printf命令

命令使用格式：printf format, item1, item2,...

① 要指定format

②不會自動換行；如需換行則需要給出\n

③format用于為后面的每個item指定其輸出格式

format格式的指示符都%開頭，后跟一個字符：
		%c: 顯示字符的ASCII碼；
		%d, %i: 十進制整數；
		%e, %E: 科學計數法顯示數值；
		%f: 顯示浮點數；
		%g, %G: 以科學計數法格式或浮點數格式顯示數值；
		%s: 顯示字符串；
		%u: 顯示無符號整數；
		%%: 顯示%自身；
修飾符：
		#：顯示寬度
		-：左對齊
		+：顯示數值的符號
		.#: 取值精度

awk輸出重定向

print items > output-file     #保存到某文件
print items >> output-file    #追加到某文件
print items | command         #使用管道交給某些命令處理

特殊文件描述符：
	/dev/stdin: 標準輸入
	/dev/stdout: 標準輸出
	/dev/stderr: 錯誤輸出

awk的操作符

算術操作符：
	x+y
	x-y
	x*y
	x/y
	x**y, x^y
	x%y
	-x：負值
	+x：轉換為數值

	字符串操作符：連接

賦值操作符：
	=
	+=
	-=
	*=
	/=
	%=
	^=
	**=
        ++
	--
        如果模式自身是=號，要寫為/=/

比較操作符：
	<
	<=
	>
	>=
	==
	!=
	~：模式匹配，左邊的字符串能夠被右邊的模式所匹配為真，否則為假；
	!~:不匹配為真，匹配為假

邏輯操作符：
	&&： 與
	||：或

條件表達式:
	selector?if-true-expression:if-false-expression

函數調用：
	function_name(argu1,argu2)

例：判斷UID是否大于等于500，如果為真就顯示為普通用戶，如果為假就顯示為系統或管理用戶

常用的action

①Expressions：表達式 賦值等

② Control statements：條件語句，控制語句if while…

③Compound statements：組合語句

④ input statements：輸入語句

⑤ output statements：輸出語句

控制語句

if-else

格式：if (condition) {then body} else {else body}

例：uid>=500的用戶顯示為普通用戶，否則顯示為管理用戶

例：顯示文件中字段數大于等于8的行

while

格式：while (condition) {while body}

例：只顯示奇數行

例：只輸出每行大于6的字段

do-while循環

格式：do {do-while body} while (condition)

例：輸出1到100之和

for循環

格式：for (variable assignment; condition; iteration process) {for body}

例:顯示奇數行

例：輸出每行大于6的字段

for循環可用來遍歷數組元素

語法：for (i in array) {for body}

例：A中保存數組，B中保存數組下標

case語句

語法：switch (expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

 循環控制

break    #退出當前循環
continue #提前結束本輪循環，直接進入下輪循環

next

提前結束對本行的處理進而進入下一行的處理

例：顯示用戶id為奇數的用戶

例：輸出奇數行的用戶

數組

關聯數組

array[index-expression]
index-expression: 可以使用任意字符串; 如果某數組元素事先不存在，那么在引用時，awk會自動創
建此元素并將其初始化為空串；因此，要判斷某數組是否存在某元素，必須使用“index in array”
這種格式

要遍歷數組中的每一個元素，需要使用如下特殊結構

for (var in array) {for body}   #其var會遍歷array的索引

例：統計每一種網絡連接出現的次數

例：統計web服務訪問日志中的ip訪問量

刪除數組元素

關系數組中刪除數組索引需要使用delete命令

格式：delete array[index]

awk的內置函數

split(string,array[,fieldsep[,seps]])
功能：將string表示的字符串以fieldsep為分隔符進行切片，并切片后的結果保存至array為名的數組中；數組下標從1開始
此函數有返回值，返回值為切片后的元素的個數

例：統計連接請求的ip

length(string)
功能：返回給定字串的長度
substr(string,start[,length])
功能：從string中取子串，從start為起始位置為取length長度的子串
system(command)
功能：執行系統command并將結果返回至awk命令
systime()
功能：systime函數返回從1970年1月1日開始到當前時間(不計閏年)的整秒數
tolower(s)
功能：將s中的所有字母轉為小寫
toupper(s)
功能：將s中的所有字母轉為大寫

The end

好了，awk的用法就先說到這里了，awk不僅強大，而且看的我頭大，有興趣的可以深入研究，此篇就不繼續深入了。以上僅為個人學習整理，如有錯漏，大神勿噴~~~