文本三劍客之awk

awk介紹：

awk的名稱來源于三個開發者的姓名：Aho, Weinberger, Kernighan，報告生成器，格式化文本輸出，

Linux文本處理三劍客之一。

有多種版本：New awk（nawk），GNU awk（gawk）

現在默認linux系統下日常使用的是gawk，用命令可以查看正在應用的awk的來源（ls -l /bin/awk ）

 

Linux文本處理三劍客：

grep：文本過濾工具（傳送門）

sed： 文本編輯工具（傳送門）

awk：Linux上的實現gawk，文本報告生成

 

Awk編程語言用于處理文本文件。Awk在默認情況下，Awk文件的每一行都被視為一個記錄。然后Awk記

錄進一步分解成一系列的字段。Awk程序就是一系列作用在記錄和字段上的“識別-執行”操作語句。

行row：記錄record

列column：字段，域field，屬性

 

awk工作原理：

awk 程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成

第一步：執行BEGIN{action；…}語句塊中的語句

第二步：從文件或標準輸入讀取一行，然后執行pattern{action;…}語句塊，它逐行掃描文件，

從第一行到最后一行重復這個過程，直到文件全部被讀取完畢。

第三步：當讀至輸入流末尾時，執行END{action;…}語句塊

BEGIN語句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如變量初始化、打印輸入表格的表頭等語句通?？梢詫懺贐EGIN語句塊中，

END語句塊在awk從輸入流中讀取完所有的行后才被執行，比如打印所有所有行的分析結果，這里信息匯總都在END語句塊中完成，它也是一個可選語句塊

pattern語句塊中的同用命令是最重要的部分，也是可選的。如果沒有提供pattern語句塊，則默認執行{print}，即打印每一個讀取到的行，awk讀取的每一行都會執行該語句塊

BEGIN語句常用于打印表頭

END語句往往用來做匯總

 

awk基本用法：

awk

基本用法：

??????? awk [options] ‘program’ var=value file…

???????? awk [options] -f programfile var=value file…

???????? awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }’ file …

 

option：

-F ?? 指明輸入時用到的字段分隔符

-v ?? var=value: 自定義變量

 

基本格式：awk [options] ‘program’ var=value file…

program：pattern{action statement}

其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。

 

pattern和action：

pattern部分決定動作語句何時觸發及觸發事件

如：BEGIN，END

action statements對數據進行處理，放在{}內指明

如：print，printf

 

分隔符、域和記錄

awk執行時，由分隔符分隔的字段（域）標記$1,$2…$n成為標識域。$0表示所有域，即整行

文件的每一行成為記錄（record）

省略action,則默認執行print $0的操作

 

awk pattern

根據pattern條件，過濾匹配到的行，再做處理

（1）如果未指定：空模式，匹配每一行

（2）/regular expression/：僅處理能夠模式匹配到的行，需要用/ /括起來

awk ‘/^UUID/{print $1}’ /etc/fstab?????? 取出包含UUID的行的第一個域

awk ‘！/^UUID/{print $1}’ /etc/fstab?? 取出不包含UUID的行的第一個域

（3）relational expression：關系表達式，結果為”真”才會被處理

真：結果為非0值，非空字符串

假：結果為空字符串或0值

 

示例：

awk ‘i=1’ /etc/passwd ?????????? 結果為非零值，顯示/etc/passwd內容

awk ‘i=0’ /etc/passwd ?????????? 結果為零值，不顯示/etc/passwd內容

awk ‘i=””‘ /etc/passwd?? ???? 結果為空，不顯示/etc/passwd內容

awk ‘!(i=””)’ /etc/passwd??????? 結果不為空，顯示/etc/passwd內容

awk -F: ‘$NF==”/bin/bash”{print $1$NF}’ /etc/passwd

顯示/etc/passwd文件中Shell為/bin/bash行的用戶名和Shell類型

awk -F: ‘$NF~/bash$/{print $1$NF}’ /etc/passwd

顯示/etc/passwd文件中以bash結尾行的用戶名和Shell類型

 

（4）line ranges：行范圍

起始行，結尾行：/pat1/,/pat2/不支持直接給出數字格式

awk -F: ‘/^root\>/,/^nobody\>/{print $1}’? /etc/passwd

顯示root開頭的行到nobody開頭的行之間的用戶名

awk -F: ‘(NR>=10&&NR<=20){print NR,$1}’? /etc/passwd

顯示第10行到第20行，標準行號并顯示用戶名

 

（5）BEGIN/END模式

BEGIN{}：僅在開始處理文件中的文本之前執行一次

END{}：僅在文本處理完成之后執行一次

 

示例：

awk -F: ‘BEGIN{print “USER USERID”}{print$1″:”$3}END{print “end file”}’ /etc/passwd

處理文本前打印USER USERID，之后處理/etc/passwd文件取出每一行的用戶名和UID，并在處理

完文本后打印end file

awk -F: ‘{print “USER USEID\n”$1”:”$3}END{print “end file”}’ /etc/passwd

awk -F: ‘{print “USER USEID”;print $1″:”$3}END{print”end file”}’ /etc/passwd

在/etc/passwd文件每一行上都添加USER USERID，并在處理完文本后打印end file

seq 10|awk ‘i=0’

結果為0，條件為假，不顯示

seq 10|awk ‘i=1’

結果不為0，條件為真，顯示所有數字

seq 10|awk ‘i=!i’

顯示奇數，第一行i為空，!i則為非空，打印該行，第二行i為非空，!i為空則不打印，以此類推

seq 10 | awk ‘{i=!i;print i}’

顯示1,0,1,0…即上例工作原理

seq 10|awk ‘!(i=!i)’

顯示偶數

seq 10 |awk -v i=1 ‘i=!i’

顯示偶數，第一行i已賦值，所以!i為空，不顯示

 

awp操作符：

輸出操作符：print、printf

print格式：

print item1，item2，…

要點：

（1）逗號分隔符

（2）輸出的各item可以是字符串，也可以是數值；當前記錄的字段、變量或awk的表達式

（3）如省略item，相當于打印整行print $0

 

printf格式：

格式化輸出：print “FORMAT”,item1,item2,…

要點：

（1）必須指定FORMAT（格式）

（2）不會自動換行，需要顯示給出換行控制符，\n

（3）FROMAT中需要分別為后面每個item指定格式符

格式符：與item一一對應

%c??????????? 顯示字符的ASCII碼

%d,%i?????????????? 顯示十進制整數

%e,%E????????????? 顯示科學計數法數值

%f???????????? 顯示為浮點數

%g,%G????????????? 以科學計數法或浮點形式顯示數值

%s???????????? 顯示字符串

%u??????????? 無符號整數

%%?????????? 顯示%自身

修飾符：

#[.#]????????????????? 第一個#控制顯示的寬度；第二個#表示小數點后精度，%3.1f

–??????????????? 左對齊（默認右對齊）%-15s

+?????????????? 顯示數值的正負符號 %+d

 

示例：

awk -F: ‘{printf “%s”,$1}’ /etc/passwd

將/etc/passwd文件中所有用戶名作為一個字符串輸出

awk -F: ‘{printf “%s\n”,$1}’ /etc/passwd

效果等同于awk -F: ‘{print $1}’ /etc/passwd

awk -F: ‘{printf “%-20s %10d\n”,$1,$3}’ /etc/passwd

顯示用戶名左對齊，UID以十進制數顯示且寬度為10

awk -F: ‘{printf “Username: %s\n”,$1}’ /etc/passwd

效果等同于awk -F: ‘{print “Username: “$1}’ /etc/passwd

awk -F: ‘{printf “Username: %s,UID:%d\n”,$1,$3}’ /etc/passwd

顯示結果如：

Username: basher,UID:504

awk -F: ‘{printf “Username: %15s,UID:%d\n”,$1,$3}’ /etc/passwd

顯示結果如：

Username:????????? basher,UID:504

awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd

顯示結果如：

Username: basher???????? ,UID:504

 

awk變量：

變量：內置和自定義變量

內置變量：

FS：輸入字段分隔符，默認為空白字符

OFS：輸出字段分隔符，默認為空白字符

RS：輸入記錄分隔符，指定輸入時的換行符

ORS：輸出記錄分隔符，輸出時用指定符號代替換行符

NF：字段數量

NR：記錄號，相當于行號

FNR：同時針對多個文件時，分別計數，添加記錄號

FILENAME：當前文件名

ARGC：命令行參數的個數

ARGV：數組，保存的是命令行所給定的各參數，參數標號默認從0開始，且第一個參數為awk命令本身

注：引用內置變量不需要加$

 

 

示例：

awk -F:? ‘{print $1″:”$3}’? /etc/passwd?????????????? 等價于

awk -v FS=’:’ ‘{print $1FS$3}’ /etc/passwd

以：作為分隔符，顯示每行的第一和第三個域，即用戶名和UID

awk -v FS=”:” -v OFS=”:” ‘{print $1,$3,$7}’ /etc/passwd

以：作為分隔符，取出用戶名，UID，shell類型，并以：分隔

awk -v RS=” ‘{print$2}’ /etc/passwd

沒有記錄分隔符，文件被看做一個整體記錄，取$2即為第二行

awk -v RS=” -v ORS=’###’ ‘{print}’ /etc/passwd

沒有記錄分隔符，文件被看做一個整體的記錄，文件尾添加###

awk -F: ‘{print NF}’ /etc/passwd

顯示以：為分隔符，每一個行的字段數量

awk -F: ‘{print $(NF-1)}’ /etc/passwd

打印/etc/passwd每行的倒數第二個字段

awk ‘{print NR}’ /etc/fstab ; awk END'{print NR}’ /etc/fstab

顯示/etc/fstab文件每行行號，總行號

awk ‘{print FNR}’ /etc/fstab /etc/inittab

對/etc/fstab和/etc/inittab文件分別計數，顯示行號

awk ‘{print FILENAME}’ /etc/fstab

在/etc/fstab文件每一行顯示文件名

awk ‘{print ARGC}’ /etc/fstab /etc/inittab

顯示每行參數的個數

awk ‘BEGIN{print ARGV[0],ARGV[1]}’ /etc/fstab /etc/inittab

顯示第一個和第二個參數：awk?? /etc/fstab

 

自定義變量（區分字符大小寫）：

（1）-v var=value

（2）在program中直接定義

注：{}內賦值變量要用；隔開；

{}外賦值變量時，每個變量前都要加-v選項；

 

 

示例：

awk -v test=’hello’ ‘{print test}’ /etc/fstab????

在/etc/fstab文件每一行打印hello

awk -v test=’hello’ ‘BEGIN{print test}’

打印hello

awk ‘BEGIN{test=”hello”;print test}’?????

打印hello，{}內賦值變量后加；

awk -F: ‘{age=18;sex=”male”;print $1,sex,age;}’ /etc/passwd

取出每行用戶名，并在用戶名后，打印male 18

cat awkscript

{print script$1$3}

awk -F: -f awkscript? script=”awk”? /etc/passwd

取出每一行的用戶名和UID并在每行前面打印awk

 

算術操作符：

x+y?? 加法運算

x-y?? 減法運算

x*y?? 乘法運算

x/y?? 除法運算（可精確到小數點）

x^y?? 乘方運算

x%y? 取余運算

 

示例：

awk ‘BEGIN{print 9/2.2}’

計算9/2.2的結果為4.09091

awk ‘BEGIN{print 2^10}’

計算2的10次方顯示1024

 

字符串操作符：沒有符合的操作符，字符串連接

賦值操作符：

=，+=，-=，*=，/=，%=，^=，++，–

 

示例：

awk ‘BEGIN{i=0;print ++i,i }’

顯示：1? 1

awk ‘BEGIN{i=0;print i++,i }’

顯示：0? 1

awk ‘BEGIN{i=0;print i+=5,i}’

顯示：5? 5

 

比較操作符：

==，!=，>，>=，<，<=

模式匹配符：

~ ：左邊是否和右邊匹配包含!~：是否不匹配

 

示例：

awk -F: ‘$0 ~ /root/{print $1}’ /etc/passwd

取/etc/passwd文件中包含root的行中以：為分隔符的第一個域

awk ‘$0 ~ “^root”‘ /etc/passwd

取/etc/passwd文件中以root開頭的行

awk ‘$0 !~ “root”‘ /etc/passwd

取/etc/passwd文件中不包含root的行

awk -F: ‘$3==0’ /etc/passwd

取/etc/passwd文件中UID=0的行

 

邏輯操作符：

&&?? 與

||???? 或

！??? 非

注意：這里的&&和||不是shell中的短路與和短路或，而是類似于[test]判斷中的-a和-e

 

示例：

awk -F: ‘$3>=0 && $3<=1000{print $1}’ /etc/passwd

取出/etc/passwd文件中UID大于0且小于1000的用戶名

awk -F: ‘$3==0 || $3<=1000{print $1}’ /etc/passwd

取出/etc/passwd文件中UID等于0或小于1000的用戶名

awk -F: ‘!($3==0){print $1}’ /etc/passwd

取出/etc/passwd文件中UID不等于0的用戶名

 

函數調用：function_name（argu1，argu2…）

 

條件表達式（三目表達式）：

格式：

條件判斷式？if-true-expression:if-false-expression

 

示例：

awk -F:? ‘{$3>=1000?usertype=”Common User”:usertype=”Sysadmin or SysUser”;printf

“%15s:%-s\n”,$1,usertype}’? /etc/passwd

判斷/etc/passwd文件中如果UID大于1000，在用戶名后標注普通用戶，如果UID小于1000，則標注root或系統用戶

如：???????? rpcuser:Sysadmin or SysUser

nfsnobody:Common User

 

 

awk循環判斷：

if-else語句

語法：if（condition）{statement;…}[else statement]

????? if（condition1）{statement1;…}else if（condition2）{statement2;…}else{statement3}

使用場景：對awk取得的整行或某個字段做條件判斷

 

示例：

awk -F: ‘{if($3>=1000)print$1,$3}’ /etc/passwd

打印UID大于等于1000的用戶名和UID

awk -F: ‘{if($NF==”/bin/bash”)print$1,$3}’ /etc/passwd

打印shell類型為/bin/bash的用戶名和UID

awk ‘{if(NF>5)print$0}’ /etc/fstab

顯示/etc/fstab文件中字段大于5的行

awk -F: ‘{if($3>=1000){printf “Common user: %s\n”,$1}else{printf “System or root: %s\n”,$1}}’? /etc/passwd

取出UID大于等于1000用戶名，并在前面加Common user：其他用戶名前加System or root：

awk -F: ‘{if($3>=1000)printf “Common user: %s\n”,$1;else printf “System or root: %s\n”,$1}’? /etc/passwd

等同于上例，在只有兩種條件時，可用此格式替換

df -h|awk -F% ‘/^\/dev/{print $1}’|awk ‘$NF>80{print $1,$NF}’

取出磁盤利用率大于80的磁盤名稱和磁盤利用率

awk ‘BEGIN{test=100;if(test>90){print “very good”}else if(test>60){ print “good”}else{print “no pass”}}’

如果test打印90顯示very good，大于60小于90顯示good，小于60顯示no pass

while循環語句

語法：while（condition）{statement}

條件為“真”，進入循環；條件為“假”，退出循環

使用場景：

a）對一行內的多個字段之一類似處理時使用

b）對數組中的各元素逐一處理時使用

 

示例：

awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}’ /etc/grub2.cfg

取出grub2文件中空白開頭跟linux16的行，并顯示每個字段和每個字段的字符數

awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF){if(length($i)>=10) {print $i,length($i)}; i++}}’ /etc/grub2.cfg

取出grub2文件中空白開頭跟linux16的行，并顯示字符數大于10個的字段和對應字段的字符數

 

do-whlie循環語句

語法：do{statement;…}while（condition）

意義：無論真假，至少執行一次循環體

 

示例：

計算1到100的數字之和：

awk ‘BEGIN{i=1;sum=0;do{sum+=i;i++;}while(i<=100);print sum}’

對比

awk ‘BEGIN{i=1;sum=0;while(i<=100){sum+=i;i++};print sum}’

 

for循環語句

語法：for(expr1;expr2;expr3) {statement;…}

常見用法：

for(variable assignment;condition;iteration process)

{for-body}

特殊用法：能夠遍歷數組中的元素

語法：for(var in array) {for-body}

 

示例：

awk “BEGIN{for(i=0;i<=100;i++)sum+=i;print sum}”

計算1到100數字之和

與shell語言for循環第二種風格很類似：

for ((i=1,sum=0;i<=100;i++));do let sum+=i;done;echo $sum

 

break和continue

用于循環體中

break：提前結束本輪循環

continue：提前結束本輪循環，而直接進入下一輪判斷；

break[N]：提前結束第N層循環，最內層為第一層

continue[N]：提前結束第N層的本輪循環，而直接進入下一輪判斷；最內層為第1層

 

示例：

awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}’

計算1到100奇數之和，數字為偶數時跳過，奇數時相加

awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}’

數字加到66時，break退出循環，結果為1到66的數字之和

 

next語句

提前結束對本行處理而直接進入下一行處理（awk自身循環）

awk -F: ‘{if($3%2!=0) next; print $1,$3}’ /etc/passwd

 

awk數組：

關聯數組：array[#]

下標：

a）可使用任意字符串；字符串要使用雙引號括起來

b）如果某數組元素事先不存在，在引用時，awk會自動創建此元素，并將其值初始化為“空串”

 

示例：

weekdays[“mon”]=”Monday”

awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;print weekdays[“mon”]}’

awk !arr[$0]++? dupfile???? 取出文件內容重復行

 

遍歷數組：

使用for循環可遍歷數組中的每個元素

格式：for(var in array) {for-body}

注意：var會遍歷array的每個索引

 

示例：

awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;for(i in weekdays) {print weekdays[i]}}’

顯示weekdays[]數組中的每個元素

netstat -tan|awk ‘/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}’

顯示網絡連接每種狀態的數量

awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’ /var/log/httpd/access_log

統計網絡訪問ip和訪問次數

 

awk函數：

系統內置函數：

數組處理：

rand（）：返回0和1之間一個隨機數，只有和srand（）函數配合才生效

 

示例：

awk ‘BEGIN{srand();print rand()}’

返回0和1之間一個隨機數

awk ‘BEGIN{srand();for(i=1;i<=10;i++)print rand()*100}’

返回10個0到100之間的隨機數

 

字符串處理：

length([s])：返回指定字符串的長度

sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并將第一個匹配的內容替換為s

示例：

echo “2008:08:08 08:08:08” | awk ‘sub(/:/,“-“,$1)’

替換字符第一個出現的“：”為“-”；

gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容

echo “2008:08:08 08:08:08” | awk ‘gsub(/:/,“-“,$0)’

全局替換字符第一個出現的“：”為“-”；

split(s,array,[r])：以r為分隔符，切割字符串s，并將切割后的結果保存至array所表示的數組中，

第一個索引值為1,第二個索引值為2,…

 

自定義函數：

格式：

function name ( parameter, parameter, … ) {

???????? statements

???????? return expression

}

 

示例：

cat fun.awk

function max(v1,v2) {

v1>v2?var=v1:var=v2

return var

}

BEGIN{a=3;b=2;print max(a,b)}

編寫一個awk函數，比較兩個數字的大小

awk –f fun.awk

文件調用函數

 

 

awk中調用shell命令：

awk BEGIN'{system(“hostname”) }’

awk ‘BEGIN{score=100; system(“echo your score is ” score) }’