GNU awk：
文本處理三劍客：grep，sed，awk
grep，egrep，fgrep：文本過濾工具；pattern
sed： 行編輯器
模式空間，保持空間
awk：報告生成器，格式化文本輸出；
AWK：Aho，Weinberger,Kernighan(三位作者)—->New AWk(NAWk)
GNU awk ; gawk
gawk – pattern scanning and processing language(掃描和處理語言模式)
基本用法：gawk [options] ‘program’ FILE …
program：PATTERN{ACTION STATEMENTS}
語句之間用分號分隔
print，printf
選項：
-F：指明輸入時用到的字段分隔符；
-v var=value：自定義變量；
1、print
print item1，item2，…..
要點：
（1）逗號分隔符；
（2）輸出的各item可以字符串，也可以是數值；當前記錄的字段，變量或awk的表達式；
（3）如果省略item，相當于print $0；
2、變量：
（1）內建變量：
FS：input field seperator，默認為空白字符；
OFS：output field seperator，默認為空白字符；
RS： input record seperator，輸入時的換行符；
ORS：output record seperator，輸出時的換行符；
NF：number of field，字段數量；
{print NF}， {print $NF}
NR: number of record ,行數；
FNR：各文件分別計數；行數；
FILENAME: 當前文件名；
ARGC: 命令行參數的個數；
ARGV：數組，保存的是命令行所給定的各參數；
（2）自定義變量：
1） -v var=value：
變量名區分字符大小寫
2）在program中直接定義
3、printf命令：
格式化輸出：printf FORMAT, item1 ，item2,…..
(1) FORMAT 必須給出；
(2) 不會自動換行，需要顯示給出換行控制，\n
(3) FORMAT 中需要分別為后面的每個item指定一個格式化符號；
格式符：
%c：顯示字符的ASCII碼；
%d，%i：顯示十進制整數；
%e，%E：科學計數法數值顯示；
%f：顯示為浮點數；
%g，%G：以科學計數法或浮點形式顯示數值；
%s：顯示字符串；
%u：無符號整數；
%%：顯示%自身；
修飾符：
#[ .#] : 第一個# 控制顯示的寬度；第二個# 表示小數點后的精度；
%3.1f
-：左對齊
+：顯示數值的符號
4、操作符：
算術操作符：
x+y， x-y, x*y , x/y , x^y, x%y,
-x
+x: 轉換為數值；
字符串操作符：沒有符號的操作符，字符串連接；
賦值操作符：
=，+=，-=，*=，/=，%=，^=，++，–
比較操作符：
> , >=, < , <=, != , ==
模式匹配符：
~：是否匹配
！~：是否不匹配
邏輯操作符：
&&
||
！
函數調用：
function_name(argu1, argu2, …)
條件表達式：
selector？if-true-expression: if-false-expression
示例：顯示系統用戶和普通用戶；
~]#awk -F: ‘{$3>=1000?usertype=”Common User”:usertype=”Sysadmin or SysUser”;printf “%15s:%-s\n”,$1,usertype}’ /etc/passwd
5、PATTERN：
（1）empty：空模式，匹配每一行；
（2）/regular expression/: 僅處理能夠被此處的模式匹配到的行；
（3） relational expression：關系表達式；結果有“真”有“假”；結果為“真”才會被處理；
真：結果為非0值，非空字符串；
（4）line ranges: 行范圍，
startline ，endline /pat1/,/pat2/
注意：不支持直接給出數字的格式；
~]#awk -F: ‘(NR>=2&&NR<=10){print $1}’ /etc/passwd
（5） BEGIN/END模式：
BEGIN{}: 僅在開始處理文件中的文本之前執行一次；
END{}: 僅在文本處理完成之后執行一次；
6、常用的action
（1）Expressions
（2）Control Statements: if , while 等；
（3） Compound statements：組合語句；
（4）input statements
（5）output statements
7、控制語句：
if (condition) {statements}
if (condition) {statements} else {statements}
while (condition) {statements}
do {statements} whiile(condition)
for (expr1;expr2 ; expr3) {statements}
break
continue
delete array[index]
delete array
next
{ staements }
(1) if-else
語法：if (condition) statement [else statement]
示例：在centos7上，ID號大于1000的為普通用戶；
小于1000的為系統用戶或root用戶；
~]# awk -F: ‘{if($3>=1000) {printf “Common user:%s\n”,$1} else {printf “root or Sysuser:%s\n”,$1}}’ /etc/passwd
使用場景：對awk取得的整行或某個字段做條件判斷；
~]# awk -F: ‘{if($NF==”/bin/bash”) print $1}’ /etc/passwd
取 /bini/bash結尾的行
~]#awk ‘{if(NF>5) print $0}’ /etc/fstab
空白符大于5個的行
~]#df -h| awk -F[%] ‘/^\/dev/{print $1}’ | awk ‘{if($NF>=20) print $1}’
分區比例大于等于20
（2）while循環：
語法：while（condition） statement
條件為“真”，進入循環；條件為“假”，退出循環；
使用場景：對一行內的多個字段逐一類似處理時使用；對數組中的各元素逐一處理時使用；
~]#awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}’ /etc/grub2.cfg
在/etc/grub2.cfg文件中取 liniux16行的字符數
（3）do-while循環：
語法：do statement while (condition)
意義：至少執行一次循環體
（4）for循環：
語法：for（expr1,；expr2；expr3） statement
for（variable assignment;condition;iteration process) {for-body}
~]#awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}’ /etc/grub2.cfg
在/etc/grub2.cfg文件中取 liniux16行的字符數
特殊用法：
能夠遍歷數組中的元素；
語法：for（var in array） {for-body}
（5）switch語句：
語法：switch (expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; …; default: statement
（6）break和continue
break [n]
continue
（7）next （awk的內部循環）
提前結束對本行的處理而直接進入下一行；
~]#awk -F: ‘{if($3%2!=0) next; print $1,$3}’ /etc/passwd
取出/etc/passwd文件中 ID號為偶數的用戶
8、 array
關聯數組：array[index-expression]
index-expression:
(1) 可使用任意字符串；字符串必須使用雙引號；
(2) 如果某數組元素事先不存在，在引用時，awk會自動采集元素，并將其值初始化為“空串”；
若要判斷數組中是否存在某元素，要使用“index in array”格式進行；
weekdays[mon]=”Monday”
若要遍歷數組中的每個元素，要使用for循環；
for（var in array） {for-body}
~]#awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;for(i in weekdays) {print weekdays[i]}}’
Tuesday
Monday
注意：var會遍歷array的每個索引；
~]#awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’ /var/log/httpd/access_log
統計訪問的IP
示例：1、統計/etc/fstab文件中每個文件系統類型出現次數；
~]#awk ‘/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}’ /etc/fstab
2、統計指定文件中每個單詞出現的次數；
~]#awk ‘{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}’ /etc/fstab
9、函數：
內置函數：
數值處理
rand(): 返回0或1之間一個隨機數；
字符串處理：
length([s]):返回指定字符串的長度
sub（r，s，[t]）：以 r 表示的模式來查找 t 所表示的字符串中
的匹配的內容，并將其第一次出現替換為 s 所表示的內容；
gsub（r，s，[t]）：以 r 表示的模式來查找 t 所表示的字符串中
的匹配的內容，并將其所有出現替換為 s 所表示的內容；
split（s，a，[，r]）：以 r 為分隔符切割字符 s ，
并將切割后的結果保存至 a 所表示的數值中；
~]#netstat -tan | awk’/^tcp\>/{split($5,ip,”:”);
count[ip[1]]++}END{for(i in count) {print i,count[i]}}’
netstat -tan文件中的IP數
原創文章，作者：MFX，如若轉載，請注明出處：http://www.www58058.com/76732
