文本三劍客—-awk（3）

awk簡介

awk是一個強大的文本分析工具，與grep（查找）、sed（編輯）一并稱為“文本處理三劍客”。awk最強大的功能是對數據分析并生成報告。

awk有3個不同版本: awk、nawk和gawk，未作特別說明，一般指gawk，gawk是AWK的GNU版本。

awk其名稱得自于它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母。awk能讀取輸入文件、為數據排序、處理數據、對輸入執行計算以及生成報表，還有無數其他的功能。

工作原理

一次讀取一行文本，按輸入分隔符進行切片，切成多個組成部分，將每片直接保存在內建的變量中，$1,$2,$3….，引用指定的變量，可以顯示指定斷，或者多個斷。如果需要顯示全部的，需要使用$0來引用。可以對單個片斷進行判斷，也可以對所有斷進行循環判斷。其默認分隔符為空格

1. 按行讀取文本（文件的每一行稱為記錄）
2. 按輸入分隔符進行切片
3. 對切片自動生命變量 $1,$2…（域標識；$0為所有域）
4. 對指定目標做處理（處理及打印等）

語法格式

awk [options] ‘program’ FILE……

[options]
–F：指明輸入時的分隔符
–v：自定義變量
–f：調用awk腳本
program:pattern{action statements;..}
-pattern：觸發條件
-action statements：對數據處理動作

步驟

1. 執行BEGIN{action;…}
   BEGIN在輸入之前執行，通常用來打印表頭，變量初始化。
2. 讀取，執行pattern{action;…}
   默認執行{ print }
3. 執行END{action;…}
   讀取到打印結束后執行，通常用作分析結果，信息匯總。

變量

內置變量

• FS：輸入字段分隔符
• OFS：輸出字段分隔符
• RS：輸入記錄分隔符
• ORS：輸出記錄分隔符
• ARGC：命令行參數的個數
• ARGV：數組，保存命令行給定的各參數
• NF：字段數量
• NR：行號
• FNR：個文件分別計數，行號
• FILENAME：當前文件名

自定義變量

1. 選項位置定義：-v var=hello
2. 在program中定義：awk ‘BEGIN{test=”hello”;print test}’

字符串處理

1. length([s]) ：返回指定字符串的長度
2. sub(r,s,[t]) ：對t字符串進行搜索r 表示的模式匹配的內容，并將第一個匹配的內容替換為s
   echo “2008:08:08 08:08:08″ | awk ‘sub(/:/,”-“,$0)’
3. gsub(r,s,[t]) ：對t字符串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容
   echo “2008:08:08 08:08:08″ | awk ‘gsub(/:/,”-“,$0)’
4. split(s,array,[r]) ：以r為分隔符，切割字符串s，并將切割后的結果保存至array 所表示的數組中，第一個索引值為1, 第二個索引值為2,…
   netstat -tan | awk ‘/^tcp>/{split($5,ip,”:”);count[ip[1]]++} END{for (i in count) {print i,count[i]}}’

Printf命令

1. print不需要指定，printf需要指定format
2. printf后面的字串需要使用雙引號
3. 字串定義后的內容需要使用”,”分隔，后面直接跟Item1,item2….
4. format用于指定后面的每個item的輸出格式
5. printf語句不會自動打印換行符\n

格式符

1. %s: 顯示字符串
2. %d,%i: 顯示十進制整數
3. %e,%E: 科學計數法數值顯示
4. %f: 顯示為浮點數
5. %g,%G: 以科學數法或浮點形式顯示數值
6. %c: 顯示字符的ASCII碼
7. %u: 無符號整數
8. %%: 顯示%號自身，相當于轉義

修飾符

1. N: 顯示寬度
2. -: 左對齊（默認為右對齊）
3. +: 顯示數值符號

操作符

• 算數
  x+y, x-y, x*y, x/y, x^y, x%y
• 賦值
  =, +=, -=, *=, /=, %=, ^=,++, —
• 比較
  ==, !=, >, >=, <, <=
• 模式匹配符
  ~：左邊是否和右邊匹配包含!~：是否不匹配
• 邏輯
  &&,||,!

awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd

PROGRAM

pattern

1. ）默認匹配每一行
2. ）/pattern/：僅處理匹配到的行
3. ）/pattern1/,/pattern2/：處理 pattern1 到 pattern2 之間
4. ）關系表達式：真：非0假：空或0

action

1. ）Expressions: 算術，比較表達式等
2. ） Control statements ：if, while等
3. ） Compound statements ：組合語句
4. ） input statements
5. ） output statements ：print等

控制語句

1. if-else
   awk ‘BEGIN{ test=100;if(test>90){print “very good”} else if(test>60){ print “good”}else{print “no pass”}}’
   成績為100；大于90打印“very good”；大于60打印“good”；其余打印“no pass”
2. while 循環
   條件”真”，進入循環；條件”假”，退出循環
   awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10){print $i,length($i)}; i++}}’ /etc/grub2.cfg
   以空白符開頭后跟”linux16″的行中，把字符數大于10的字符串打印出來。
3. do-while 循環
   無論真假，至少執行一次
   awk ‘BEGIN{ sum=0;i=0;do{sum+=i;i++;}while(i<=100);print sum}’
   累加
4. for 循環
   遍歷
   awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print$i,length($i)}}’ /etc/grub2.cfg
5. switch 語句
6. break 和 continue
   awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}’
   awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}’
7. next
   提前 結束對本行處理而直接進入下一行處理
   seq {1,20} | awk -F: ‘{if($1%2==0)next ; print $1}’
   打印奇數行

數組

1. ）可使用任意字符串；字符串要使用雙引號括起來
2. ）如果某數組元素事先不存在，在引用時，awk 會自動創建此元素，并將其值初始化為“空字符串（即為”假”）”

• 若要判斷數組中是否存在某元素，要使用“index in array”格式進行遍歷

示例練習：

[root@localhost ~]# awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash

[root@localhost ~]# awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
lao /bin/bash
cai /bin/bash

[root@localhost ~]# cat f
aa
bb
cc
dd
aa
bb
cc
dd
[root@localhost ~]# awk '!arr[$0]++' f
aa
bb
cc
dd
[root@localhost ~]# awk '{!arr[$0]++;print $0,arr[$0]}' f
aa 1
bb 1
cc 1
dd 1
aa 2
bb 2
cc 2
dd 2

[root@localhost ~]# awk '/^UUID/||/^\/dev/{fs[$3]++} END{for (i in fs){print i,fs[i]}}' /etc/fstab
swap 1
xfs 4

[root@localhost ~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count){print i,count[i]}}' /etc/fstab
man 1
and/or 1
maintained 1
xfs 4
Accessible 1
Thu 1
UUID=63af8e82-3a2a-40ed-8f76-64f56502ee1c 1are 1
defaults 4
blkid(8) 1
/ 1
/dev/mapper/cl-root 1
0 10

[root@localhost ~]# echo "Yd$C@M05MB%9&Bdh7dq+YVixp3vpw" | awk -F "[^[:digit:]]" '{for(k=1;k<=NF;k++){a[$k]}} END{for(i in a) {printf "%s",i}printf "\n"}'
79053