awk用法詳解

七殺 ? ? Linux筆記

awk

awk來自于三個人的姓名，作用是格式化顯示文檔或打印報表
基本用法：
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }’ file …
awk 程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部
分組成
program通常是被單引號或雙引號中
? 選項：
-F 指明輸入時用到的字段分隔符
-v var=value: 自定義變量
awk的處理機制和sed相似，循環的讀入一行，逐行處理，并把行中指定分隔符切割成若干字段，$1代表第一個字段，$2代表第二個字段…$0代表所有行，默認的切割字段的符號為空白符，個數不限，連續的幾個空格被認為是一個
如何區分行
sed中回車換行為一行
awk中的行的分隔符是可以人為指定的
行row：記錄，一條記錄不代表是一行。
a:bb:cc
dd:ee
指定冒號為行分隔符。則第一行為a 第二行為bb 第三行為cc dd 第四行為ee
列colum：字段、域、屬性
a 1:bb 2:cc 3
dd 4:ee 5
指定行分隔符為冒號，指定空格為列分隔符，則a是第一個字段，1是第二個字段 bb是第一個字段,2是第二個字段 cc是第一個字段,3dd第二個字段 ee是第一個字段 5第二個字段

基本格式：awk [options] ‘program’ file…
? program:pattern{action statements;..}
? pattern和action：
? pattern部分決定動作語句何時觸發及觸發事件
BEGIN,END
? action statements對數據進行處理，放在{}內指明
print, printf
? 分割符、域和記錄
? awk執行時，由分隔符分隔的字段（域）標記$1,$2..$n稱為域標識。$0為所有域，
注意：和shell中變量$符含義不同
? 文件的每一行稱為記錄
? 省略action，則默認執行print $0 的操作

awk工作原理
? 第一步：執行BEGIN{action;… }語句塊中的語句
? 第二步：從文件或標準輸入(stdin)讀取一行，然后執行pattern{ action;… }語句塊，它
逐行掃描文件，從第一行到最后一行重復這個過程，直到文件全部被讀取完畢。
? 第三步：當讀至輸入流末尾時，執行END{action;…}語句塊
? BEGIN語句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如
變量初始化、打印輸出表格的表頭等語句通?？梢詫懺贐EGIN語句塊中
? END語句塊在awk從輸入流中讀取完所有的行之后即被執行，比如打印所有行的分析
結果這類信息匯總都是在END語句塊中完成，它也是一個可選語句塊
? pattern語句塊中的通用命令是最重要的部分，也是可選的。如果沒有提供pattern語句
塊，則默認執行{ print }，即打印每一個讀取到的行，awk讀取的每一行都會執行該語句塊

BEGIN經常用于打印表頭 END通常用于打印表尾做匯總

awk
? print格式： print item1, item2, …
? 要點：
(1) 逗號分隔符
(2) 輸出的各item可以字符串，也可以是數值；當前記錄的字段、變量或awk的表達式
(3) 如省略item，相當于print $0
? 示例：
awk ‘{print “hello,awk”}’
等待鍵盤的輸入，和輸入的內容無關，輸入一行打印一行的hello,awk
awk ‘{print “hello,awk”}’ /etc/passwd
在/etc/passwd中有多少行就打印出多少行的hello,awk,還可以借助管道處理例如cat /etc/passwd |awk ‘{print “hello,world”}’
awk打印的時候允許有一些特性的字符，例如\n \t
awk ‘BEGIN{print “hello,world”}’
只是想顯示特定的字符串
awk ‘BEGIN{print 5*8}’
可以進行數字運算
awk -F: ‘{print $1，$3}’ /etc/passwd
取出/etc/passwd中的第1列和第3列，默認分隔符為空格，也可以指定其它的分隔符，但是要用引號隔開，也可以用FS隔開

awk變量
變量：內置和自定義變量
FS：輸入字段分隔符，默認為空白字符
awk -v FS=’:’ ‘{print $1,FS,$3}’ /etc/passwd
awk –F: ‘{print $1,$3,$7}’ /etc/passwd
這兩個是相同的
OFS：輸出字段分隔符，默認為空白字符
awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd
RS：輸入記錄分隔符，指定輸入時的換行符
awk -v RS=’ ‘ ‘{print }’ /etc/passwd
ORS：輸出記錄分隔符，輸出時用指定符號代替換行符
awk -v RS=’ ‘ -v ORS=’###’‘{print }’ /etc/passwd
NF：字段數量
awk ‘{print NF}’ /etc/fstab,引用內置變量不用$ 打印每行的字段個數
awk -F: ‘{print $(NF-1)}’ /etc/passwd 打印倒數第二個字段
也可以不用-F指定分隔符而在內部指定例如 awk ‘BAGIN{FS=”:”}{print NF}’ /etc/fstab awk ‘BAGIN{FS=”:” OFS=”:”}{print NF}’ /etc/fstab
NR：記錄號
awk ‘{print NR}’ /etc/fstab ; awk END'{print NR}’ /etc/fstab

取出分區利用率和網站訪問日志
df -h|awk ‘{print $1,$5}’
cat /var/log/httpd/access_log |awk ‘{print $1}’

FNR：各文件分別計數,記錄行號
awk ‘{print FNR}’ /etc/fstab /etc/inittab
? FILENAME：當前文件名
awk ‘{print FILENAME}’ /etc/fstab
? ARGC：命令行參數的個數
awk ‘{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
? ARGV：數組，保存的是命令行所給定的各參數
awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

awk變量
? 自定義變量(區分字符大小寫)
(1) -v var=value
(2) 在program中直接定義
? 示例：
awk -v test=’hello gawk’ ‘{print test}’ /etc/fstab
awk -v test=’hello gawk’ ‘BEGIN{print test}’
awk ‘BEGIN{test=”hello,gawk”;print test}’
awk –F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd awk中先引用后賦值會在第一行中出現問題
cat awkscript
{print script,$1,$2}
awk -F: -f awkscript script=“awk” /etc/passwd 定義變量在文件之后可以不加-v選項

printf命令
? 格式化輸出：printf “FORMAT”, item1, item2, …
(1) 必須指定FORMAT
(2) 不會自動換行，需要顯式給出換行控制符，\n
(3) FORMAT中需要分別為后面每個item指定格式符
? 格式符：與item一一對應
%c: 顯示字符的ASCII碼
%d, %i: 顯示十進制整數
%e, %E:顯示科學計數法數值
%f：顯示為浮點數
%g, %G：以科學計數法或浮點形式顯示數值
%s：顯示字符串
%u：無符號整數
%%: 顯示%自身
? 修飾符：
#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點后精度，%3.1f
-: 左對齊（默認右對齊） %-15s
+：顯示數值的正負符號%+d
awk -F: ‘{printf “%-20s:%-d\n”,$1,$3}’ /etc/passwd 顯示/etc/passwd文件中的第一個和第三個字段，左對齊且字符寬度為20，數字寬度為5
awk -F: ‘{printf “%s”,$1}’ /etc/passwd
awk -F: ‘{printf “%s\n”,$1}’ /etc/passwd
awk -F: ‘{printf “%-20s %10d\n”,$1,$3}’ /etc/passwd
awk -F: ‘{printf “Username: %s\n”,$1}’ /etc/passwd
awk -F: ‘{printf “Username: %s,UID:%d\n”,$1,$3}’ /etc/passwd
awk -F: ‘{printf “Username: %15s,UID:%d\n”,$1,$3}’ /etc/passwd
awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd
cat grade.txt
M.Tansley 05/99 48311 Green 8 40 44
J.Lulu 06/99 48317 green 9 24 26
P.Bunny 02/99 48 Yellow 12 35 28
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28
awk ‘{printf “%-10s %-10s %-10d %-10s %-5d %-5d %-5d\n”,$1,$2,$3,$4,$5,$6,$7}’ grade.txt
cat 1.awk
{printf “%-10s %-10s %-10d %-10s %-5d %-5d %-5d\n”,$1,$2,$3,$4,$5,$6,$7}
awk -f 1.awk grade.txt
操作符
? 算術操作符：
x+y, x-y, x*y, x/y, x^y, x%y
-x: 轉換為負數
+x: 轉換為數值
? 字符串操作符：沒有符號的操作符，字符串連接
? 賦值操作符：
=, +=, -=, *=, /=, %=, ^=
++, —
? 下面兩語句有何不同
awk ‘BEGIN{i=0;print ++i,i}’ 先加1后打印i的值
awk ‘BEGIN{i=0;print i++,i}’ 先打印i的值后加1

操作符
? 比較操作符：
==, !=, >, >=, <, <= ? 模式匹配符： ~：左邊是否和右邊匹配包含!~：是否不匹配 ? 示例： awk –F: ‘$0 ~ /root/{print $1}‘ /etc/passwd 整行中包含root的行 awk ‘$0~“^root”‘ /etc/passwd 顯示root開頭的行 awk ‘$0 !~ /root/‘ /etc/passwd 顯示不包含root的行 awk –F: ‘$3==0’ /etc/passwd 顯示$3等于零的行 操作符 ? 邏輯操作符：與&&，或||，非! ? 示例： awk –F: ‘$3>=0 && $3<=1000 {print $1}’ /etc/passwd 顯示uid大于等于零且小于等于1000的用戶名 awk -F: ‘$3==0 || $3>=1000 {print $1}’ /etc/passwd 顯示uid等于零或者大于等于1000的用戶名
awk -F: ‘!($3==0) {print $1}’ /etc/passwd 顯示uid不等于零的行，注意要括號括起來
awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 顯示uid小于500的行
在awk中通常認為0為假，1為真，如果變量i里面有非零值，則！i為零，如果i為零或孔，則！i為1

? 函數調用： function_name(argu1, argu2, …)
? 條件表達式（三目表達式）：
selector?if-true-expression:if-false-expression 如果判斷表達式為真，則執行if-true的代碼，如果為假，則執行if-false的代碼
示例：
awk -F: ‘{$3>=1000?usertype=”Common User”:usertype=”Sysadmin or SysUser”;printf “%15s:%-s\n”,$1,usertype}’ /etc/passwd
awk -v num1=22 -v num2=31 ‘BEGIN{num1>num2?max=num1:max=num2;print max}’
awk -F: ‘{if ($3==0) {printf “%15s %s\n”,$1,”Administrator”;} else {printf “%15s %s\n”,$1,”common user.”}}’ /etc/passwd

awk PATTERN
? PATTERN:根據pattern條件，過濾匹配的行，再做處理
(1)如果未指定：空模式，匹配每一行
(2) /regular expression/：僅處理能夠模式匹配到的行，需要用/ /括起來
awk ‘/^UUID/{print $1}’ /etc/fstab
awk ‘!/^UUID/{print $1}’ /etc/fstab
(3) relational expression: 關系表達式，結果為“真”才會被處理
真：結果為非0值，非空字符串
假：結果為空字符串或0值
? 示例：
? awk -F: ‘i=1;j=1{print i,j}’ /etc/passwd
? awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
? awk –F: ‘$3>=1000{print $1,$3}’ /etc/passwd
? awk -F: ‘$3<1000{print $1,$3}’ /etc/passwd ? awk -F: ‘$NF==”/bin/bash”{print $1,$NF}’ /etc/passwd ? awk -F: ‘$NF ~ /bash$/{print $1,$NF}’ /etc/passwd 4) line ranges：行范圍 startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式 awk -F: ‘/^root\>/,/^nobody\>/{print $1}’ /etc/passwd
awk -F: ‘(NR>=10&&NR<=20){print NR,$1}’ /etc/passwd
? (5) BEGIN/END模式
BEGIN{}: 僅在開始處理文件中的文本之前執行一次
END{}：僅在文本處理完成之后執行一次

seq 10 | awk ‘i=!i‘ 打印奇數行
seq 10 | awk ‘!(!i)‘ 打印偶數行
seq 10 | sed -n ‘1~2p’ 打印奇數行
seq 10 | sed -n ‘1~2P’ 打印偶數行

awk控制語句if-else
語法：if(condition){statement;…}[else statement] ?如果條件成立，則執行statement語句，可以單分支也可以雙分支
if(condition1){statement1}else if(condition2){statement2}else{statement3}
使用場景：對awk取得的整行或某個字段做條件判斷
awk ‐F: ‘{if($3>=1000)print $1,$3}’ /etc/passwd ? ? ? ? ? ?以冒號為分隔符，當第三列大于等于1000時，取出第一列的用戶和第三列的uid
awk ‐F: ‘{if($NF==”/bin/bash”) print $1}’ /etc/passwd ? ? ?取出以/bin/bash結尾的用戶名
awk ‘{if(NF>5) print $0}’ /etc/fstab ? ? ? ? ? ? ? ? ? ? ? 如果每行大于5個字段，則打印這行
awk ‐F: ‘{if($3>=1000) {printf “Common user: %s\n”,$1} else {printf “root or Sysuser: %s\n”,$1}}’ /etc/passwd ? ?如果uid大于等于1000，打印common user:用戶名，否則打印root or sysuser:用戶名
awk ‐F: ‘{if($3>=1000) printf “Common user: %s\n”,$1; else printf “root or Sysuser: %s\n”,$1}’ /etc/passwd ? 一條語句的可以省略花括號不寫
df ‐h|awk ‐F% ‘/^\/dev/{print $1}’|awk ‘$NF>=80{print $1,$5}‘ ? ? ?打印分區利用率大于80的分區及利用率
awk ‘BEGIN{ test=100;if(test>90){print “very good“}else if(test>60){ print “good”}else{print “no pass”}}’ 賦值test=100,當大于90時打印very good大于60小于90時打印good,小于60時打印沒通過
也可以寫成awk -v test=100 ‘BEGIN{if(test>90){print “very good”}else if(test>60){ print “good”}else{print “no pass”}}’
while循環（用的比較多）
? 語法：while(condition){statement;…}
? 條件“真”，進入循環；條件“假”，退出循環
? 使用場景：
對一行內的多個字段逐一類似處理時使用
對數組中的各元素逐一處理時使用
awk默認循環行，列的循環 是沒有的，需要自己創建常見的{i=1;while(i<=NF){print $i,length($i);i++}}
? 示例：
awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i); i++}}’ /etc/grub2.cfg ? ? ? 打印包含linux16的行，并打印每個字段及每個字段的字符長度
awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print $i,length($i)}; i++}}’ /etc/grub2.cfg ?打印包含linux16的行，并打印字符長度大于10的字段
awk ‘BEGIN{print length(“abc”)}’ ?length()打印字符串的字符長度
do-while循環（用的不是太多）
? 語法：do {statement;…}while(condition)
? 意義：無論真假，至少執行一次循環體
? 示例：
awk ‘BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 從1加到100
awk ‘BEGIN{sum=0;i=0;while(i<=100){sum+=i;i++} print sum }’while實現1加到100
for循環
? 語法：for(expr1;expr2;expr3) {statement;…}
? 常見用法：
for(variable assignment;condition;iteration process)
{for-body}
? 特殊用法：能夠遍歷數組中的元素
語法：for(var in array) {for-body}
? 示例：
awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}’ /etc/grub2.cfg ? 打印字段及字段的字符長度
awk ‘BEGIN{sum=0;for(i=0;i<=100;i++){sum+=i}print sum}’ 實現1加到100
性能比較awk快于for循環
switch語句
? 語法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; …; default: statementn}
switch是個表達式，如果值為VALUE1或者表達式/REGEXP/，則執行statement1，如果為VALUE2或者表達式/REGEXP2/則執行statement2，都不滿足默認執行statementn
? break和continue
? awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}‘
? awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){if(i==66)break;sum+=i}print sum}‘
next:
提前結束對本行處理而直接進入下一行處理（awk自身循環）
awk -F: ‘{if($3%2!=0) next; print $1,$3}’ /etc/passwd ?取出用戶id為偶數的用戶名和id
注意：awk ‘{if($3>10)print $1,$3;if($3<100)print $1,$3}’ /etc/passwd 是表示或者的意思，要表示并且的意思可以使用awk ‘{if($3>10 && $3<100)print $1,$3}’ /etc/passwd
awk數組
? 關聯數組：array[index-expression] awk的數組默認為關聯數組
? index-expression:
? (1) 可使用任意字符串；字符串要使用雙引號括起來
? (2) 如果某數組元素事先不存在，在引用時，awk會自動創建此元素，并將其值初始化為“空串”
? 若要判斷數組中是否存在某元素，要使用“index in array”格式進行遍歷，變量的值等于數組的下標即index的值是數組[]中的內容
? 示例：
? weekdays[“mon”]=”Monday“
? awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;print weekdays[“mon”]}‘
? awk ‘!arr[$0]++’ dupfile ?$0代表一整行，默認打印整行，第一次打印時$0等于零，下一次如果打印到相同的內容先取反為零，然后在累加，代表著去掉了重復的行
? awk ‘!++arr[$0]’ dupfile ?代表先++后取反打印，統統不打印了
? awk ‘{!arr[$0]++;print $0, arr[$0]}’ dupfile
若要遍歷數組中的每個元素，要使用for循環
? for(var in array) {for-body}
? 注意：var會遍歷array的每個索引
? 示例：
? awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]
=”Tuesday”;for(i in weekdays) {print weekdays[i]}}‘
? netstat -tan | awk ‘/^tcp/{state[$NF]++}END{for(i in state) { print i,state[i]}}’ 把連接狀態賦值到數組中，state[$NF]++表示相同狀態的數量，使用i遍歷數組的下標
? awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’ /var/log/httpd/access_log
ab -c 100 -n 1000 http://172.20.0.1:9527/ 對主機進行大量并發
iptables -A INPUT -s 172.20.30.7 -j REJECT 把172.20.30.7添加到防火墻拒絕訪問
案例：分析日志，大于1000的并發添加到防火墻禁止訪問
for j in `awk ‘{ip[$1]++}END{for(i in ip) {if(ip[i]>1000)print i}}’ /var/log/httpd/access_log`;do
iptables -A INPUT -s $j -j REJECT
done
面試：取出訪問量前十的ip地址
awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’ /var/log/httpd/access_log|sort -k2 -nr|head
awk函數
? 數值處理：
int() 取整數
rand()：返回0和1之間一個隨機數
awk ‘BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }’ ?int是定義整型，想變成幾位的隨機數把數值擴大相應的倍數即可
? 字符串處理：
? length([s])：返回指定字符串的長度 ?awk ‘BEGIN{print length(“abc”)}’ 結果為3
? sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并將第一個匹配的內容替換為s
echo “2008:08:08 08:08:08” | awk ‘sub(/:/,“-“,$1)’ ? 搜索第一個字段中的內容，用-代替冒號
? gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容
echo “2008:08:08 08:08:08” | awk ‘gsub(/:/,“-“,$0)’ ? 搜索整行的內容，用-代替冒號
? split(s,array,[r])：以r為分隔符，切割字符串s，并將切割后的結果保存至array所表示的數組中，第一個索引值為1,第二個索引值為2,…
head -n1 /etc/passwd|awk ‘{split($0,arr,”:”)}END{for(i in arr){print i,arr[i]}}’ 取出/etc/passwd中的第一行，并遍歷每個字段，打印出每個字段的字段號和字段內容
netstat -tan | awk ‘/^tcp\>/{split($5,ip,”:”);count[ip[1]]++}END{for (i in count) {print i,count[i]}}’
awk ‘{for(i=1;i<=NF;i++){word[$i]++}}END{for(j in word){print j,word[j]}}’ /etc/rc.sysinit ?統計文章里的單詞數量，默認以空格隔開
cat score.txt
name score sex
mage 100 m
zhangsir 99 m
bai ?100 ?f
li ?99 ? f
awk ‘{if($NF==”m”){sum_m+=$2;num_m++}else{sum_f+=$2;num_f++}}END{printf “male:%.2f\nfemale:%.2f\n”,sum_m/num_m,sum_f/num_f}’ score.txt ?統計平均成績
awk ‘{num[$NF]++;sum[$NF]+=$2 }END{for(sex in num)printf “%s:%.2f\n”,sex,sum[sex]/num[sex]}’ score.txt
awk函數
? 自定義函數
? 格式：
function name ( parameter, parameter, … ) {
statements
return expression
}
? 示例：
cat fun.awk
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{a=3;b=2;print max(a,b)}
awk –f fun.awk
也可以把a=3,b=2刪掉，在使用的時候賦值
awk中調用shell命令
? system命令
? 空格是awk中的字符串連接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說除了awk的變量外其他一律用””引用起來。
awk BEGIN'{system(“hostname”) }’
awk ‘BEGIN{score=100; system(“echo your score is ” score) }’

 

本文來自投稿，不代表Linux運維部落立場，如若轉載，請注明出處：http://www.www58058.com/99022

贊 (0)
七殺七殺
上一篇 2018-05-20
下一篇 2018-05-20

相關推薦

欧美性久久久久