神奇的awk

awk:（行的分隔符是可以自己指定的）

行：在awk中一般稱為記錄record

列：一般稱為字段、域field

基本用法：

awk [options] ‘program’ var=value file…

awk [options] -f programfile var=value file…

awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{ action;… }’ file …

awk 程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成

program程序通常是被單引號（或雙引號）括中

program其中最重要的部分：pattern{action statements;..}

省略action，則默認是執行print $0

pattern和action：

pattern是掃描的條件語句

action statements對數據進行處理，放在{}內指明

一般用：print, printf

awk后如果不接文件，那就會讀取鍵盤輸入

示例：awk -F: ‘{print $1”:”$3}’?/etc/passwd 其中F是指定冒號為字符的間隔符

FS：輸入字段分隔符，默認為空白字符（是一個變量）

awk -v FS=’:’ ‘{print $1,FS,$3}’ /etc/passwd

awk –F: ‘{print $1,$3,$7}’ /etc/passwd

OFS：輸出字段分隔符，默認為空白字符

awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd

RS：輸入記錄分隔符，指定輸入時的換行符

awk -v RS=’ ‘ ‘{print }’ /etc/passwd

ORS：輸出記錄分隔符，輸出時用指定符號代替換行符

awk -v RS=’ ‘ -v ORS=’###’‘{print }’ /etc/passwd

NF：字段數量

awk -F： ‘{print NF}’ /etc/fstab,引用內置變量不用$

awk -F: ‘{print $(NF-1)}’ /etc/passwd

NR：記錄號

awk ‘{print NR}’ /etc/fstab ; awk END'{print NR}’ /etc/fstab

FNR：各文件分別計數,記錄號（可同時分別統計兩個文件）

awk ‘{print FNR}’ /etc/fstab /etc/inittab

FILENAME：當前文件名

awk ‘{print FILENAME}’ /etc/fstab

ARGC：命令行參數的個數

awk ‘{print ARGC}’ /etc/fstab /etc/inittab

awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

ARGV：數組，保存的是命令行所給定的各參數

awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab

awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

自定義變量(區分字符大小寫)

• -v var=value

示例：

awk -v test=’hello gawk’ ‘{print test}’ /etc/fstab

awk -v test=’hello gawk’ ‘BEGIN{print test}’

• 在program中直接定義

示例：awk –F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd

printf命令：

printf在bash中本身就是一個內部命令

格式化輸出：printf “FORMAT”, item1, item2, …

(1) 必須指定FORMAT（自定義格式）

(2) 不會自動換行，需要顯式給出換行控制符，\n

(3) FORMAT中需要分別為后面每個item指定格式符

格式符：與item一一對應（有幾個item就有幾個格式符）

%c: 顯示字符的ASCII碼

%d, %i: 顯示十進制整數

%e, %E:顯示科學計數法數值

%f：顯示為浮點數

%g, %G：以科學計數法或浮點形式顯示數值

%s：顯示字符串

%u：無符號整數

%%: 顯示%自身

修飾符：

#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點后精度，%3.1f

-: 左對齊（默認右對齊） %-15s

+：顯示數值的正負符號 %+d

示例：（-或者：連接多個格式符）

賦值操作符：

=, +=, -=, *=, /=, %=, ^=，++, —

比較操作符：

==, !=, >, >=, <, <=

支持模式匹配符：

~：左邊是否和右邊匹配包含?!~：是否不匹配

示例：awk –F: ‘$0 ~ /root/{print $1}‘ /etc/passwd

支持邏輯操作符：與&&，或||，非!

支持函數調用： function_name(argu1, argu2, …)

條件表達式（三目表達式）：

selector?if-true-expression:if-false-expression （條件？若真則執行：假則執行）

示例：

awk -F: ‘{$3>=1000?usertype=”Common User”:usertype=”Sysadmin or SysUser”;printf “%15s:%-s\n”,$1,usertype}’ /etc/passwd

awk PATTERN

根據條件先過濾一遍匹配的行，然后再做處理

(1)如果未指定：空模式，匹配每一行

(2) /regular expression/：僅處理能夠模式匹配到的行，正則表達式需要用/ /括起來

awk ‘/^UUID/{print $1}’ /etc/fstab

awk ‘!/^UUID/{print $1}’ /etc/fstab

(3) relational expression: 關系表達式，結果為“真”才會被處理

真：結果為非0值，非空字符串

假：結果為空字符串或0值

awk –F: ‘$3>=1000{print $1,$3}’ /etc/passwd

(4) line ranges：行范圍（顯示滿足條件1到條件2的所有行）

startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式

awk -F: ‘/^root\>/,/^nobody\>/{print $1}’ /etc/passwd

(5) BEGIN/END模式

BEGIN{}: 僅在開始處理文件中的文本之前執行一次

END{}：僅在文本處理完成之后執行一次

awk控制語句if-else

語法： ?if(condition){statement;…}[else statement]

if(condition1){statement1}else if(condition2){statement2}

else{statement3}

使用場景：對awk取得的整行或某個字段做條件判斷

示例：awk -F: ‘{if($3>=1000)print $1,$3}’ /etc/passwd

awk控制循環while語句

語法：while(condition){statement;…}

u條件“真”，進入循環；條件“假”，退出循環

使用場景：

對一行內的多個字段逐一類似處理時使用

對數組中的各元素逐一處理時使用

do-while循環

u語法：do {statement;…}while(condition)

u意義：無論真假，至少執行一次循環體

for循環

u語法：for(初始化語句；判斷語句真則執行循環體；執行完循環體之后執行) {statement;…}

switch語句（根據表達式的值進行分別處理）

u語法：switch(expression表達式) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; …; default: statementn}

awk數組

關聯數組：array[index-expression] （index是數組的下標）

(1) 可使用任意字符串；字符串要使用雙引號括起來

(2) 如果某數組元素事先不存在，在引用時，awk會自動創建此元素，并將其值初始化為“空串”，而不會報錯

若要判斷數組中是否存在某元素，要使用“index in array”格式進行遍歷

示例：

weekdays[“mon”]=”Monday“

awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;print weekdays[“mon”]}‘

awk ‘!arr[$0]++’ dupfile?表示將每一行作為下標，然后對其進行取反，取反結果為真則打印改行，取反為假則不打印，隨后++用于將數組累加賦值；一般用于去掉重復的行

awk ‘{!arr[$0]++;print $0, arr[$0]}’ dupfile

若要遍歷數組中的每個元素，要使用for循環

語法：for(var in array) {for-body}

注意：var會遍歷array的每個索引

示例：

awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;for(i in weekdays) {print weekdays[i]}}‘

數值處理：

rand()：返回0和1之間一個隨機數；需搭配srand（相當于種子）才能變為隨機數字

示例：（int取整）

awk ‘BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }’

字符串處理：

length([s])：返回指定字符串的長度

sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并將第一個匹配的內容替換為s

echo “2008:08:08 08:08:08” | awk ‘sub(/:/,“-“,$1)’

gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，并全部替換為s所表示的內容

echo “2008:08:08 08:08:08” | awk ‘gsub(/:/,“-“,$0)’

split(s,array,[r])：以r為分隔符，切割字符串s，并將切割后的結果保存至array所表示的數組中，第一個索引值為1,第二個索引值為2,…

netstat -tan | awk ‘/^tcp\>/{split($5,ip,”:”);count[ip[1]]++}END{for (i in count) {print i,count[i]}}’

awk函數

格式：

function name ( parameter, parameter, … ) {

statements

return expression

}

示例：v1v2是形式參數，隨意；而ab是實際參數，在手動輸入參數時要明確a=…

cat fun.awk

function max(v1,v2) {

v1>v2?var=v1:var=v2

return var

}

BEGIN{a=3;b=2;print max(a,b)}

awk -v a=100 -v b=200 –f fun.awk

awk中調用shell命令

system命令

空格是awk中的字符串連接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說除了awk的變量外其他一律用””引用起來。

awk BEGIN'{system(“hostname”) }’

awk ‘BEGIN{score=100; system(“echo your score is ” score) }’

break [n] 提前結束該層循環語句

continue [n] 跳過執行該層循環，去繼續執行下層循環

next 提前結束對本行處理而直接進入下一行去繼續處理

在awk中，對有非零的值取反，則是0,對0取反則是1

sum+=i 相當于sum=sum+i

awk中對字符串要加雙引號，不然會認為是變量

sort -u f1 去重，相當于awk ‘!arr[$0]++’?f1 （后面省略了print $0）

time （ ）測試執行時間

iptables -A INPUT -s ip -j REJECT 將該ip放入防火墻的黑名單中

iptables -F 清空防火墻黑名單