awk:報告生成器，格式化文本輸出
        有多種版本：New awk （nawk ），GNU awk（gawk）
gawk:模式掃描和處理語言
基本用法：
awk [options] ‘program’ var=value file…
awk [options] -f programfile var=value file…
awk [options] ‘BEGIN{ action;… } pattern{ action;… } END{action;… }’ file …
awk 程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成
program 通常是被單引號或雙引號；盡量使用單引號
  選項：
       -F  指明輸入時用到的字段分隔符
       -v  var=value: 

基本格式：awk [options] ‘program’ file…
   program:pattern{action statements;..}
   pattern 和action： ：
? pattern 部分決定動作語句何時觸發及觸發事件BEGIN,END
? action statements 對數據進行處理，放在{} 內指明print, printf分割符、域和記錄
? awk 執行時，由分隔符分隔的字段（域）標記$1,$2..$n稱
  為域標識。$0 為所有域，注意：和shell 中變量$ 符含義不同
? 文件的每一行稱為記錄
? 省略action行 ，則默認執行 print $0的操作

awk工作原理：
第一步：執行BEGIN{action;… } 語句塊中的語句
第二步：從文件或標準輸入(stdin) 讀取一行，然后執行pattern{action;… } 語句塊，
            它逐行掃描文件，從第一行到最后一行重復這個過程，直到文件全部被讀取完畢。
第三步：當讀至輸入流末尾時，執行END{action;…}語句塊BEGIN 語句塊在awk開始從輸
            入流中讀取行之前被執行，這是一個可選的語句塊，比如變量初始化、打印輸出表
           格的表頭等語句通常可以寫在BEGIN 語句塊中
END 語句塊在awk 從輸入流中讀取完所有的行之后即被執行，比如打印所有行的分析
      結果這類信息匯總都是在END 語句塊中完成，它也是一個可選語句塊
pattern 語句塊中的通用命令是最重要的部分，也是可選的。如果沒有提供pattern 
            語句塊，則默認執行{ print } ，即打印每一個讀取到的行，
            awk 讀取的每一行都會執行該語句塊

 print 格式：print item1, item2, …
  要點：
? (1)  逗號分隔符
? (2)  輸出的各item 可以字符串，也可以是數值；當前記錄的字段、
變量或awk 的表達式
? (3)  如省略item ，相當于print $0
  示例：
awk ‘{print “hello,awk”}’  file
awk –F: ‘{print}’ /etc/passwd
awk –F: ‘{print “wang”}’ /etc/passwd
awk –F: ‘{print $1}’ /etc/passwd
awk –F: ‘{print $0}’ /etc/passwd
awk –F: ‘{print $1”\t”$3}’ /etc/passwd
tail –3 /etc/fstab |awk ‘{print $2,$4}’

awk變量：內置和自定義變量
 FS ：輸入字段分隔符，默認為空白字符
      awk -v FS=’:’ ‘{print $1,FS,$3}’ /etc/passwd
      awk –F: ‘{print $1,$3,$7}’ /etc/passwd
 OFS ：輸出字段分隔符，默認為空白字符
      awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd
 RS ：輸入記錄分隔符，指定輸入時的換行符，原換行符仍有效
      awk -v RS=’ ‘ ‘{print }’ /etc/passwd
 ORS ：輸出記錄分隔符，輸出時用指定符號代替換行符
      awk -v RS=’ ‘ -v ORS=’###’‘{print }’ /etc/passwd
 NF ：字段數量
      awk -F：‘{print NF}’ /etc/fstab, 引用內置變量不用$
      awk -F: ‘{print $(NF-1)}’ /etc/passwd
 NR ：行號
      awk ‘{print NR}’ /etc/fstab ; awk END'{print NR}’ /etc/fstab

FNR ：各文件分別計數, 行號
    awk ‘{print FNR}’ /etc/fstab /etc/inittab
FILENAME ：當前文件名
    awk ‘{print FILENAME}’ /etc/fstab
ARGC ：命令行參數的個數
    awk ‘{print ARGC}’ /etc/fstab /etc/inittab
    awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
ARGV ：數組，保存的是命令行所給定的各參數
      awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
      awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

printf命令：
格式化輸出：printf  “FORMAT ”, item1, item2, …
(1)  必須指定FORMAT
(2)  不會自動換行，需要顯式給出換行控制符，\n
(3)  FORMAT 中需要分別為后面每個item 指定格式符
     格式符：與item 一一對應
%c:  顯示字符的ASCII碼 碼
%d, %i:  顯示十進制整數
%e, %E: 顯示科學計數法數值
%f ：顯示為浮點數
%g, %G ：以科學計數法或浮點形式顯示數值
%s ：顯示字符串
%u ：無符號整數
%%:  顯示% 自身
  修飾符：

[.#] ：第一個數字控制顯示的寬度；第二個# 表示小數點后精度，%3.1f

      –   :  左對齊（默認右對齊） %-15s                                           #加上負號表示左對齊
      +   ：顯示數值的正負符號 %+d
exam:
? awk -F: ‘{printf “%s”,$1}’ /etc/passwd
? awk -F: ‘{printf “%s\n”,$1}’ /etc/passwd
? awk -F: ‘{printf “%-20s %10d\n”,$1,$3}’ /etc/passwd
? awk -F: ‘{printf “Username: %s\n”,$1}’ /etc/passwd
? awk -F: ‘{printf “Username: %s,UID:%d\n”,$1,$3}’ /etc/passwd
? awk -F: ‘{printf “Username: %15s,UID:%d\n”,$1,$3}’ /etc/passwd
? awk -F: ‘{printf “Username: %-15s,UID:%d\n”,$1,$3}’ /etc/passwd

算術操作符：
x+y, x-y, xy, x/y, x^y, x%y
-x:  轉換為負數
+x:  轉換為數值
   字符串操作符：沒有符號的操作符，字符串連接
   賦值操作符：
            =, +=, -=, *=, /=, %=, ^=
            ++, —
  比較操作符：
            ==, !=, >, >=, <, <=
  模式匹配符：~ ：左邊是否和右邊匹配包含 !~ ：是否不匹配
        awk –F: ‘$0 ~ /root/{print $1}‘ /etc/passwd    #整行包括root就打印
        awk ‘$0~“^root”‘ /etc/passwd                   #行首包含root
        awk ‘$0 !~ /root/‘ /etc/passwd
        awk –F: ‘$3==0’ /etc/passwd
        awk -F: ‘$3==1000{print $1,$3}’ /etc/passwd    #一個等號是賦值，2個比較

while 循環
  語法：while(condition){statement;…}
  條件“真”，進入循環；條件“假”，退出循環
  使用場景：
        對一行內的多個字段逐一類似處理時使用
        對數組中的各元素逐一處理時使用
  示例：
      awk ‘/^[[:space:]]linux16/{i=1;while(i<=NF)       #NF字段數
            {print $i,length($i); i++}}’ /etc/grub2.cfg
      awk ‘/^[[:space:]]linux16/{i=1;while(i<=NF) {if(length($i)>=10)
            {print $i,length($i)}; i++}}’ /etc/grub2.cfg
  length:統計有幾個字符，awk自帶的函數‘
      akw ‘BEGIN{print length(“aaaaaaaaa”)}’  #統計有幾個a

 for 循環
  語法：for(expr1;expr2;expr3) {statement;…}
  常見用法：
for(variable assignment;condition;iteration process){for-body}
  特殊用法：能夠遍歷數組中的元素；
語法：for(var in array) {for-body}
  示例：
   awk ‘/^[[:space:]]linux16/{for(i=1;i<=NF;i++) {print$i,length($i)}}’ 
                                                              /etc/grub2.cfg

1到100相加的幾種方法：awk效率最高
 time (awk ‘BEGIN{
              total=0;for(i=0;i<=10000;i++){total+=i;};print total;}’)
 time(total=0;for i in {1..10000};do total=$(($total+i));done;echo $total)
 time(for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
 time(seq –s ”+” 10000|bc)           #-s指定分隔符，默認是換行

 switch 語句
  語法：switch(expression) {case VALUE1 or /REGEXP/:
      statement1; case VALUE2 or /REGEXP2/: statement2; …; default: statementn}
   break 和continue
? awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)  {if(i%2==0)continue;sum+=i}print sum}‘
? awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)  {if(i==66)break;sum+=i}print sum}‘
   break [n]
 continue [n]
 next:  提前結束對本行處理而直接進入下一行處理（awk 自身循環）
          awk -F: ‘{if($3%2!=0) next; print $1,$3}’ /etc/passwd

關聯數組：array[index-expression]
          index-expression:
? (1) 可使用任意字符串；字符串要使用雙引號括起來
? (2) 如果某數組元素事先不存在，在引用時，awk會自動創建此元素，
      并將其值初始化為“空串”
?  若要判斷數組中是否存在某元素，要使用“index in array”格 式進行遍歷
   示例：
? weekdays[“mon”]=”Monday“
? awk ‘BEGIN{weekdays[“mon”]=”Monday”; 
       weekdays[“tue”]=”Tuesday”;print weekdays[“mon”]}‘
? awk ‘!arr[$0]++’ dupfile         #出現重復的$0 加1但是不再打印  和uniq -c 類似
? awk ‘{!arr[$0]++;print $0, arr[$0]}’ dupfile
  若要遍歷數組中的每個元素，要使用for 循環
   for(var in array) {for-body}
   注意：var 會遍歷array 的每個索引
   示例：
? awk ‘BEGIN{weekdays[“mon”]=”Monday”;weekdays[“tue”]=”Tuesday”;for(i in 
        weekdays) {print weekdays[i]}}‘
? netstat -tan | awk ‘/^tcp/{state[$NF]++}END {for(i in state)
         { print i,state[i]}}’
? awk ‘{ip[$1]++}END{for(i in ip) {print i,ip[i]}}’  /var/log/httpd/access_log

數值處理：
      rand() ：返回0 和1 之間一個隨機數
          awk ‘BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }’
字符串處理：
? length([s])  ： 返回指定字符串的長度
? sub(r,s,[t]) ： 對t 字符串進行搜索r 表示的模式匹配的內容，
                  并將第一個匹配的內容替換為s
          echo “2008:08:08 08:08:08” | awk ‘sub(/:/,“-“,$1)’
? gsub(r,s,[t]) ：對t 字符串進行搜索r 表示的模式匹配的內容，并全部替換
                為s 所表示的內容
          echo “2008:08:08 08:08:08” | awk ‘gsub(/:/,“-“,$0)’
? split(s,array,[r]) ：以r 為分隔符 ，切割字符串s ，并將切割后的結果保存
  至array所表示的 數組中，第一個索引值為1, 第二個索引值為2,…
          netstat -tan | awk ‘/^tcp\>/{split($5,ip,”:”);count[ip[1]]++}
          END{for (i in count) {print i,count[i]}}’

自定義函數
  格式：
function name ( parameter, parameter, … ) {
            statements
            return expression
}
  示例：

cat fun.awk

function max(v1,v2) {                  #函數名和參數（形參）
      v1>v2?var=v1:var=v2              #三目表達式
      return var                       #函數的值就是var
}
BEGIN{a=3;b=2;print max(a,b)}          #實參

awk –f fun.awk                        #-f 調用awk函數

system 命令               #awk中可以調用shell命令
  空格是awk 中的字符串連接符，如果system 中需要使用awk中
    的變量可以使用空格分隔，或者說除了awk 的變量外其他一律用”” 引用起來。
           awk BEGIN'{system(“hostname”) }’
           awk ‘BEGIN{score=100; system(“echo your score is ” score) }’

將awk 程序寫成腳本，直接調用或執行
  示例：

cat f1.awk

    if($3>=1000)print $1,$3}

awk -F: -f f1.awk /etc/passwd

cat f2.awk

    #!/bin/awk –f
    #this is a awk script
        {if($3>=1000)print $1,$3}

chmod +x f2.awk

f2.awk –F: /etc/passwd

格式：
  awkfile var=value var2=value2… Inputfile      #在腳本外面傳遞參數        
  注意 ：在BEGIN 過程中不可用。直到首行輸入完成以后，變量才可用?？梢酝ㄟ^-v參數，
  讓awk 在執行BEGIN 之前得到變量的值。命令行中每一個指定的變量都需要一個-v 參數
   示例：

cat test.awk

    #!/bin/awk –f
    {if($3 >=min && $3<=max)print $1,$3}
        #chmod +x test.awk
        #test.awk -F: min=100 max=200 /etc/passw    
      這里的賦值可以再print里面使用，再BEGIN和END里面需要-v min=200
      但是建議習慣使用-v不管如何都能使用，免得遺忘