第十五周作業

1、總結sed和awk的詳細用法；

sed：

    模式空間：sed是一種在線編輯器、行編輯器，一次處理一行內容，在處理時，把當前處理的行存儲在臨時緩沖區當中，并在該緩沖區中完成后續的處理，該緩沖區被稱為”模式空間”。

    保持空間：在模式空間中處理完一行內容后會繼續處理下一行，但是對于處理過的行可能還有其他的處理，因此可以先把處理過的行”傳遞”至保持空間中，然后在后續的處理中再次”傳送”回模式空間中。

awk：
命令語法：gawk [options] ‘program’ FILE …
program: PATTERN{ACTION STATEMENTS}
語句之間用分號分隔

print, printf

選項：
-F：指明輸入時用到的字段分隔符；
-v var=value: 自定義變量；

1、print

print item1, item2, …

要點：
(1) 逗號分隔符；
(2) 輸出的各item可以字符串，也可以是數值；當前記錄的字段、變量或awk的表達式；
(3) 如省略item，相當于print $0; 

2、變量
2.1 內建變量
FS：input field seperator，默認為空白字符；
OFS：output field seperator，默認為空白字符；
RS：input record seperator，輸入時的換行符；
ORS：output record seperator，輸出時的換行符；

NF：number of field，字段數量
{print NF}, {print $NF}
NR：number of record, 行數；
FNR：各文件分別計數；行數；

FILENAME：當前文件名；

ARGC：命令行參數的個數；
ARGV：數組，保存的是命令行所給定的各參數；

2.2 自定義變量
(1) -v var=value

變量名區分字符大小寫；

(2) 在program中直接定義

3、printf命令

格式化輸出：printf FORMAT, item1, item2, …

(1) FORMAT必須給出; 
(2) 不會自動換行，需要顯式給出換行控制符，\n
(3) FORMAT中需要分別為后面的每個item指定一個格式化符號；

格式符：
%c: 顯示字符的ASCII碼；
%d, %i: 顯示十進制整數；
%e, %E: 科學計數法數值顯示；
%f：顯示為浮點數；
%g, %G：以科學計數法或浮點形式顯示數值；
%s：顯示字符串；
%u：無符號整數；
%%: 顯示%自身；

修飾符：
#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點后的精度；
%3.1f
-: 左對齊
+：顯示數值的符號

4、操作符

算術操作符：
x+y, x-y, x*y, x/y, x^y, x%y
-x
+x: 轉換為數值；

字符串操作符：沒有符號的操作符，字符串連接

賦值操作符：
=, +=, -=, *=, /=, %=, ^=
++, —

比較操作符：
>, >=, <, <=, !=, ==

模式匹配符：
~：是否匹配
!~：是否不匹配

邏輯操作符：
&&
||
!

函數調用：
function_name(argu1, argu2, …)

條件表達式：
selector?if-true-expression:if-false-expression

]# awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd

5、PATTERN

(1) empty：空模式，匹配每一行；
(2) /regular expression/：僅處理能夠被此處的模式匹配到的行；
(3) relational expression: 關系表達式；結果有“真”有“假”；結果為“真”才會被處理；
真：結果為非0值，非空字符串；
(4) line ranges：行范圍，
startline,endline：/pat1/,/pat2/

注意： 不支持直接給出數字的格式

]# awk -F: '(NR>=2&&NR<=10){print $1}' /etc/passwd

(5) BEGIN/END模式
BEGIN{}: 僅在開始處理文件中的文本之前執行一次；
END{}：僅在文本處理完成之后執行一次；

6、常用的action

(1) Expressions
(2) Control statements：if, while等；
(3) Compound statements：組合語句；
(4) input statements
(5) output statements

7、控制語句

if(condition) {statments} 
if(condition) {statments} else {statements}
while(conditon) {statments}
do {statements} while(condition)
for(expr1;expr2;expr3) {statements}
break
continue
delete array[index]
delete array
exit 
{ statements }

7.1 if-else

語法：if(condition) statement [else statement]

]# awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}' /etc/passwd
]# awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 
]# awk '{if(NF>5) print $0}' /etc/fstab
]# df -h | awk -F[%] '/^\/dev/{print $1}' | awk '{if($NF>=20) print $1}'

使用場景：對awk取得的整行或某個字段做條件判斷；

7.2 while循環
語法：while(condition) statement
條件“真”，進入循環；條件“假”，退出循環；

使用場景：對一行內的多個字段逐一類似處理時使用；對數組中的各元素逐一處理時使用；

]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}' /etc/grub2.cfg
]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print $i,length($i)}; i++}}' /etc/grub2.cfg

7.3 do-while循環
語法：do statement while(condition)
意義：至少執行一次循環體

7.4 for循環
語法：for(expr1;expr2;expr3) statement

for(variable assignment;condition;iteration process) {for-body}

]# awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

特殊用法：
能夠遍歷數組中的元素；
語法：for(var in array) {for-body}

7.5 switch語句
語法：switch(expression) {case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; …; default: statement}

7.6 break和continue
break [n]
continue

7.7 next

提前結束對本行的處理而直接進入下一行；

]# awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

8、array

關聯數組：array[index-expression]

index-expression:
(1) 可使用任意字符串；字符串要使用雙引號；
(2) 如果某數組元素事先不存在，在引用時，awk會自動創建此元素，并將其值初始化為“空串”；

若要判斷數組中是否存在某元素，要使用”index in array”格式進行；

weekdays[mon]=”Monday”

若要遍歷數組中的每個元素，要使用for循環；
for(var in array) {for-body}

]# awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays) {print weekdays[i]}}'

注意：var會遍歷array的每個索引；
state[“LISTEN”]++
state[“ESTABLISHED”]++

]# netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state) { print i,state[i]}}'
]# awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log

統計/etc/fstab文件中每個文件系統類型出現的次數；

]# awk '/^UUID/{fs[$3]++}END{for(i in fs) {print i,fs[i]}}' /etc/fstab

統計指定文件中每個單詞出現的次數；

]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}' /etc/fstab

9、函數

9.1 內置函數
數值處理：
rand()：返回0和1之間一個隨機數；

字符串處理：
length([s])：返回指定字符串的長度；
sub(r,s,[t])：以r表示的模式來查找t所表示的字符中的匹配的內容，并將其第一次出現替換為s所表示的內容；
gsub(r,s,[t])：以r表示的模式來查找t所表示的字符中的匹配的內容，并將其所有出現均替換為s所表示的內容；

split(s,a[,r])：以r為分隔符切割字符s，并將切割后的結果保存至a所表示的數組中；

]# netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'

2、刪除/boot/grub/grub.conf文件中所有行的行首的空白字符；

]# sed 's#^[[:space:]]\+##' /etc/grub.conf

3、刪除/etc/fstab文件中所有以#開頭，后跟至少一個空白字符的行的行首的#和空白字符；

]# sed 's@^#[[:space:]]\+@@g' /etc/fstab

4、把/etc/fstab文件的奇數行另存為/tmp/fstab.3；

]# sed '1~2w /tmp/fstab.3' /etc/fstab

5、echo一個文件路徑給sed命令，取出其基名；進一步地，取出其路徑名；

]# echo "/etc/sysconfig/network-scripts/ifcfg-eth0" |sed -r 's#^/.*/([^/]+)/?$#\1#g'
ifcfg-eth0
]# echo "/etc/sysconfig/network-scripts/ifcfg-eth0" |sed -r 's#[^/]+/?$##g'
/etc/sysconfig/network-scripts/

6、統計指定文件中所有行中每個單詞出現的次數；

]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(j in count){print j,count[j]}}' count.txt

7、統計當前系統上所有tcp連接的各種狀態的個數；

]# ss -tan|awk '!/^State/ {state[$1]++}END{for(i in state) print i,state[i]}'
ESTAB 2
LISTEN 4

8、統計指定的web訪問日志中各ip的資源訪問次數：

]# awk '{ip[$1]++}END{for(i in ip) print i,ip[i]}' /var/log/httpd/access_log                 
192.168.0.100 4
192.168.0.21 4

9、寫一個腳本：定義一個數組，數組元素為/var/log目錄下所有以.log結尾的文件的名字；顯示每個文件的行數；

#!/bin/bash
declare -a fileNames

for fn in /var/log/*.log;do
    rows=$(cat $fn|wc -l)
    fileNames[${#fileNames[@]}]=${fn##*/}
    printf "%-30s %s\n" ${fn##*/} $rows
done

執行結果：
]# ./countrow.sh  
anaconda.ifcfg.log             86
anaconda.log                   290
anaconda.program.log           433
anaconda.storage.log           2869
anaconda.yum.log               415
boot.log                       29
dracut.log                     1953
mysqld.log                     0
yum.log                        55

10、寫一個腳本，能從所有同學中隨機挑選一個同學回答問題；進一步地：可接受一個參數，做為要挑選的同學的個數；

#!/bin/bash

students=(Lilei Hanmeimei Lucy Lily Tom Jerry John Polly UncleWang)
total=${#students[@]}

if [ $# -gt 1 ];then
    echo "Usage $0 [ARG1]"
    exit 1
elif [ $# -eq 1 ];then
    if [[ ! $1 =~ [0-9] ]];then
        echo "Invalid argument!"
        exit 1
    fi
    if [ $1 -ge 1 ] && [ $1 -le $total ];then
        for((i=1;i<=$1;i++));do
            rand=$[$RANDOM%$total]
            choiceStu[${#choiceStu[@]}]=${students[$rand]}
            list=()
            for j in ${students[@]};do
                if [ "$j" != "${students[$rand]}" ];then
                    list[${#list[@]}]=$j
                fi
            done
            students=(${list[@]})
            total=${#students[@]}
        done
        echo "Choice: ${choiceStu[@]}"
    else
        echo "Please choice the number [1~$total]"
    fi
elif [ $# -eq 0 ];then
    total=${#students[@]}
    rand=$[$RANDOM%$total]
    echo "Choice: ${students[$rand]}"
fi

執行結果：
]# ./answer.sh 
Choice: Polly
]# ./answer.sh 2
Choice: Polly Tom
]# ./answer.sh 3
Choice: Lucy Hanmeimei Lily
]# ./answer.sh 4
Choice: Lilei Polly Lucy Lily
]# ./answer.sh 5
Choice: Polly UncleWang Jerry Hanmeimei Lucy
]# ./answer.sh 6
Choice: Lily Lilei John Lucy UncleWang Hanmeimei
]# ./answer.sh 7
Choice: Lilei Polly Hanmeimei Tom Lucy John Jerry
]# ./answer.sh 8
Choice: Lucy Jerry Tom Lilei UncleWang Lily John Polly
]# ./answer.sh 9
Choice: Lily Hanmeimei UncleWang Lilei John Tom Jerry Polly Lucy
]# ./answer.sh 10
Please choice the number [1~9]
]# ./answer.sh abc
Invalid argument!
]# ./answer.sh 1 2
Usage ./answer.sh [ARG1] 

11、授權centos用戶可以運行fdisk命令完成磁盤管理，以及使用mkfs或mke2fs實現文件系統管理；

使用root用戶執行visudo命令，添加下面配置：

]# visudo
...
centos          ALL=(ALL)       NOPASSWD:/sbin/fdisk,/sbin/mkfs,/sbin/mke2fs
...

12、授權gentoo用戶可以運行邏輯卷管理的相關命令；

由于邏輯卷管理的相關命令較多，所以可以使用別名方式定義相關的命令

]# visudo
...
Cmnd_Alias LVADMINS_CMD=/sbin/lvchange,/sbin/lvdisplay,/sbin/lvmchange,/sbin/lvmdiskscan,/sbin/lvmsadc,/sbin/lvremove,
/sbin/lvs,/sbin/lvconvert,/sbin/lvextend,/sbin/lvmconf,/sbin/lvmdump,/sbin/lvmsar,/sbin/lvrename,/sbin/lvscan,/sbin/lv
create,/sbin/lvm,/sbin/lvmconfig,/sbin/lvmetad,/sbin/lvreduce,/sbin/lvresize,/sbin/pvchange,/sbin/pvck,/sbin/pvcreate,
/sbin/pvdisplay,/sbin/pvmove,/sbin/pvremove,/sbin/pvresize,/sbin/pvs,/sbin/pvscan,/sbin/vgcfgbackup,/sbin/vgck,/sbin/v
gdisplay,/sbin/vgimport,/sbin/vgmknodes,/sbin/vgrename,/sbin/vgsplit,/sbin/vgcfgrestore,/sbin/vgconvert,/sbin/vgexport
,/sbin/vgimportclone,/sbin/vgreduce,/sbin/vgs,/sbin/vgchange,/sbin/vgcreate,/sbin/vgextend,/sbin/vgmerge,/sbin/vgremov
e,/sbin/vgscan                #使用命令別名LVADMINS_CMD定義相關的命令

gentoo          ALL=(ALL)       NOPASSWD:LVADMINS_CMD               #引用命令別名

13、基于pam_time.so模塊，限制用戶通過sshd服務遠程登錄只能在工作時間進行；

]# vim /etc/security/time.conf 
...
sshd;*;!root;MoTuWeThFr0900-1800            #限制除root用戶外所有用戶只能在周一至周五09:00~18:00之間通過sshd登錄服務器

]# vim /etc/pam.d/sshd
...
account     required     pam_time.so        #在account類認證功能的第一行添加pam_time.so模塊
...

結果測試：

]# date 04180830                            #將服務器時間修改為非工作時間
]$ ssh centos@192.168.0.21
centos@192.168.0.21's password: 
Connection closed by 192.168.0.21           #登錄失敗

]# date 04180930                            #將服務器時間修改為工作時間
]$ ssh centos@192.168.0.21
centos@192.168.0.21's password: 
Last login: Tue Apr 18 09:00:06 2017 from 192.168.0.61         #登錄成功

14、基于pam_listfile.so模塊，定義僅某些用戶，或某些組內的用戶可登錄系統；

]# vim /tmp/sshuser.lst           #創建sshd用戶列表文件，僅允許centos和gentoo用戶登錄
centos
gentoo

]# vim /etc/pam.d/sshd
auth       requisite    pam_listfile.so \
onerr=succeed item=user sense=allow file=/tmp/sshuser.lst       #將pam_listfile.so認證方式添加在auth類認證的第一行
...

測試結果：

]$ ssh fedora@192.168.0.21
fedora@192.168.0.21's password: 
Permission denied, please try again.         #fedora用戶ssh登錄失敗

]# ssh centos@192.168.0.21
centos@192.168.0.21's password: 
Last login: Tue Apr 18 09:41:05 2017 from 192.168.0.21

]# ssh gentoo@192.168.0.21
gentoo@192.168.0.21's password: 
Last login: Tue Apr 18 09:44:58 2017 from 192.168.0.21    #centos和gentoo用戶均能成功ssh登錄