了解sed

本博客分為四個部分：
sed介紹、sed用法、sed高級用法（簡略帶過）、相關例題。
通過本文可以大致了解sed命令。深度可以當成是課前預習吧。

1、sed介紹
Stream EDitor, 行編輯器
sed是一種流編輯器，它一次處理一行內容。處理時，把 當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（ pattern space），接著用sed命令處理緩沖區中的內容 ，處理完成后，把緩沖區的內容送往屏幕。接著處理下一 行，這樣不斷重復，直到文件末尾。文件內容并沒有改變 ，除非你使用重定向存儲輸出。Sed主要用來自動編輯一 個或多個文件,簡化對文件的反復操作,編寫轉換程序

2、sed用法
sed [option]… ‘script’ inputfile…  

常用選項：
    -n：不輸出模式空間內容到屏幕，即不自動打印
    -e: 多點編輯
        注：通過后面例題，個人理解該命令是用來合并多條地址命令的
    -f：/PATH/SCRIPT_FILE: 從指定文件中讀取編輯腳本
        注：用來編寫復雜的地址命令
    -r: 支持使用擴展正則表達式
    -i.bak: 備份文件并原處編輯
        -i：直接在原處編輯，此選項慎用

script:
    ‘地址命令’

地址定界：
(1) 不給地址：對全文進行處理
        注意：這里不給地址也要有”，不然會出錯
(2) 單地址：
        #: 指定的行
        /pattern/：被此處模式所能夠匹配到的每一行
(3) 地址范圍：
        #,# 第#行到第#行
        #,+# 第#行到其后#行
        /pat1/,/pat2/
        #,/pat1/         
(4) ~：步進
        1~2 奇數行
        2~2 偶數行

 編輯命令：
     d: 刪除模式空間匹配的行
     p: 顯示模式空間中的內容
     a []text：在指定行后面追加文本 支持使用\n實現多行追加
     i []text：在行前面插入文本
     c []text：替換行為單行或多行文本
     w /path/somefile: 保存模式匹配的行至指定文件
     r /path/somefile：讀取指定文件的文本至模式空間中 匹配到的行后
     =: 為模式空間中的行打印行號
     !:模式空間中匹配行取反處理（跟在要取反部分后面）

    s///：查找替換,支持使用其它分隔符，s@@@，s###
    替換標記：
        g: 行內全局替換
        p: 顯示替換成功的行

        w /PATH/TO/SOMEFILE：將替換成功的行保存至文件

3、sed高級（danteng）用法
高級編輯命令：
    h: 把模式空間中的內容覆蓋至保持空間中
    H：把模式空間中的內容追加至保持空間中
    g: 從保持空間取出數據覆蓋至模式空間
    G：從保持空間取出內容追加至模式空間
    x: 把模式空間中的內容與保持空間中的內容進行互換
    n: 讀取匹配到的行的下一行覆蓋至模式空間 N：讀取匹配到的行的下一行追加至模式空間
    d: 刪除模式空間中的行
    D：刪除當前模式空間開端至\n的內容（不再傳至標準輸 出），放棄之后的命令，但是對剩余模式空間重新執行sed
    這一部分功能確實很強大，但是不容易記憶、理解和掌握。掌握基本用法才是王道。

    sed -n ‘n;p’ FILE
    sed ‘1!G;h;$!d’ FILE
    sed ‘$!N;$!D’ FILE
    sed ‘$!d’ FILE
    sed ‘G’ FILE
    sed ‘g’ FILE
    sed ‘/^$/d;G’ FILE
    sed ‘n;d’ FILE
    sed -n ‘1!G;h;$p’ FILE
    看懂并會用以上，則sed神功已成。

4、相關例題解答（大部分都沒有標準答案，自己嘗試寫的）
1
刪除/boot/grub/grub.conf文件中所有以空白開頭的行行首的空白字符
sed “s@^[[:space:]]+@@” /boot/grub/grub.conf 錯誤解答
sed ‘s@^[[:space:]]+@@ /boot/grub/grub.conf 正解
這里地址命令默認是使用基本正則表達式，需要寫成+

2
刪除/etc/fstab文件中所有以#開頭，后面至少跟一個空白字符的行 的行首的#和空白字符
sed ‘s@^#[[:space:]]+@@’ /etc/fstab
基本正則表達式的用法

3
在centos6系統/root/install.log每一行行首增加#號
sed ‘s@^@#&@’ /root/install.log
經過實驗結果正確。
思路：只要匹配到了行首，就在行首之前加上#替換原行首。

4
在/etc/fstab文件中不以#開頭的行的開頭增加#號
sed ‘s@^[^#]@#&@’ /etc/fstab
和第三題屬于同一類型。

5

處理/etc/fstab路徑，使用sed命令取出其目錄名和基名

講道理上面已經解決了一個更為復雜的情況

echo /etc/fstab|sed ‘s@[^/]\+$@@’ 取出目錄名

echo /etc/fstab|sed ‘s@^/.*/@@’ 取出基名

以上兩種方法足以處理給定形式下的路徑名。

拓展思考：

可以考慮怎么解決/etc/fstab/形式下的路徑。

echo一個絕對路徑給sed命令，取出其基名；取出其目錄名；

echo /etc/passwd|sed ‘s@[^/]\+\/?$@@’能夠應對結尾帶/的特殊情況 取出目錄名

echo /etc/passwd|sed ‘s@^/[^/]*/@@’不能應對結尾帶/的特殊情況 取出基名

隨后想到先去掉結尾可能存在的/不就好了。修改后的解答如下：

echo /etc/passwd/|sed ‘s@/\?$@@’|sed ‘s@^/[^/]*/@@’能夠應對結尾出現/的特殊情況取出基名

順便嘗試用-e來合并后兩部分的地址命令

最終結果如下：

echo /etc/passwd/|sed -e ‘s@/\?$@@;s@^/[^/]*/@@’

6
利用sed取出ifconfig命令中的本機的ipv4地址
ifconfig|sed -n ‘/\<inet\>/p’ 能夠取出inet的行
去過要單獨取出inet，需要大量后續處理。

7
統計centos安裝光盤中package目錄下所有rpm文件的以.分隔倒數第二個字段的重復次數
ls /mnt/yum/Packages|grep -o “[^.]+.rpm$”|cut -d”.” -f1|sort|uniq -c

sed方法暫時沒有想好。對于使用sed進行數據統計不了解。

這里我嘗試用sed -n ‘/[^.]\+\.rpm$/p’代替grep部分，但是結果是錯誤的。

8
統計/etc/init.d/functions文件中每個單詞的出現次數，并排序
grep和sed兩種方法分別實現。
不太清楚怎么依次統計所有單詞的出現次數。

9
將文本文件的n和n+1行合并為一行，n為奇數行
上網查的方法。講道理sed的高級用法雖然強大但真的不容易理解。
sed ‘N;s/\n//’ test.txt
N讀取匹配到的行的下一行追加至模式空間
s然后是進行替換，把模式空間中的換行符去掉，從而完成兩行合并成一行。