文本處理工具之sed

                     文本處理工具之sed

一 、sed的簡介

   1、Stream EDitor, 行編輯器
        2、sed是一種流編輯器，它一次處理一行內容。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成后，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容并沒有改變，除非你使用重定向存儲輸出。 sed主要用來自動編輯一個或多個文件,簡化對文件的反復操作,編寫轉換程序等。

   3、sed所具有的功能：數據的替換、刪除、新增等。sed處理的數據可能是一些關鍵字、也可能會是一些特定的行。sed對文本有著強大的處理功能，下面我們來一一介紹。

二 、sed的基礎使用

   1、sed的語法結構

     sed [OPTION]… {script} [input-file].. [actions]

   2、選項[OPTION]
     -r: 支持拓展正則表達式

     -n：靜默模式

     -e：指定多腳本運行

     -f /path/to/scripts_file:從指定文件中讀取腳本運行

     -i：直接修改源文件

   3、script腳本 ：‘地址命令’

     1）地址界定

      （1）不給地址：對全文進行處理

      （2）單地址：
        #:指定的行   
        /pattern/：被此處模式所能夠匹配到的每一行

      （3）地址范圍：
        #1,#2：表示從第#1行到#2行
        #,+n：表示從第#行開始，一直到向下的n行
        /pat1/,/pat2/：表示從第一次被模式/part1/所匹配的行開始，到第一次被模式/part2/匹配的行結束，中間所有的行
        #,/pat1/:表示從#行開始到第一次被模式/part1/匹配的行結束，中間所有的行

      (4) ~：步進 如下：
        1~2 奇數行
        2~2 偶數行

     2）sed編輯命令

        d: 刪除模式空間匹配的行
        p: 顯示模式空間中的內容
        a [\]text：在指定行后面追加文本支持使用\n實現多行追加
        i [\]text：在行前面插入文本
        c [\]text：替換行為單行或多行文本
        w /path/somefile: 保存模式匹配的行至指定文件
        r /path/somefile：讀取指定文件的文本至模式空間中匹配到的行后
        =: 為模式空間中的行打印行號
        !:模式空間中匹配行取反處理

     3）查找替換：

        s/part1/string/[OPTIONS]:將part1匹配到內容替換為string,根據選項進行處理。其中OPTIONS可以不加。

        其分界符可為：s###、s@@@

        常用OPTIONS:

          g:全局的

          i：不區分大小寫

          w /PATH/TO/SOMEFILE:把指定內容另存至指定的文件中

          r /PATH/TO/SOMEFILE:在文件指定位置插入另一個文件的內容。

          p：顯示替換成功的行

   4、sed命令使用示例：

        （1）刪除/etc/fstab文件中行首為#的#字符

        （2）將/etc/fstab文件中的奇數行另存至/tmp/fstab1

         (3)利用sed命令取出一路徑的基名和路徑名

三 、sed一些高級使用

1、sed除了由‘模式空間’，還有一個‘保持空間’

  sed的工作機制是每次讀取一行至模式空間中，在模式空間中完成處理，將處理結果輸出值標準輸出設備。在模式空間中處理一行內容后繼續處理下一行，那么對于處理過的行可能還有其它的處理，因此可以先把處理過的行‘傳輸’至保持空間中，然后在后續的處理中再次‘傳輸’至模式空間中進行再次處理。

2、sed工具支持一些高級命令運用到保持空間中。

    h: 把模式空間中的內容覆蓋至保持空間中
    H：把模式空間中的內容追加至保持空間中
    g: 從保持空間取出數據覆蓋至模式空間
    G：從保持空間取出內容追加至模式空間
    x: 把模式空間中的內容與保持空間中的內容進行互換
    n: 讀取匹配到的行的下一行覆蓋至模式空間
    N：讀取匹配到的行的下一行追加至模式空間
    d: 刪除模式空間中的行
    D：刪除當前模式空間開端至\n的內容（ 不再傳至標準輸出），放棄之后的命令，但是對剩余模式空間重新執行sed

3、sed高級使用一些示例

   （1）統計centos安裝光盤中Package目錄下的所有rpm文件的以.分隔倒數第二個字段的重復次數

   （2）統計/etc/issue文件中每個單詞的出現次數，并排序

     
   （3）將數字1到10 以’NN+1’形式輸出，其中N為奇數，N+1為偶數