Linux文本處理工具grep

  1. 文件查看工具:cat

    將[文件]或標準輸入組合輸出到標準輸出。

              -A, –show-all                                  等于-vET

              -b, –number-nonblank                           對非空輸出行編號

              -e                                              等于-vE

              -E, –show-ends                                 在每行結束處顯示"$"

              -n, –number                                    對輸出的所有行編號

              -s, –squeeze-blank                             不輸出多行空行

              -t                                              與-vT 等價

              -T, –show-tabs                                 將跳格字符顯示為^I

              -u                                              (被忽略)

              -v, –show-nonprinting                          使用^ 和M- 引用,除了LFD和 TAB 之外

              –help                                     顯示此幫助信息并退出

             –version                               顯示版本信息并退出

2.分頁查看文件:more

more [OPTIONS…] FILE… -d: 顯示翻頁及退出提示

3.單頁查看文件:less

查看時有用的命令包括: /文本 搜索 文本 n/N 跳到下一個 或 上一個匹配 less 命令是man命令使用的分頁器

4.獲取文本前幾行:head     -n:指定獲取第幾行              -c:指定獲取多少字節

5.獲取文件后幾行:tail     -n:指定獲取第幾行              -c:指定獲取多少字節

6.文件分割工具:cut

        -d DELIMITER: 指明分隔符,默認tab 例如:-d":"

        -f 指定獲取字段: 

                            #: 第#個字段 

                            #,#[,#]:離散的多個字段,例如1,3,6

                            #-#:連續的多個字段, 例如1-6 

                            混合使用:1-3,7 -c 

                            按字符切割 –output-delimiter=STRING指定輸出分隔符

                   例如;我們要獲取/etc/passwd下面的用戶名以及uid和shell類型??

                 [root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7

7.合并工具:paste 

                            合并兩個文件同行號的列到一行 

                            -d 分隔符:指定分隔符,默認用TAB

                            -s : 所有行合成一行顯示  

            [root@localhost ~]# paste -s luyubo.txt luyubo1.txt

8.文本統計工具:wc

                wc可以用來統計單詞總數,行總數,以及字節總數,字符總數。

                用法:wc [選項]… [文件]…

               或:wc [選項]… –files0-from=F

        輸出每個指定文件的行數、單詞計數和字節數,如果指定了多于一個文件,繼續給出所有相關數據的總計。如果沒有指定文件,或者文件為"-",則從標準輸入讀取數據。

  -c, –bytes輸出字節數統計

  -m, –chars輸出字符數統計

  -l, –lines輸出行數統計

      –files0-from=文件從指定文件讀取以NUL 終止的名稱,如果該文件被

指定為"-"則從標準輸入讀文件名

  -L, –max-line-length         顯示最長行的長度

  -w, –words顯示單詞計數

9.文本排序工具:sort

                我們這里列出幾個常用的幾個選項

                                -r 執行反方向(由上至下)整理

                                -n 執行按數字大小整理 

                                -f 選項忽略(fold)字符串中的字符大小寫

                                -u 選項(獨特,unique)刪除輸出中的重復行

                                -t  c 選項使用c做為字段界定符

                                -k  X 選項按照使用c字符分隔的X列來整理能夠使用多次

10.統計重復次數:uniq

                                -c: 顯示每行重復出現的次數 

                                -d: 僅顯示重復過的行 

                                -u: 僅顯示不曾重復的行 連續且完全相同方為重復 

              #一般配合sort使用。soft luyubo.txt | uniq -c

Linux文本處理三劍客之一——grep

                grep就像是一個篩選器一樣。功能有多強大,就看我們怎么去靈活的使用,結合正則表達式。

用法: grep [選項]… PATTERN [FILE]…

在每個 FILE 或是標準輸入中查找 PATTERN。

默認的 PATTERN 是一個基本正則表達式(縮寫為 BRE)。

例如: grep -i 'hello world' menu.h main.c

正則表達式選擇與解釋:

                         -E: –extended-regexp     PATTERN 是一個可擴展的正則表達式(縮寫為 ERE)

                         -F: –fixed-strings       PATTERN 是一組由斷行符分隔的定長字符串。

                         -G: –basic-regexp        PATTERN 是一個基本正則表達式(縮寫為 BRE)

                         -P: –perl-regexp         PATTERN 是一個 Perl 正則表達式

                         -e: –regexp=PATTERN      用 PATTERN 來進行匹配操作

                         -f: –file=FILE           從 FILE 中取得 PATTERN

                         -i: –ignore-case         忽略大小寫

                         -w: –word-regexp         強制 PATTERN 僅完全匹配字詞

                         -x: –line-regexp         強制 PATTERN 僅完全匹配一行

                         -z: –null-data           一個 0 字節的數據行,但不是空行

                         -v: –invert-match        顯示不能夠被pattern匹配到的行; 

                         -q: –quiet               靜默模式,不輸出任何信息

                         -o: –only-matching       僅顯示匹配到的字符串;

                         -c: –count               統計匹配的行數

                         -n: –line-numbe          顯示匹配的行號

                         -A #:–after-context=NUM   after, 后#行 

                         -B #:–before-context=NUM  before, 前#行

                         -C #:–context=NUM        前后各#行  

輸出控制:

                          -m: –max-count=NUM       NUM 次匹配后停止

                          -b: –byte-offset         輸出的同時打印字節偏移

                          -n: –line-number         輸出的同時打印行號

                              –line-buffered       每行輸出清空

                          -H: –with-filename       為每一匹配項打印文件名

                          -h: –no-filename         輸出時不顯示文件名前綴

                              –label=LABEL         將LABEL 作為標準輸入文件名前綴文件控制:

                          -B: –before-context=NUM  打印以文本起始的NUM 行

                          -A: –after-context=NUM   打印以文本結尾的NUM 行

                          -C: –context=NUM         打印輸出文本NUM 行

正則表達式(REGEXP):由一類特殊字符及文本字符所編寫的模式,其中有 些字符(元字符)不表示字符字面意義,而表示控制或通配 的功能 

       正則表達式分為兩類:

                    基本正則表達式:BRE

                    擴展正常表達式:ERE            grep -E   -egrep

       正則表達式引擎:

                    采用不同算法,檢查處理正則表達式的軟件模塊 PCRE(Perl Compatible Regular Expressions) 

       元字符分類:字符匹配、匹配次數、位置錨定、分組      這里我理解為正則里面功能分支

       基本正則表達式元字符:

                                .   : 匹配任意單個字符; 

                                []  : 匹配指定范圍內的任意單個字符 

                                [^] :匹配指定范圍外的任意單個字符 

                                ^ 行首

                                $ 行尾

                                . 任意單一字符 

                                [] []內任意單一字符 

                                [^] 除[]內任意單一字符 

                                * *前面字符重復不確定次數 

                                \+ \+前面字符重復一次以上不確定次數 

                                \? ?前面字符重復0或1次 

                                \ 轉義符

                                .* 任意長度字符 

                                \{n\} 前面字符重復n次

                                \{n,\} 前面字符重復n次以上 

                                \{m,n\} 前面字符重復m次和n次之間

                                [:alpha:] 所有字母,包括大、小寫 

                                [:alnum:] 所有字母和數字 

                                [:upper:] 所有大寫字母 

                                [:lower:] 所有小寫字母 

                                [:digit:] 所有數字 

                                [:punct:] 所有標點符號 

                                [:space:] 空格和Tab

正則表達式:

            匹配次數:用在要指定次數的字符后面,用于指定前面的字 符要出現的次數 

                                *:匹配前面的字符任意次,包括0次 

                                貪婪模式:盡可能長的匹配

                                .*:任意長度的任意字符 

                                \?:匹配其前面的字符0或1次 

                                \+:匹配其前面的字符至少1次 

                                \{n\}:匹配前面的字符n次 

                                \{m,n\}:匹配前面的字符至少m次,至多n次 

                                \{,n\}:匹配前面的字符至多n次 

                                \{n,\}:匹配前面的字符至少n次

           位置錨定:定位出現的位置 

                                ^:行首錨定,用于模式的最左側

                                 $:行尾錨定,用于模式的最右側 

                                ^PATTERN$: 用于模式匹配整行 

                                ^$: 空行 

                                ^[[:space:]]*$ :空白行 

                                \< 或 \b:詞首錨定,用于單詞模式的左側 

                                \> 或 \b:詞尾錨定;用于單詞模式的右側 

                                \<PATTERN\>:匹配整個單詞

         分組表示:

                                \(\):將一個或多個字符捆綁在一起,當作一個整體進 行處理,如:\(root\)\+ 

                                分組括號中的模式匹配到的內容會被正則表達式引擎記錄 于內部的變量中,這些變量的命名方式為: \1, \2, \3, … 

                                \1: 從左側起,第一個左括號以及與之匹配右括號之間 的模式所匹配到的字符 

                                實例:

                                 \(string1\+\(string2\)*\)

                                 \1: string1\+\(string2\)* 

                                 \2: string2 

                                后向引用:引用前面的分組括號中的模式所匹配字符(而 非模式本身)

擴展正則表達式

              #擴展表達式支持一些新的語法。

                egrep = grep -E

                                擴展正則表達式的元字符: ? 

                                字符匹配:

                                         .  任意單個字符

                                         [] 指定范圍的字符 

                                        [^] 不在指定范圍的字符 

                                 次數匹配:

                                        *:匹配前面字符任意次 

                                        ?: 0或1次 

                                        +:1次或多次 

                                        {m}:匹配m次 

                                        {m,n}:至少m,至多n次           

                                 位置錨定: 

                                        ^  :行首

                                        $  :行尾 

                                        \<, \b :語首

                                        \>, \b :語尾 ?

                                  分組: 

                                        () 后向引用:\1, \2, … ?

                                        或者: 

                                        a|b 

                                        C|cat: C或cat 

                                        (C|c)at:Cat或cat

原創文章,作者:鬧鐘哥,如若轉載,請注明出處:http://www.www58058.com/31695

(0)
鬧鐘哥鬧鐘哥
上一篇 2016-08-10 10:27
下一篇 2016-08-10 10:28

相關推薦

  • 推薦-Linux命令幫助的獲取

    幫助命令 1. 使用幫助命令和幫助選項來獲取幫助 2. 使用man來查看命令使用手冊(manual) 3. 使用info來查看命令的信息頁 4. 程序自身的幫助文檔 5. 程序官方文檔 6. 發行版的官方文檔 7. 使用Google搜索關鍵字 1. 使用幫助命令和幫助選項來獲取幫助 Linux系統中命令分為【內部命令】和【外部命令】。 【內部命令】:內部命令…

    Linux干貨 2016-03-25
  • bash腳本之練習

    1、編寫服務腳本/root/bin/testsrv.sh,完成如下要求  (1) 腳本可接受參數:start, stop, restart, status  (2) 如果參數非此四者之一,提示使用格式后報錯退出 (3) 如是start:則創建/var/lock/subsys/SCRIPTNAME, 并顯示“啟動成功” 考慮:如果事先已經啟…

    Linux干貨 2016-08-24
  • N26-第七周

    1、創建一個10G分區,并格式為ext4文件系統;   (1) 要求其block大小為2048, 預留空間百分比為2, 卷標為MYDATA, 默認掛載屬性包含acl;    (2) 掛載至/data/mydata目錄,要求掛載時禁止程序自動運行,且不更新文件的訪問時間戳; [root@localhost ~]# fdi…

    Linux干貨 2017-03-05
  • Kickstart+PXE自動部署CentOS6.6

        生產環境中對于部署大量的相同系統的服務器,如果逐臺安裝操作系統的話是非常浪費時間的工作,還好CentOS提供了無人值守安裝系統的功能,下面就詳細介紹一下配置步驟。 一、配置本機的yum源     因為需要安裝一些軟件來達到我們的目的,所以最好先把yum源配置好。 &nbs…

    Linux干貨 2015-05-12
  • 源碼編譯安裝dropbear

    tar -jxf dropbear-2013.58.tar.bz2 cd dropbear-2013.58 ./configure make PROGRAMS=”dropbear dbclient dropbearkey dropbearconvert scp” make PROGRAMS=”dropbear dbclie…

    Linux干貨 2017-10-21
  • 啊 逗比呀!

    提示符,nano編輯,rz | sz命令,Sublime

    2017-11-19
欧美性久久久久