對文件數據操作命令

  很多時候，我們都會去計算一次數據里頭的的相同類型的數據總數或者查看特性的一些信息，在這個時候我們就需要排序與計算之類的命令來輔助，下面就是幾個好用的操作文件數據命令。

文件查看命令：cat, tac

cat [OPTION]… [FILE]…

    -E: 顯示行結束符$

    -n: 對顯示出的每一行進行編號

    -A：顯示所有控制符

    -b：非空行編號

    -s：壓縮連續的空行成一行 文件查看 5 分頁查看文件內容

more: 分頁查看文件

    more [OPTIONS…] FILE…

    -d: 顯示翻頁及退出提示

tac命令跟cat差不多，就是把cat命令的輸出結果反過來。

less：一頁一頁地查看文件或STDIN輸出

顯示文件頭/尾幾行

head [OPTION]… [FILE]…

    -c #: 指定獲取前#字節

    -n #: 指定獲取前#行

    -#： 指定行數

如：

tail [OPTION]… [FILE]…

    -c #: 指定獲取后#字節

    -n #: 指定獲取后#行

    -#：

    -f: 跟蹤顯示文件新追加的內容,常用日志監控

切出文本內容與合并文本

cut [OPTION]… [FILE]…

    -d DELIMITER: 指明分隔符，默認tab

    -f FILEDS:

        #: 第#個字段

        #,#[,#]：離散的多個字段，例如1,3,6

        #-#：連續的多個字段, 例如1-6

        混合使用：1-3,7

   -c 按字符切割

   –output-delimiter=STRING指定輸出分隔符

顯示文件或STDIN數據的指定列

    cut -d: -f1 /etc/passwd

    cat /etc/passwd | cut -d: -f7

    cut -c2-5 /usr/share/dict/words

在這里如果我們想獲得/etc/passwd文件中第一行的用戶名所屬組shell類型的時候就可以跟前面所學的結合起來

paste 合并兩個文件同行號的列到一行

paste [OPTION]… [FILE]…

    -d 分隔符:指定分隔符，默認用TAB

    -s : 所有行合成一行顯示 paste f1 f2 paste

    -s f1 f2

收集文本統計數據wc

   如果你想知道一個文件里面有多少字，多少行，多少字符的話，那么就可以使用這個命令來完成。

計數單詞總數、行總數、字節總數和字符總數

    使用 -l 來只計數行數

    使用 -w 來只計數單詞總數

    使用 -c 來只計數字節總數

    使用 -m 來只計數字符總數 11 文本排序sort

排序sort

這個命令可以幫我們排序，而且可以根據不同的數據類型排序。

把整理過的文本顯示在STDOUT，不改變原始文件 $ sort [options] file(s)

常用選項 ：

     -r 執行反方向（由上至下）整理

    -n 執行按數字大小整理

    -f 選項忽略（fold）字符串中的字符大小寫

    -u 選項（獨特，unique）刪除輸出中的重復行

    -t ： 選項使用：做為字段界定符

    -k X 選項按照使用c字符分隔的X列來整理能夠使用多次 12 uniq

uniq命令：

這個命令可以將重復的行刪除只保留一個，由于這個命令是將重復的東西減少，所以要配合排序過的文件進行處理

從輸入中刪除重復的前后相接的行

uniq [OPTION]… [FILE]…

    -c: 顯示每行重復出現的次數

    -d: 僅顯示重復過的行

    -u: 僅顯示不曾重復的行 連續且完全相同方為重復

常和sort 命令一起配合使用：

    sort userlist.txt | uniq -c

比較文件

比較兩個文件之間的區別

  diff 命令的輸出被保存在一種叫做“補丁”的文件中

使用 -u 選項來輸出“統一的（unified）”diff格式文 件，最適用于補丁文件。

  patch 命令復制在其它文件中進行的改變

適用 -b 選項來自動備份改變了的文件

如：

  $ diff -u foo.conf-broken foo.conf-works > foo.patch

  $ patch -b foo.conf-broken foo.patch

Linux上文本處理三劍客

1、grep：文本過濾(模式：pattern)工具; grep, egrep, fgrep（不支持正則表達式搜索）

2、sed：stream editor，文本編輯工具；

3、awk：Linux上的實現gawk，文本報告生成器；

grep

    grep: Global search REgular expression and Print out the line. 作用：文本搜索工具，根據用戶指定的“模式”對目標文 本逐行進行匹配檢查；打印匹配到的行； 模式：由正則表達式字符及文本字符所編寫的過濾條件

grep [OPTIONS] PATTERN [FILE…]

grep命令選項

    –color=auto: 對匹配到的文本著色顯示；

    -v: 顯示不能夠被pattern匹配到的行；

    -i: 忽略字符大小寫

    -n:顯示匹配的行號

    -c: 統計匹配的行數

    -o: 僅顯示匹配到的字符串；

    -q: 靜默模式，不輸出任何信息

    -A #: after, 后#行

    -B #: before, 前#行

    -C #：context, 前后各#行

    -e：實現多個選項間的邏輯or關系 grep –e ‘cat ’ -e ‘dog’ file

    – w：整行匹配整個單詞

    – E：使用ERE 19 正則表達式

正則表達式

  正則表達式就是處理字符串的方法，它是以行為單位來進行字符串的處理行為，正則表達式通過一些特殊符號的輔助，可以讓用戶輕易達到查找、刪除、替換某特定字符串的處理程序。

REGEXP：由一類特殊字符及文本字符所編寫的模式，其中有 些字符（元字符）不表示字符字面意義，而表示控制或通配 的功能

程序支持：grep, vim, less,nginx等

分兩類： 基本正則表達式：BRE 擴展正則表達式：ERE grep -E, egrep

正則表達式引擎： 采用不同算法，檢查處理正則表達式的軟件模塊 PCRE（Perl Compatible Regular Expressions）

元字符分類：字符匹配、匹配次數、位置錨定、分組

man 7 regex 20 基本正則表達式元字符

字符匹配:

    . ： 匹配任意單個字符；

    [] ： 匹配指定范圍內的任意單個字符

    [^] ：匹配指定范圍外的任意單個字符

    匹配次數：用在要指定次數的字符后面，用于指定前面的字 符要出現的次數

    *：匹配前面的字符任意次，包括0次 貪婪模式：盡可能長的匹配 .*：任意長度的任意字符

    \?：匹配其前面的字符0或1次

    \+：匹配其前面的字符至少1次

    \{n\}：匹配前面的字符n次

    \{m,n\}：匹配前面的字符至少m次，至多n次

    \{,n\}：匹配前面的字符至多n次

    \{n,\}：匹配前面的字符至少n次

    位置錨定：定位出現的位置

    ^：行首錨定，用于模式的最左側

    $：行尾錨定，用于模式的最右側

    ^PATTERN$: 用于模式匹配整行

    ^$: 空行

    ^[[:space:]]*$ ：空白行

    \< 或 \b：詞首錨定，用于單詞模式的左側

    \> 或 \b：詞尾錨定；用于單詞模式的右側

    \<PATTERN>：匹配整個單詞

分組：

    \(\)：將一個或多個字符捆綁在一起，當作一個整體進 行處理，如：\(root\)\+

    分組括號中的模式匹配到的內容會被正則表達式引擎記錄 于內部的變量中，這些變量的命名方式為: \1, \2, \3, …

    \1: 從左側起，第一個左括號以及與之匹配右括號之間 的模式所匹配到的字符

    實例：

    \(string1\+\(string2\)*\)

    \1: string1\+\(string2\)*

    \2: string2

    后向引用：引用前面的分組括號中的模式所匹配字符(而 非模式本身)

正則表達式元字符的定義

    ^ 行首

    $ 行尾

    . 任意單一字符

    [] []內任意單一字符

    [^] 除[]內任意單一字符

    * *前面字符重復不確定次數

    \+ \+前面字符重復一次以上不確定次數

    \? ？前面字符重復0或1次 \ 轉義符

    .* 任意長度字符

    \{n\} 前面字符重復n次

    \{n,\} 前面字符重復n次以上

    \{m,n\} 前面字符重復m次和n次之間

    [:alpha:] 所有字母，包括大、小寫

    [:alnum:] 所有字母和數字

    [:upper:] 所有大寫字母

    [:lower:] 所有小寫字母

    [:digit:] 所有數字

    [:punct:] 所有標點符號

    [:space:] 空格和Tab

egrep及擴展的正則表達式

egrep = grep -E

egrep [OPTIONS] PATTERN [FILE…]

擴展正則表達式的元字符：

字符匹配：

     . 任意單個字符

    [] 指定范圍的字符

    [^] 不在指定范圍的字符  

次數匹配：

    *：匹配前面字符任意次

    ?: 0或1次

    +：1次或多次

    {m}：匹配m次

    {m,n}：至少m，至多n次

位置錨定：

    ^ :行首

    $ :行尾

    \<, \b :語首

    \>, \b :語尾

分組：

    ()

    后向引用： \1, \2, …

    或者：

    a|b:a或者b

    C|cat: C 或cat

    (C|c )at:Cat 或cat