linux通配符和正則表達式

1、?通配符

通配符是shell在做PathnameExpansion時用到的。說白了一般只用于文件名匹配，它是由shell解析的，比如find，ls，cp，mv等。

1、1 Shell常見通配符：

1、2?shell Meta字符（元字符）

shell?除了有通配符之外，還有一系列自己的其他特殊字符。

1、3?轉義字符

有時候，我們想讓 通配符，或者元字符 變成普通字符，不需要使用它。那么這里我們就需要用到轉義符了。 shell提供轉義符有三種。

舉例：

2、正則表達式

正則表達式是用來匹配字符串的，針對文件內容的文本過濾工具里，大都用到正則表達式，如vi，grep，awk，sed等。

另外，這篇文章只針對Linux下的文本過濾工具的正則表達式進行討論，其他的一些編程語言，如C++（c regex,c++ regex,boost regex），java，python等都有自己的正則表達式庫。

簡單點來說，正則表達式是對一組正在處理的文本的描述。

例1：查找文件test中出現單詞hi，并且若干字符后出現單詞Jerry的行

$ grep -E”\<hi\>.+\<Jerry\>” test

ni hao hi nihao Jerrydsfds

例2：查找文件test中出現以hi開頭的單詞，并且若干字符后出現以Jerry結尾的單詞的行

grep -E “\<hi.+Jerry\>”test

ni hao hi nihao Jerrydsfds

wo buhao hiwuyanpingjfkjk Jerry

wo henhao hiwuyanJerry

在正則表達式的使用過程中，一些字符是以特定方式處理的。最常使用的特殊字符如下：

如果想將上述字符用作普通字符，就需要在它們前面加上\字符。例如，如果想使用$字符，你需要將它寫為\$

在方括號中還可以使用一些有用的特殊匹配模式，如下：

另外，如果指定了用于擴展的-E選項，那些用于控制匹配完成的其他字符可能會遵循正則表達式的規則，對于grep命令，我們還需要在這些字符前面加上\,下表是擴展部分一覽：

3、通配符和正則表達式比較

（1）通配符和正則表達式看起來有點像，不能混淆?？梢院唵蔚睦斫鉃橥ㄅ浞挥?,?,[],{}這4種，而正則表達式復雜多了。

（2）*在通配符和正則表達式中有其不一樣的地方，在通配符中*可以匹配任意的0個或多個字符，而在正則表達式中他是重復之前的一個或者多個字符，不能獨立使用的。比如通配符可以用*來匹配任意字符，而正則表達式不行，他只匹配任意長度的前面的字符。

4、grep

引自：http://hi.baidu.com/hzslqt/blog/item/dbd0ea4e5145f819b3de05d6.html

1.?grep簡介

??? grep （global?search regular expression(RE)?and?print?out the line,全面搜索正則表達式并把行打印出來）是一種強大的文本搜索工具，它能使用正則表達式搜索文本，并把匹配的行打印出來。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的擴展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它們把所有的字母都看作單詞，也就是說，正則表達式中的元字符表示回其自身的字面意義，不再特殊。linux使用GNU版本的grep。它功能更強，可以通過–G、–E、–F命令行選項來使用egrep和fgrep的功能。

??? grep的工作方式是這樣的，它在一個或多個文件中搜索字符串模板。如果模板包括空格，則必須被引用，模板后的所有字符串被看作文件名。搜索的結果被送到屏幕，不影響原文件內容。

??? grep可用于shell腳本，因為grep通過返回一個狀態值來說明搜索的狀態，如果模板搜索成功，則返回0，如果搜索不成功，則返回1，如果搜索的文件不存在，則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。

2.?grep正則表達式元字符集（基本集）

^???????：錨定行的開始 如：’^grep’匹配所有以grep開頭的行。

$??????? ：錨定行的結束 如：’grep$’匹配所有以grep結尾的行。

.???????：匹配一個非換行符的字符 如：’gr.p’匹配gr后接一個任意字符，然后是p。

*???????：匹配零個或多個先前字符 如：’*grep’匹配所有一個或多個空格后緊跟grep的行。?.*一起用代表任意字符。

[]?????? ：匹配一個指定范圍內的字符，如'[Gg]rep’匹配Grep和grep。

[^]????? ：匹配一個不在指定范圍內的字符，如：'[^A-FH-Z]rep’匹配不包含A–R和T–Z的一個字母開頭，緊跟rep的行。

..?：標記匹配字符，如’love’，love被標記為1。

\<????? ：錨定單詞的開始，如:‘\<grep’匹配包含以grep開頭的單詞的行。

\>?????? ：錨定單詞的結束，如’grep\>’匹配包含以grep結尾的單詞的行。

x\{m\}?? ：重復字符x，m次，如：’o\{5\}’匹配包含5個o的行。

x\{m,\}?：重復字符x,至少m次，如：’o\{5,\}’匹配至少有5個o的行。

x\{m,n\}?：重復字符x，至少m次，不多于n次，如：’o\{5,10\}’匹配5–10個o的行。

\w?????? ：匹配文字和數字字符，也就是[A–Za–z0–9]，如：’G\w*p’匹配以G后跟零個或多個文字或數字字符，然后是p。

\W?????? ：\w的反置形式，匹配一個或多個非單詞字符，如點號句號等。

\b?????? ：單詞鎖定符，如:?‘\bgrepb\’只匹配grep。

3.?用于egrep和 grep?–E的元字符擴展集

+???????：匹配一個或多個先前的字符。如：'[a-z]+able’，匹配一個或多個小寫字母后跟able的串，如loveable,enable,disable等。

????????：匹配零個或多個先前的字符。如：’gr?p’匹配gr后跟一個或沒有字符，然后是p的行。

a|b|c??? ：匹配a或b或c。如：grep|sed匹配grep或sed

()?????? ：分組符號，如：love(able|rs)ov+匹配loveable或lovers，匹配一個或多個ov。

x{m},x{m,},x{m,n}?：作用同x\{m\},x\{m,\},x\{m,n\}

5.?Grep命令選項

???–a或—text???不要忽略二進制的數據。

???–A???<顯示列數>或—after–context=<顯示列數>??? 除了顯示符合范本樣式的那一列之外，并顯示該列之后的內容。

???–b或—byte–offset??? 在顯示符合范本樣式的那一列之前，標示出該列第一個字符的位編號。

???–B<顯示列數>或—before–context=<顯示列數>??? 除了顯示符合范本樣式的那一列之外，并顯示該列之前的內容。

???–c或—count???計算符合范本樣式的列數。

???–C<顯示列數>或—context=<顯示列數>或-<顯示列數>??? 除了顯示符合范本樣式的那一列之外，并顯示該列之前后的內容。

???–d<進行動作>或—directories=<進行動作>??? 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息并停止動作。

???–e<范本樣式>或—regexp=<范本樣式>??? 指定字符串做為查找文件內容的范本樣式。

???–E或—extended–regexp??? 將范本樣式為延伸的普通表示法來使用。

???–f<范本文件>或—file=<范本文件>??? 指定范本文件，其內容含有一個或多個范本樣式，讓grep查找符合范本條件的文件內容，格式為每列一個范本樣式。

???–F或—fixed–regexp??? 將范本樣式視為固定字符串的列表。

???–G或—basic–regexp??? 將范本樣式視為普通的表示法來使用。

???–h或—no–filename??? 在顯示符合范本樣式的那一列之前，不標示該列所屬的文件名稱。

???–H或–with-filename??? 在顯示符合范本樣式的那一列之前，表示該列所屬的文件名稱。

???–i或—ignore–case??? 忽略字符大小寫的差別。

???–l或—file-with-matches??? 列出文件內容符合指定的范本樣式的文件名稱。

???–L或—files–without–match??? 列出文件內容不符合指定的范本樣式的文件名稱。

???–n或—line–number??? 在顯示符合范本樣式的那一列之前，標示出該列的列數編號。

???–q或—quiet或—silent??? 不顯示任何信息。

???–r或—recursive???此參數的效果和指定“–d recurse”參數相同。

???–s或—no–messages??? 不顯示錯誤信息。

???–v或—revert–match??? 反轉查找。

???–V或—version???顯示版本信息。

???–w或—word–regexp??? 只顯示全字符合的列。

???–x或—line–regexp??? 只顯示全列符合的列。

???–y??? 此參數的效果和指定“–i”參數相同。

???—help??? 在線幫助。

6.?實例

??? 要用好grep這個工具，其實就是要寫好正則表達式，下面列幾個例子，講解正則表達式的寫法。

$ ls?–l?|?grep?‘^a’

??? 通過管道過濾ls?–l輸出的內容，只顯示以a開頭的行。

$ grep?‘test’?d*

??? 顯示所有以d開頭的文件中包含test的行。

$ grep?‘test’?aa bb cc

??? 顯示在aa，bb，cc文件中匹配test的行。

$ grep?‘[a-z]\{5\}’?aa

??? 顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。

$ grep?‘west.*\1’?aa

??? 如果west被匹配，則es就被存儲到內存中，并標記為1，然后搜索任意個字符（.*），這些字符后面緊跟著另外一個es（\1），找到就顯示該行。如果用egrep或grep?–E，就不用”\”號進行轉義，直接寫成’w(es)t.*\1’就可以了。

??? 再講解一個具體應用的例子。

??? 查詢所有位于當前目錄下的.cs文件中的Main，通過grep，可以輕松快速地完成這項任務，命令如下：

grep ‘Main’?*.cs

輸出結果為：

ChineseDemo.cs:?publicstatic void Main()

RegDemo1.cs:?static voidMain(string[]?args)

RegDemo2.cs:?? public static void Main()

RegDemo3.cs:?publicstatic void Main()

??? 可見，通過grep真的可以找到相關目錄中符合條件的所有文件，并能打印出查詢到的字符串所位于的那行內容。如果只想確定哪些文件含有Main，而不需打印相應行的內容，那么可以使用以下命令：?

grep –l‘Main’?*.cs

輸出結果為：

ChineseDemo.cs

RegDemo1.cs

RegDemo2.cs

RegDemo3.cs

只有相應的文件名稱被顯示。

??? 在找到了含有Main字符串的幾個文件后，如果想粗略地查看某一具體文件的里源代碼的相關信息，比如查看RegDemo1.cs文件中含有Main這一行的前后三行，相關的命令如下：

grep –C?3?‘Main’ RegDemo1.cs

輸出結果為：

class?GroupingApp

{

?? static void Main(string[]?args)

????{

?????? Reg7();

}

輸出結果完全符合需求，static void Main(string[]?args)這一行前后三行范圍內的所有代碼被全部打印出來（第一行是空行）。

??? 以上的查詢字符串沒有對查找結果是否為一個完整的單詞進行限制，也就是說TheMain和Main_Func都會被認定為查詢目標。如果想限定該查詢字符串為一個完整單詞，那么可以使用\w參數，相關命令如下：

grep –w‘Main’?*.cs

結果為：

ChineseDemo.cs:?publicstatic void Main()

RegDemo1.cs:?static voidMain(string[]?args)

RegDemo2.cs:?publicstatic void Main()

RegDemo3.cs:?publicstatic void Main()

另外舉例如下：

1）顯示/etc/passwd中的一位數或兩位數（錨定詞首、記尾、分組、轉義、次數匹配）

2）找出當前系統上用戶名和默認shell相同的用戶（行首、行尾錨定）（開始單詞和結束單詞一樣）

3）grep配合其它命令的用法，找出本機的IP地址，只顯示IP段（管道、cut）

參考：

1、http://www.cnblogs.com/chengmo/archive/2010/10/17/1853344.html

2、http://blog.csdn.net/huiguixian/article/details/6284834

3、http://blog.csdn.net/wealoong/article/details/8015576

摘抄自：https://blog.csdn.net/swjtuwyp/article/details/51817472