文本查看工具、grep及正則表達式

cat [OPTION]… [FILE]…順序查看文件
-E: 顯示行結束符$
-n: 對顯示出的每一行進行編號(包括空白行)
-A:顯示所有控制符
-T:顯示制表符^I(即tab鍵)
-b:只對非空白行進行編號
-s:壓縮連續的空行成一行

Image 001.png

tac 逆序查看文件(第一行變為最后一行)

Image 002.png

rev 行內逆序查看文件(第一個字符變為最后一個字符)

Image 003.png

more [OPTIONS…] FILE…翻頁查看文件
-d: 顯示翻頁及退出提示
enter:向下一行
space:向下一頁
q:退出
只能向下翻,無法向上翻

Image 004.png

less:一頁一頁地查看文件
查看時有用的命令包括:
/或?:文本搜索文本
n/N:跳到下一個或上一個匹配
space:下一頁
b:上一頁
q:退出
less命令是man命令使用的分頁器

head [OPTION]… [FILE]…顯示前幾行
-c #: 指定獲取前#字節
-n #或-#: 指定獲取前#行,#為負值時表示不顯示后#行

tail [OPTION]… [FILE]…
-c #: 指定獲取后#字節
-n #或- #: 指定獲取后#行,#為負值時表示不顯示前(#-1)行
-f: 跟蹤顯示文件新追加的內容,常用日志監控

Image 005.png

cut [OPTION]… [FILE]…
-d DELIMITER: 指明分隔符,默認tab
-f FILEDS: 按字段切割
-c FILEDS:按字符切割
FILEDS
#: 第#個字段
#,#[,#]:離散的多個字段,例如1,3,6
#-#:連續的多個字段, 例如1-6
混合使用:1-3,7
–output-delimiter=STRING指定輸出分隔符
Image 006.png

paste [OPTION]… [FILE]…合并兩個文件同行號的列到一行
-d 分隔符:指定分隔符,默認用TAB
-s : 所有行合成一行顯示
paste f1 f2
paste -s f1 f2

Image 007.png

wc 計數單詞總數、行總數、字節總數和字符總數
-l:來只計數行數
-w:來只計數單詞總數
-c:來只計數字節總數
-m:來只計數字符總數

sort [options] file(s)
選項
-r:反方向(由上至下)排序
-n:按數字大小排序
-f:忽略(fold)字符串中的字符大小寫
-u:選項(獨特,unique)刪除輸出中的重復行,只保留一行
-t:指定字段界定符
-k:按照使用c字符分隔的X列來整理能夠使用多次

Image 008.png

uniq[OPTION]… [FILE]…從輸入中刪除重復的前后相接的行
-c: 顯示每行重復出現的次數;
-d: 僅顯示重復過的行;
-u: 僅顯示不曾重復的行;
(連續且完全相同方為重復)
常和sort 命令一起配合使用:
sort userlist.txt | uniq-c

Image 009.png

diff foo.conf-broken foo.conf-works 比較兩個文件之間的區別
5c5
<use_widgets=no

>use_widgets=yes
a 添加 d 刪除 c 替換

diff命令的輸出被保存在一種叫做“補丁”的文件中
使用-u選項來輸出“統一的(unified)”diff格式文件,最適用于補丁文件。
patch命令復制在其它文件中進行的改變(要謹慎使用?。?br />適用-b選項來自動備份改變了的文件
diff -u foo.conf-broken foo.conf-works > foo.patch
patch -b foo.conf-broken foo.patch
其中源文件更名為foo.conf-broken.orig 新文件更名為foo.conf-broken

Image 010.png

grep:文本過濾(模式:pattern)工具;grep, egrep, fgrep(不支持正則表達式搜索)
grep: Global search REgularexpression and Print out the line.
作用:文本搜索工具,根據用戶指定的“模式”對目標文本逐行進行匹配檢查;打印匹配到的行;
模式:由正則表達式字符及文本字符所編寫的過濾條件

grep [OPTIONS] PATTERN [FILE…]
grep root /etc/passwd
grep "$USER" /etc/passwd
grep '$USER' /etc/passwd
grep `whoami` /etc/passwd
選項:
–color=auto: 對匹配到的文本著色顯示;
-v: 顯示不能夠被pattern匹配到的行;
-i: 忽略字符大小寫
-n:顯示匹配的行號
-c: 統計匹配的行數
-o: 僅顯示匹配到的字符串;
-q: 靜默模式,不輸出任何信息
-A #:after, 后#行
-B #: before, 前#行
-C #:context, 前后各#行
-w:整行匹配整個單詞
-E:使用ERE
-e:實現多個選項間的邏輯or關系
grep –e ‘cat ’ -e ‘dog’ file

REGEXP:由一類特殊字符及文本字符所編寫的模式,其中有些字符(元字符)不表示字符字面意義,而表示控制或通配的功能
程序支持:grep, vim, less,nginx等
正則表達式分兩類:
基本正則表達式:BRE;擴展正則表達式:ERE
grep -E( egrep)
正則表達式引擎:采用不同算法,檢查處理正則表達式的軟件模塊
PCRE(Perl Compatible Regular Expressions)
元字符分類:字符匹配、匹配次數、位置錨定、分組

1.字符匹配:
. :匹配任意單個字符;
[] :匹配指定范圍內的任意單個字符
[^] :匹配指定范圍外的任意單個字符
[:digit:]:表示所有的數字
[:lower:]:表示所有的小寫字母
[:upper:]:表示所有的大寫字母
[:alpha:]:表示所有的字母(不區分大小寫)
[:alnum:]:表示所有的字母和數字
[:punct:]:表示所有的標點符號
[:space:]:表示所有的空白字符

2.匹配次數:用在要指定次數的字符后面,用于指定前面的字符要出現的次數
貪婪模式:盡可能長的匹配
*:匹配前面的字符任意次,包括0次
.*:任意長度的任意字符
\?:匹配其前面的字符0或1次
\+:匹配其前面的字符至少1次
\{m\}:匹配前面的字符m次
\{m,n\}:匹配前面的字符至少m次,至多n次
\{,n\}:匹配前面的字符至多n次
\{m,\}:匹配前面的字符至少m次

3.位置錨定:定位出現的位置
^:行首錨定,用于模式的最左側
$:行尾錨定,用于模式的最右側
^PATTERN$: 用于模式匹配整行
^$: 空行
^[[:space:]]*$ :空白行
\< 或\b:詞首錨定,用于單詞模式的左側
\> 或\b:詞尾錨定;用于單詞模式的右側
\<PATTERN\>:匹配整個單詞

4.分組:\(\):將一個或多個字符捆綁在一起,當作一個整體進行處理,如:\(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄于內部的變量中,這些變量的命名方式為: \1, \2, \3, …
\1: 從左側起,第一個左括號以及與之匹配右括號之間的模式所匹配到的字符;
實例:\(string1\+\(string2\)*\)
\1: string1\+\(string2\)*
\2: string2
后向引用:引用前面的分組括號中的模式所匹配字符(而非模式本身)

egrep= grep -E
egrep[OPTIONS] PATTERN [FILE…]
擴展正則表達式的元字符:

1.字符匹配:
. 任意單個字符
[] 指定范圍的字符
[^] 不在指定范圍的字符

2.次數匹配:
*:匹配前面字符任意次
?: 0或1次
+:1次或多次
{m}:匹配m次
{m,n}:至少m,至多n次

3.位置錨定:
^ :行首
$ :行尾
\<, \b :語首
\>, \b :語尾

4.分組:
()
后向引用:\1, \2, …
或者:
a|b
C|cat: C或cat
(C|c)at:Cat或cat

1、找出ifconfig命令結果中本機的所有IPv4地址
   ifconfig | head -2 | tail -1

Image 011.png

2、查出分區空間使用率的最大百分比值
   df | tail  -n +2 | cut -c 44-46

Image 012.png

3、查出用戶UID最大值的用戶名、UID及shell類型
   sort -nrt : -k 3 /etc/passwd | head -1 | cut -d : -f 1,3,7

Image 013.png

4、查出/tmp的權限,以數字方式顯示
   stat /tmp | head -4 | tail -1 | cut -d / -f 1 | cut -d \( -f 2

Image 014.png

5、統計當前連接本機的每個遠程主機IP的連接數,并按從大到小排序
   netstat -tn | cut -d : -f 2 | tr -s " " ":" |cut -d : -f 2 | sort | uniq -c
Image 029.pngImage 016.pngImage 029.png

1、顯示/proc/meminfo文件中以大小s開頭的行;(要求:使用兩種方式)
   grep -i '^s' /proc/meminfo
   grep  '^[S|s]' /proc/meminfo
   egrep  '^(S|s)' /proc/meminfo
   grep -e '^s' -e '^e' /proc/meminfo

Image 016.pngImage 016.png

2、顯示/etc/passwd文件中不以/bin/bash結尾的行
   grep -v '/bin/bash$' /etc/passwd
   egrep -v '/bin/bash$' /etc/passwd

Image 017.png

3、顯示用戶rpc默認的shell程序
   getent passwd | grep -w 'rpc' | cut -d : -f 7
   getent passwd | grep '\<rpc\>' | cut -d : -f 7

Image 018.png

4、找出/etc/passwd中的兩位或三位數
   grep '\<[[:digit:]]\{2,3\}\>' /etc/passwd
   grep '\<[0-9]\{2,3\}\>'' /etc/passwd

Image 019.png

5、顯示/etc/grub2.cfg(centos7)文件中,至少以一個空白字符開頭的且后面存非空白字符的行
   grep '^[[:space:]]\+[^[:space:]].*' /etc/grub2.cfg

Image 020.png

6、找出"netstat -tan"命令的結果中以'LISTEN'后跟0、1或多個空白字符結尾的行
   netstat -tan | grep 'LISTEN[[:space:]]*$'

Image 021.pngImage 021.png

7、添加用戶bash、testbash、basher以及nologin(其shell為/sbin/nologin),而后找出/etc/passwd文件中用戶名同shell名的行
   grep '^\([[:alnum:]]\{1,\}\):.*\1$' /etc/passwd
Image 022.png

1、顯示當前系統root、mage或wang用戶的UID和默認shell
   egrep '^(root|mage|wang):' /etc/passwd | cut -d : -f 3,7

Image 023.png

2、找出/etc/rc.d/init.d/functions文件中行首為某單詞(包括下劃線)后面跟一個小括號的行
   grep -o -E '\<[[:alnum:]]+\>\(\)' /etc/rc.d/init.d/functions

Image 024.png

3、使用egrep取出/etc/rc.d/init.d/functions中其基名
   echo '/etc/rc.d/init.d/functions' | egrep -o '[^/]+/?$'

Image 025.png

4、使用egrep取出上面路徑的目錄名
   echo '/etc/rc.d/init.d/functions' | egrep -o '^.*/'

Image 026.png

5、統計以root身份登錄的每個遠程主機IP地址的登錄次數
   last | grep root | egrep -o '[[:digit:]]+.[[:digit:]]+.[[:digit:]]+.[[:digit:]]+' | uniq -c
   last | grep root | egrep -o '([[:digit:]]+.){3}[[:digit:]]+' | uniq -c
 Image 027.png

6、利用擴展正則表達式分別表示0-9、10-99、100-199、200-249、250-255
   [0-9]   [1-9][0-9]  1[0-9][0-9] 2[0-4][0-9] 25[0-5]

7、顯示ifconfig命令結果中所有IPv4地址
   ifconfig | egrep -o '\<(1?[0-9]{0,2}|2[0-5]{0,2})(\.(1?[0-9]{0,2}|2[0-5]{0,2})){3}\>'

Image 028.png

1、用正則表達式表示IP地址
   \<(1?[0-9]{0,2}|2[0-5]{0,2})(\.(1?[0-9]{0,2}|2[0-5]{0,2})){3}\>
2、用正則表達式表示手機號
   egrep -o "^\<[3578][0-9]{9}\>"
3、用正則表達式表示身份證號碼
   egrep "\<((1[1-5])|(2[1-3])|(1-7)|(4[1-6])|(5[0-4])(6[1-5])|(71|81|82)([0-9]){4}(19|20)(0-9){2((0[1-9])|1[0-2]))(0[1-9]|(0-9)|(0-9)|(3[0-1]))(0-9){3}([0-9]|X)\>"
4、用正則表達式表示郵箱
   egrep "\<([[:alnum]]+(-|_)*[[:alnum:]]*)\>@([[:lower:]]|[[:digit:]])+\.[[:lower:]]*(\.[[:lower:]])*"

原創文章,作者:anonymous,如若轉載,請注明出處:http://www.www58058.com/31974

(0)
anonymousanonymous
上一篇 2016-08-11
下一篇 2016-08-11

相關推薦

  • 程序包管理與編譯安裝詳解

    (注:內容太多,容納不下,編譯安裝apache單獨成文) 一、程序包管理工具 不同的發行版采用的管理工具不盡相同:               debian: 程序文件以deb結尾,包管理器為dpkg    &…

    Linux干貨 2016-08-24
  • Linux的文本處理工具之sed的使用

    Sed文本處理工具 一、認識sed工具: sed是一種流編輯器,一次處理一行內容。當進行處理時,把當前處理的行存儲在臨時的緩沖區中(俗稱“模式空間”)后,再用sed命令去處理緩沖區的內容,最后把處理過的緩沖區內容送往屏幕打印顯示。接著處理下一行,不斷重復進行讀取、處理、輸出,直到文件末尾。  注:sed命令處理文本,文件內容本身并沒有改變,除非你使…

    Linux干貨 2016-08-10
  • vim文本編輯器練習

    1、復制/etc/profile至/tmp/目錄,用查找替換命令刪除/tmp/profile文件中的行首的空白字符? :%s@^[[:space:]]\+@@gc   2、復制/etc/rc.d/init.d/functions文件至/tmp目錄,用查找替換命令為/tmp/functions的每行開頭為空白字符的行的行首添加一個#號? :%s@^[…

    Linux干貨 2016-08-12
  • 關于touch/>/>>創建同名文件的總結

    一、簡介 1、touch     即創建文件或修改文件時間     語法:touch [options] file-list 2、>     創建文件,可直接把內容生成到指定文件,會覆蓋源文件中的內容;也可以直接生成一個空白文件。     語法:> file…

    2017-02-18
  • hadoop安全模式

    hadoop安全模式在分布式文件系統啟動的時候,開始的時候會有安全模式,當分布式文件系統處于安全模式的情況下,文件系統中的內容不允許修改也不允許刪除,直到安全模式結束。安全模式主要是為了系統啟動的時候檢查各個DataNode上數據塊的有效性,同時根據策略必要的復制或者刪除部分數據塊。運行期通過命令也可以進入安全模式。在實踐過程中,系統啟動的時候去修改和刪除文…

    Linux干貨 2015-04-13
  • N25_第二周

    Linux文件管理類命令 cp命令:copy 源文件;目標文件; 單源復制:cp [OPTION]… [-T] SOURCE DEST 多源復制:cp [OPTION]… SOURCE… DIRECTORY | ????? cp [OPTION]… -t DIRECTORY SOURCE……

    Linux干貨 2016-12-11
欧美性久久久久