Linux中分析文本工具

一、收集文本統計數據wc

wc命令用來計算數字。利用wc指令我們可以計算文件的Byte數、字數或是列數,若不指定文件名稱,或是所給予的文件名為“-”,則wc指令會從標準輸入設備讀取數據,且不改變原始數據。

例如;

可以對文件或STDIN中的數據運行

$wcstory.txt

39   237   1901 story.txt

行數 字數  字符數

格式:cut [OPTION]… [FILE]…

選項:

使用-l來只計數行數

使用-w來只計數單詞總數

使用-c來只計數字節總數

使用-m來只計數字符總數

ctrl –d 終止輸入,把文本數據統計出來

二、文本排序sort

sort命令是在Linux里非常有用,它將文件進行排序,并將排序結果標準輸出。sort命令既可以從特定的文件,也可以從stdin中獲取輸入,不改變原始文件。

格式:sort[options]file(s)

選項:

-r執行反方向(由上至下)整理

-n執行按數字大小整理

-f選項忽略(fold)字符串中的字符大小寫

-u選項(獨特,unique)刪除輸出中的重復行

-t c選項使用c做為字段界定符

-k X選項按照使用c字符分隔的X列來整理能夠使用多次

指定:作為分隔符第三列按照從大到小排列

3.png

三、文本排序uniq

uniq命令:從輸入中刪除重復的前后相接的行

格式:uniq[OPTION]… [FILE]…

選項:

-c: 顯示每行重復出現的次數;

-d: 僅顯示重復過的行;

-u: 僅顯示不曾重復的行;

連續且完全相同方為重復

常和sort 命令一起配合使用:

sort userlist.txt | uniq-c

例如:

4.png

四、比較文件diff

diff命令在最簡單的情況下,比較給定的兩個文件的不同


表示file1和file2第三行file2文件中多了546hfbjhf

1.png


diff命令的輸出被保存在一種叫做“補丁”的文件中

使用-u選項來輸出“統一的(unified)”diff格式文件,最適用于補丁文件。


五、復制對文件改變patch

patch命令被用于為開放源代碼軟件安裝補丁程序。讓用戶利用設置修補文件的方式,修改,更新原始文件。如果一次僅修改一個文件,可直接在命令列中下達指令依序執行。如果配合修補文件的方式則能一次修補大批文件,這也是Linux系統核心的升級方法之一。


patch命令復制在其它文件中進行的改變(要謹慎使用?。?/strong>

適用-b選項來自動備份改變了的文件

$diff-ufoo.conf-brokenfoo.conf-works>foo.patch

$patch-bfoo.conf-brokenfoo.patch


例如:用patch來恢復文件

恢復f2文件的時候文件名變成f1,原有的f1文件自動備份命名為.orig結尾的文件

2.png

六、練習

1、找出ifconfig命令結果中本機的所有IPv4地址

3.png

2、查出分區空間使用率的最大百分比值

4.png

3、查出用戶UID最大值的用戶名、UIDshell類型

5.png

4、查出/tmp的權限,以數字方式顯示

6.png

5、統計當前連接本機的每個遠程主機IP的連接數,并按從大到小排序

7.png

6、統計/etc/init.d/functions每個單詞出現的字數

8.png





原創文章,作者:xiaoqing,如若轉載,請注明出處:http://www.www58058.com/30535

(1)
xiaoqingxiaoqing
上一篇 2016-08-07
下一篇 2016-08-08

相關推薦

  • 用“逐步排除”的方法定位Java服務線上“系統性”故障

    一、摘要 由 于硬件問題、系統資源緊缺或者程序本身的BUG,Java服務在線上不可避免地會出現一些“系統性”故障,比如:服務性能明顯下降、部分(或所有)接口超 時或卡死等。其中部分故障隱藏頗深,對運維和開發造成長期困擾。筆者根據自己的學習和實踐,總結出一套行之有效的“逐步排除”的方法,來快速定位Java 服務線上“系統性”故障。 二、導言 Java 語言是廣…

    2015-02-28
  • ?Nginx

    Nginx 概述 yum安裝Nginx 編譯安裝Nginx 主要文件路徑 主配置文件nginx.conf main block:全局配置段 http/https 協議相關配置段 性能優化初步 調試、定位問題的配置 events段配置 worker、method、accept_mutex http協議相關配置段 虛擬主機 基于PORT、IP、Server Na…

    Linux干貨 2016-10-24
  • user相關的一些命令及用法

    前言            我們知道,當我們進入一家公司做運維方面的工作的時候,我們需要對公司的服務器進行監控管理,換句話說,我們需要一個身份來操作服務器。那么我們又知道,linux系統下擁有最高權限的管理員是Root,它無所不能,無所畏懼,那么公司肯定就是不會把這個賬戶交給你使用。那么就引出一個概…

    2017-07-22
  • iptables之froward

    先克隆一臺centos服務器添加虛擬網卡 同時兩個服務器配上host only的網卡 echo 1 > /proc/sys/net/ipv4/ip_forward打開網卡間轉發 有回包 但是沒有10.0.0.3還是沒有ping通原因是192.168.68.134 的網關指向了192.168.68.2 而不是192.168.68.144添加一條指向192…

    2017-11-12
  • 數組和變量之間的關系及如何靈活運用數組

    什么是數組?數組:存儲多個元素的連續的內存空間,相當于多個變量的集合什么是變量? 變量即是存儲單個元素的內存空間 如果整個數組只有一個名字;數組名是數組的標識;也是數組所指向的存儲多個元素的連續的內存空間開始地址的標識;數組索引定義從 0 開始(第一個數組元素);到 N 結束引用某個數組元素時,數組名+【索引】格式:${ARRAY_NAM…

    Linux干貨 2017-05-22
  • 6、vim編輯和查找和特殊權限

    http://note.youdao.com/yws/public/redirect/share?id=dd29f6f6ad717181cdd6d01bbf8db554&type=false

    Linux干貨 2016-08-08
欧美性久久久久