進程管理的總結

進程相關概念：

Process: 運行中的程序的一個副本，是被載入內存的一個指令集合。進程是程序的基本執????????????????????? 行實體；程序是指令、數據及其組織形式的描述，進程是程序的實體

Process ID：進程的標記號碼

task struct：Linux內核存儲進程信息的數據結構格式

task list：多個任務的的task struct組成的鏈表

進程內存：

Page Frame：頁框，用存儲頁面數據，存儲Page 4k（給進程分配的內存空間）

物理地址空間和線性地址空間

MMU：Memory Management Unit負責轉換線性和物理地址（內存管理單元）????????????????????????????????????????????????????????????? ???????????????????????????????????? cpu物理設備

TLB：Translation Lookaside Buffer 翻譯后備緩沖器,用于保存虛擬地址和物理地址???????????????????????????????????????????????????????? ??????????????????????????? 映射關系的緩存

IPC: Inter Process Communication 進程間通信

同一主機: signal:信號

shm: shared memory 共享內存

semaphore:信號量，一種計數器 也叫進程鎖

不同主機：socket: IP和端口號

RPC: remote procedure call 遠程過程調用（socket實現）

MQ ：消息隊列，Kafka ，ActiveMQ

LRU算法

LRU ：Least Recently Used 近期最少使用算法,釋放內存

init（systemd）：Linux的第一個進程

進程的特點

一般情況 進程存在生命周期

進程由父進程創建或系統調用創建;systen call API 調用fock()函數，clone()函數。

進程存在父子關系、

進程有優先級之分：系統進程優先級：數字越小，優先級越高

實時進程優先級：數字越大，優先級越高

nice值：-20到19，數字越小，優先級越高

只有根用戶才能調整優先級

進程有五種狀態:

創建狀態：進程在創建時需要申請一個空白PCB(進程控制塊)，向其中填寫控制和管理進程??????????? 的信息，完成資源分配

就緒狀態：進程已經準備好，已分配到所需資源，只要分配到CPU就能夠立即運行

執行狀態：進程處于就緒狀態被調度后，進程進入執行狀態

阻塞狀態：正在執行的進程由于某些事件（I/O請求，申請緩存區失?。┒鴷簳r無法運行，進程受到阻塞。在滿足請求時進入就緒狀態等待系統調用

終止狀態：進程結束，或出現錯誤，或被系統終止，進入終止狀態。無法再執行

進程優先級的算法：

LRU算法

Linux內核：搶占式多任務

進程類型：

守護進程: daemon,在系統引導過程中啟動的進程，和終端無關進程

前臺進程：跟終端相關，通過終端啟動的進程 注意：兩者可相互轉化

進程狀態：

運行態：running

就緒態：ready

睡眠態：

可中斷：interruptable

不可中斷：uninterruptable

停止態：stopped,暫停于內存，但不會被調度，除非手動啟動

僵死態：zombie ，結束進程，父進程結束前，子進程不關閉

進程的管理工具

Linux系統各進程的相關信息均保存在/proc/PID目錄下的各文件中

pstree,???? display a tree of processes 顯示進程樹

pstree [OPTIONS] [PID,USER]

選項：

-p, –show-pids???? show PIDs; implies -c 顯示進程和PID

-p,user??????????????????????? 顯示某個用戶啟用的進程

-s,pid?????????????????????????? 顯示當前父進程

-ps,pid ????????????????????? ?顯示pid進程的父子鏈路關系

-H,pid????????????????????????? 高亮顯示

{線程}：，是程序執行流的最小單元。線程是進程中的一個實體，是被系統獨立調度和分派的基本單位，線程自己不擁有系統資源，只擁有一點兒在運行中必不可少的資源，但它可與同屬一個進程的其它線程共享進程所擁有的全部資源。一個標準的線程由線程ID，當前指令指針(PC），寄存器集合和堆棧組成。另外，一個線程可以創建和撤消另一個線程，同一進程中的多個線程之間可以并發執行。由于線程之間的相互制約，致使線程在運行中呈現出間斷性。線程也有就緒、阻塞和運行三種基本狀態。就緒狀態是指線程具備運行的所有條件，邏輯上可以運行，在等待處理機；運行狀態是指線程占有處理機正在運行；阻塞狀態是指線程在等待一個事件（如某個信號量），邏輯上不可執行。每一個程序都至少有一個線程，若程序只有一個線程，那就是程序本身。

線程是程序中一個單一的順序控制流程。進程內一個相對獨立的、可調度的執行單元，是系統獨立調度和分派CPU的基本單位指運行中的程序的調度單位。在單個程序中同時運行多個線程完成不同的工作，稱為多線程。

 

ps,??? report a snapshot of the current processes 查看當前進程

ps支持三種格式的選項：Unix風格 -A -e

BSD風格 a

GNU/Linux 風格 –a –help

選項：默認顯示當前終端中的進程

a??? 選項包括所有終端中的進程

x??? 選項包括不鏈接終端的進程

u??? 選項顯示進程所有者的信息

f??? 選項顯示進程樹,相當于 –forest

k|–sort? 屬性 對屬性排序,屬性前加- 表示倒序

o??? 屬性… 選項顯示定制的信息 pid、cmd、%cpu、%mem

L 顯示支持的屬性列表

常用選項有這些：

-C：cmdlist 程序名，某個程序對應的進程信息

-L：顯示線程

-e: 顯示所有進程，相當于-A

-f: 顯示完整格式程序信息

-F: 顯示更完整格式的進程信息

-H: 以進程層級格式顯示進程相關信息

-u： userlist? 指定有效的用戶ID或名稱

-U：userlist 指定真正的用戶ID或名稱

-g：gid或groupname??????????? 指定有效的gid或組名稱

-G：gid或groupname???? ????????指定真正的gid或組名稱

-p： pid 顯示指pid的進程

–ppid：pid? 顯示屬于pid的子進程

-M? 顯示SELinux信息，相當于Z

常用組合有這些：aux

-ef

-eFH

-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm

axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

ps的輸出屬性是這樣的：

USER:用戶信息

PID：進程號

PPID：父進程的ID號

%CPU：進程所占用CPU時間片與CPU空閑時間片的百分比

C: 進程所占用CPU時間片與CPU空閑時間片的百分比

PSR：CPU核心上跑的進程

%MEM：進程所占用的內存空間與總空間的大小的百分比

VSZ:：Virtual memory SiZe ，虛擬內存集，線性內存

TTY：進程占用的終端號，也有非占用終端的進程 (?)

RSS:：ReSident Size, 常駐內存集

STAT ：進程狀態

R ：running 運行態

S: interruptable sleeping 可中斷的睡眠態

D: uninterruptable sleeping不可中斷的睡眠態

T: stopped 停止態

Z: zombie 僵尸態

+: 前臺進程

l: 多線程進程

L ：內存分頁并帶鎖

N ：低優先級進程

<: 高優先級進程

s: session leader ，會話（子進程）發起者

START：進程啟動的時間和日期

TIME：進程使用的所有CPU時間

COMMAND：發起進程的命令

PS實例：

查詢你擁有的所有進程：

ps -x

顯示指定用戶名(RUID)或用戶ID的進程：

ps -fU apache

ps -fu 48

顯示指定用戶名(EUID)或用戶ID的進程：

ps -fu wang

ps -fu 1000

查看以root用戶權限（實際和有效ID ）運行的每個進程：

ps -U root -u root

列出某個組擁有的所有進程（實際組ID ：RGID或名稱）：

ps -fG nginx

列出有效組名稱（或會話）所擁有的所有進程：

ps -fg mysql

ps -fG 27

通過進程ID來顯示所屬的進程：

ps -fp 1234

以父進程ID來顯示其下所有的進程，如顯示父進程為1154的

所有進程：

ps -f –ppid 1234

顯示指定PID的多個進程：

ps -fp 1204,1239,1263

要按tty顯示所屬進程:

ps -ft pst/0

以進程樹顯示系統中的進程如何相互鏈接:

ps -e –forest

以進程樹顯示指定的進程：

ps -f –forest -C sshd

ps -ef –forest | grep -v grep | grep sshd

要顯示一個進程的所有線程,將顯示LWP （輕量級進程）以及NLWP （輕量級進程數） 列:

ps -fL -C nginx

要列出所有格式說明符:

ps L

查看進程的PID ，PPID ，用戶名和命令：

ps -eo pid,ppid,user,cmd

自定義格式顯示文件系統組,ni值開始時間和進程的時間：

ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime

使用其PID查找進程名稱：

ps -p 1244 -o comm=

要以其名稱選擇特定進程，顯示其所有子進程

ps -C sshd,bash

查找指定進程名所有的所屬PID ，在編寫需要從std輸出或文件讀取PID的腳本時這個 參數很有用：

ps -C httpd,sshd -o pid=

檢查一個進程的執行時間

ps -eo comm,etime,user | grep nginx

查找占用最多內存和CPU的進程：

ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%mem | head

ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%cpu | head

顯示安全信息：

ps -eM

ps –context

使用以下命令以用戶定義的格式顯示安全信息。

ps -eo euser,ruser,suser,fuser,f,comm,label

使用watch實用程序執行重復的輸出以實現對就程進行實時的監視，如下面的命令顯每????????? 秒鐘的監視：

watch -n 1 ‘ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%mem | head’

 

pidof：find the process ID of a running program. 查找程序進程ID

pidof 進程名

這個命令可以實現監控某一個服務。

實例：

監控httpd服務

如果pidof httpd，沒有返回值，說明進程沒有啟動，則執行restart。如果有值，服務正 常運行。

 

pgrep：pkill – look up or signal processes based on name and other attributes pkill – 根據名稱???????? 和其他屬性查找或發出進程

pgrep [options] pattern

-u uid: effective user ，生效者

-U uid: real user ，真正發起運行命令者

-t terminal: 與指定終端相關的進程

-l: 顯示進程名

-a: 顯示完整格式的進程名

-P pid: 顯示指定進程的子進程

 

top：display Linux tasks 顯示Linux任務信息

top命令 欄位信息簡介

第一欄是uptime命令輸出的格式

us ：用戶空間

sy ：內核空間

ni ：調整nice時間

id ：空閑CPU

wa ：等待IO時間

hi ：硬中斷

si ：軟中斷（模式切換）

st ：虛擬機偷走的時間

top：有許多內置命令：

各個單獨的鍵，實際上是設置top的顯示方式，W可以保存配置。以便下次以同樣的方式開啟。

排序：

P ：以占據的CPU百分比,%CPU

M ：占據內存百分比,%MEM

T ：累積占據CPU時長,TIME+

首部信息顯示：

uptime信息關閉或打開：l字母

tasks及cpu信息顯示方式：t字母

cpu分別顯示：1 (數字)

改變顯示顏色：z 字母

memory信息：m命令

退出命令：q

修改刷新時間間隔：s

終止指定進程：k

保存文件：W

選項：

-d #: 指定刷新時間間隔，默認為3秒

-b: 全部所有進程

-n #: 刷新多少次后退出

 

htop：interactive process viewer 交互式流程式查看器

選項：

-d #: 指定延遲時間；

-u UserName: 僅顯示指定用戶的進程

-s COLUME: 以指定字段進行排序

子命令：

s: 跟蹤選定進程的系統調用

l: 顯示選定進程打開的文件列表

a：將選定的進程綁定至某指定CPU核心

t: 顯示進程樹

strace：跟蹤系統調用和信號

lsof：list open files

lsof ?-i 22 查看某個端口是否被占用

glances：A cross-platform curses-based monitoring tool 跨平臺的curses監控工具

EPEL源

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] ?????????? [-t refresh] [-f file] [-o output]

內建命令：

a? Sort processes automatically?????? l? Show/hide logs

c? Sort processes by CPU%????????????? b? Bytes or bits for network I/O

m? Sort processes by MEM%???????????? w?? Delete warning logs

p? Sort processes by name????????????? x? Delete warning and critical logs

i? Sort processes by I/O rate????????? 1? Global CPU or per-CPU stats

d? Show/hide disk I/O stats??????????? h? Show/hide this help screen

f? Show/hide file system stats???????? t? View network I/O as combination

n? Show/hide network stats???????????? u? View cumulative network I/O

s? Show/hide sensors stats??????????? q? Quit (Esc and Ctrl-C also work)

y? Show/hide hddtemp stats

常用選項：

-b: 以Byte為單位顯示網卡數據速率

-d: 關閉磁盤I/O模塊

-f /path/to/somefile: 設定輸入文件位置

-o {HTML|CSV} ：輸出格式

-m: 禁用mount模塊

-n: 禁用網絡模塊

-t #: 延遲時間間隔

-1 ：每個CPU的相關數據單獨顯示

C/S模式下運行glances命令

服務器模式：

glances -s -B IPADDR

-s 綁定服務器（本機IP）

IPADDR: 指明監聽的本機哪個地址

 

客戶端模式：

glances -c IPADDR

IPADDR ：要連入的服務器端地址

 

pmap：report memory map of a process 報告進程的內存映射

-x 擴展格式顯示

vmstat：Report virtual memory statistics 報告虛擬內存的統計信息

vmstat [options] [delay [count]]

procs: 進程

r ：可運行（正運行或等待運行）進程的個數，和核心數有關

b ：處于不可中斷睡眠態的進程個數(被阻塞的隊列的長度)

memory ：

swpd: 交換內存的使用總量

free ：空閑物理內存總量

buffer ：用于buffer的內存總量

cache ：用于cache的內存總量

swap:

si ：從磁盤交換進內存的數據速率(kb/s)

so ：從內存交換至磁盤的數據速率(kb/s)

io ：

bi ：從塊設備讀入數據到系統的速率(kb/s)

bo: 保存數據至塊設備的速率

system ：

in: interrupts? 中斷速率，包括時鐘

cs: context switch? 進程切換速率

cpu ：

us:Time spent running non-kernel code

sy: Time spent running kernel code

id: Time spent idle. Linux 2.5.41前,包括IO-wait time.

wa: Time spent waiting for IO.? 2.5.41前，包括in idle.

st: Time stolen from a virtual machine.? 2.6.11前, unknown.

選項：

-s: 顯示內存的統計數據

 

iotop命令是一個用來監視磁盤I/O使用狀況的top類工具。

iotop具有與top相似的UI ，其中包括PID、用戶、I/O、進程 等相關信息?？刹榭疵??? 個進程是如何使用IO

iotop輸出

第一行：Read和Write速率總計

第二行：實際的Read和Write速率

第三行：參數如下：

線程ID （按p切換為進程ID ）

優先級

用戶

磁盤讀速率

磁盤寫速率

swap交換百分比

IO等待所占的百分比

線程/進程命令

iotop常用參數

-o, –only只顯示正在產生I/O的進程或線程。除了傳參，可以在運行過程中按o生效。

-b, –batch非交互模式，一般用來記錄日志。

-n NUM, –iter=NUM設置監測的次數，默認無限。在非交互模式下很有用。

-d SEC, –delay=SEC設置每次監測的間隔，默認1秒，接受非整形數據例如1.1。

-p PID, –pid=PID指定監測的進程/線程。

-u USER, –user=USER指定監測某個用戶產生的I/O。

-P, –processes僅顯示進程，默認iotop顯示所有線程。

-a, –accumulated顯示累積的I/O ，而不是帶寬。

-k, –kilobytes使用kB單位，而不是對人友好的單位。在非交互模式下，腳本編程有用

iotop常用參數和快捷鍵

 

-t, –time 加上時間戳，非交互非模式

-q, –quiet 禁止頭幾行，非交互模式，有三種指定方式

-q 只在第一次監測時顯示列名

-qq 永遠不顯示列名

-qqq 永遠不顯示I/O匯總

dstat：versatile tool for generating system resource statistics用于生成系統資源統計的多功?????? 能工具代替vmstat,iostat

dstat [-afv] [options..] [delay [count]]

-c: 顯示cpu相關信息

-C #,#,…,total

-d: 顯示disk相關信息

-D total,sda,sdb,…

-g ：顯示page相關統計數據

-m: 顯示memory相關統計數據

-n: 顯示network相關統計數據

-p: 顯示process相關統計數據

-r: 顯示io請求相關的統計數據

-s: 顯示swapped相關的統計數據

–tcp

–udp

–unix

–raw

–socket

–ipc

–top-cpu ：顯示最占用CPU的進程

–top-io: 顯示最占用io的進程

–top-mem: 顯示最占用內存的進程

–top-latency: 顯示延遲最大的進程

kill：terminate a process 終止一個進程

向進程發送控制信號，以實現對進程管理,每個信號對應一個數字，信號名稱以SIG開頭（可省略），不區分大小寫

顯示當前系統可用信號： kill –l,trap -l

常用信號：man 7 signal

1) SIGHUP: 無須關閉進程而讓其重讀配置文件

2) SIGINT: 中止正在運行的進程；相當于Ctrl+c

3) SIGQUIT:相當于ctrl+\

9) SIGKILL: 強制殺死正在運行的進程

15) SIGTERM ：終止正在運行的進程

18) SIGCONT ：繼續運行

19) SIGSTOP ：后臺休眠

指定信號的方法：

(1) 信號的數字標識：1, 2, 9

(2) 信號完整名稱：SIGHUP

(3) 信號的簡寫名稱：HUP

按PID ：kill [-SIGNAL] pid …

kill –n SIGNAL pid;kill –s SIGNAL pid

按名稱：killall [-SIGNAL]? comm…

按模式：pkill [options] pattern

-SIGNAL

-u uid: effective user ，生效者

-U uid: real user ，真正發起運行命令者

-t terminal: 與指定終端相關的進程

-l: 顯示進程名（pgrep可用）

-a: 顯示完整格式的進程名 （pgrep可用）

-P pid: 顯示指定進程的子進程

pkill：根據名稱和其他屬性查找或發出進程

 

 

 

 

 

進程優先級的理解：

默認情況優先級越高，越是優先執行，也有多個相同級別的優先級，會使用不同的算法進行優化，（LRU算法），這里主要講解nice優先級的相關設置：

每個進程的創建，都會在內核中生成相應的鏈表，存放進程的相關屬性和數據結構。（task struct）。每個進程都有相應的兩個隊列：

一個是 運行隊列

一個是 過期隊列

進程在隊列中來回轉換，獲取CPU時間片，實現系統進程的優先級

調整nice優先級的命令

nice：運行具有修改調度優先級的程序

實例:

nice -5 ping 127.0..0.1

renice：? 改變運行進程的優先級

-n[N][pid]:制定某個運行程序的優先級數字

實例：

renice -n -20 8836

系統工具

uptime

顯示當前時間，系統已啟動的時間、當前上線人數，系統平均負載（1、5、10分鐘的平均負載，一般不會超過1）

系統平均負載:

指在特定時間間隔內運行隊列中的平均進程數

通常每個CPU內核的當前活動進程數不大于3 ，那么系統性能良好。如果每個CPU內核的任務數大于5 ，那么此主機的性能有嚴重問題

如果linux主機是1個雙核CPU ，當Load Average 為6的時候說明機器已經被充分使用

依次顯示為：系統時間，運行時長，當前在線用戶數量和平均負載

Linux作業管理

Linux的作業控制

前臺作業：通過終端啟動，且啟動后一直占據終端；

后臺作業：可通過終端啟動，但啟動后即轉入后臺運行（釋放終端）

讓作業運行于后臺

(1) 運行中的作業：???????????? Ctrl+z

(2) 尚未啟動的作業： COMMAND &

后臺作業雖然被送往后臺運行，但其依然與終端相關；退出終端，將關閉 后臺作業。如果希望送往后臺后，剝離與終端的關系

nohup COMMAND &>/dev/null? &

screen;COMMAND

jobs：查看后臺運行的程序進程

bg{N}：前后臺程序切換 N是數字

fg{N}：將后臺的命令調入前臺，繼續執行 N是數字

kill{N}：終止進程，N是后臺進程的編號

并行任務的執行

一般情況想要并行執行某個作業，有以下三種方法：

方法1

vi all.sh

f1.sh&

f2.sh&

f3.sh&

方法2

(f1.sh&);(f2.sh&);(f3.sh&)

方法3

{ f1.sh& f2.sh& f3.sh& }

信號

信號本質：

軟中斷信號（signal，又簡稱為信號）用來通知進程發生了異步事件。在軟件層次上是對中斷機制的一種模擬，在原理上，一個進程收到一個信號與處理器收到一個中斷請求可以說是一樣的。信號是進程間通信機制中唯一的異步通信機制，一個進程不必通過任何操作來等待信號的到達，事實上，進程也不知道信號到底什么時候到達。進程之間可以互相通過系統調用kill發送軟中斷信號。內核也可以因為內部事件而給進程發送信號，通知進程發生了某個事件。信號機制除了基本通知功能外，還可以傳遞附加信息。

Linux系統中的信號分很多種

kill -l：查看信號

trap：可以捕獲信號，但對-9 信號無效。

trap -l：也可以查看信號

關于信號的幫助信息可以 man 7 signal

 

常用的信號：

1) SIGHUP: 無須關閉進程而讓其重讀配置文件

2) SIGINT: 中止正在運行的進程；相當于Ctrl+c

3) SIGQUIT:相當于ctrl+\

9) SIGKILL: 強制殺死正在運行的進程

15) SIGTERM ：終止正在運行的進程

18) SIGCONT ：繼續運行

19) SIGSTOP ：后臺休眠

指定信號的方法：

(1) 信號的數字標識：1, 2, 9

(2) 信號完整名稱：SIGHUP

(3) 信號的簡寫名稱：HUP

按PID ：

kill [-SIGNAL]? pid …

kill –n SIGNAL pid;kill –s SIGNAL pid

按名稱：

killall [-SIGNAL]? comm…

按模式：

pkill [options] pattern

-SIGNAL

-u uid: effective user ，生效者

-U uid: real user ，真正發起運行命令者

-t terminal: 與指定終端相關的進程

-l: 顯示進程名（pgrep可用）

-a: 顯示完整格式的進程名 （pgrep可用）

-P pid: 顯示指定進程的子進程

后續陸續更新