進程和計劃任務

進程和計劃任務

進程概念

內核的功用：進程管理、文件系統、網絡功能、內存管理、驅動程序、安全功能等

Process: 運行中的程序的一個副本，是被載入內存的一個指令集合

進程ID（Process ID，PID）號碼被用來標記各個進程

UID、GID、和SELinux語境決定對文件系統的存取和訪問權限，通常從執行進程的用戶來繼承

存在生命周期

task struct：Linux內核存儲進程信息的數據結構格式

task list：多個任務的的task struct組成的鏈表

進程創建：

init：第一個進程

父子關系

進程：都由其父進程創建，CoW寫時復制

fork()生成子進程, clone()生成子進程和兄弟進程

程序為靜態文件，進程是程序被調用時動態的動作，每個進程對應一個程序，每個程序對應多個進程

進程優先級：

系統優先級：數字越小，優先級越高

0-139（CentOS4,5）

各有140個運行隊列和過期隊列

0-98，99（CentOS6）

實時優先級: 99-0 值最大優先級最高

nice值：-20到19，對應系統優先級100-139或99

Big O：時間復雜度，用時和規模的關系

O(1)恒定, O(logn), O(n)線性, O(n^2)拋物線, O(2^n)

進程內存：

Page Frame: 頁框，用存儲頁面數據，存儲Page 4k

LRU：Least Recently Used 近期最少使用算法,釋放內存

物理地址空間和線性地址空間

MMU：Memory Management Unit負責轉換線性和物理地址

TLB:Translation Lookaside Buffer 翻譯后備緩沖器,用于保存虛擬地址和物理地址

映射關系的緩存

IPC: Inter Process Communication

同一主機: signal:信號

shm: shared memory：共享內存空間

semaphore:信號量，一種計數器

不同主機：socket: IP和端口號

RPC: remote procedure call

MQ：消息隊列，Kafka，ActiveMQ

進程狀態

Linux內核：搶占式多任務

進程類型：

守護進程: daemon,在系統引導過程中啟動的進程，和終端無關進程

前臺進程：跟終端相關，通過終端啟動的進程

注意：兩者可相互轉化

進程狀態：

運行態：running

就緒態：ready

睡眠態：

可中斷：interruptable

不可中斷：uninterruptable

停止態：stopped,暫停于內存，但不會被調度，除非手動啟動

僵死態：zombie，結束進程，父進程結束前，子進程不關閉

進程的分類：

CPU-Bound：CPU密集型，非交互

IO-Bound：IO密集型，交互

ps命令默認查看的是進程的快照狀態，只顯示當前終端的進程

TIME表示消耗CPU的總時長

VSZ系統承諾給該進程的內存資源(最大可以給多少)

RSS系統實際給該進程的內存資源

PPID父進程ID

支持三種選項：

UNIX選項 如-A -e

BSD選項 如a

GNU選項 如–help

選項：默認顯示當前終端中的進程

a 選項包括所有終端中的進程

x 選項包括不鏈接終端的進程

u 選項顯示進程所有者的信息

f 選項顯示進程樹,相當于 –forest

k|–sort 屬性 對屬性排序,屬性前加- 表示倒序

o 屬性… 選項顯示定制的信息 pid、cmd、%cpu、%mem(內存)

L 顯示支持的屬性列表

euid：有效的uid

ruid：真實生效的uid

euser：有效的用戶

ruser：真實生效的用戶

-C cmdlist 指定命令，多個命令用，分隔

-L 顯示線程

-e: 顯示所有進程，相當于-A

-f: 顯示完整格式程序信息

-F: 顯示更完整格式的進程信息

-H: 以進程層級格式顯示進程相關信息

-u userlist 指定有效的用戶ID或名稱euser

-U userlist 指定真正的用戶ID或名稱ruser

-g gid或groupname 指定有效的gid或組名稱

-G gid或groupname 指定真正的gid或組名稱

-p pid 顯示指pid的進程

–ppid pid 顯示屬于pid的子進程

-M 顯示SELinux信息，相當于Z

VSZ: Virtual memory SiZe，虛擬內存集，線性內存

RSS: ReSident Size, 常駐內存集

STAT：進程狀態

R：running

S: interruptable sleeping

D: uninterruptable sleeping

T: stopped

Z: zombie

+: 前臺進程

l: 多線程進程

L：內存分頁并帶鎖

N：低優先級進程

<: 高優先級進程

s: session leader，會話（子進程）發起者

ni: nice值

pri: priority 優先級

psr: processor CPU編號

rtprio: 實時優先級

示例：

ps axo pid,cmd,psr,ni,pri,rtprio

常用組合：

aux

-ef

-eFH

-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm

axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

進程優先級調整：

靜態優先級：100-139

進程默認啟動時的nice值為0，優先級為120

只有根用戶才能降低nice值（提高優先性）

nice命令：

nice [OPTION] [COMMAND [ARG]…]

renice命令：

renice [-n] priority pid…

查看：

ps axo pid,comm,ni

搜索進程

最靈活：ps 選項 | 其它命令

按預定義的模式：pgrep(支持正則)

pgrep [options] pattern

-u uid: effective user，生效者

-U uid: real user，真正發起運行命令者

-t terminal: 與指定終端相關的進程

-l: 顯示進程名

-a: 顯示完整格式的進程名

-P pid: 顯示指定進程的子進程

按確切的程序名稱：/sbin/pidof

pidof bash

進程管理工具

top：有許多內置命令：

排序：

P：以占據的CPU百分比,%CPU

M：占據內存百分比,%MEM

T：累積占據CPU時長,TIME+

首部信息顯示：

uptime信息：l命令

tasks及cpu信息：t命令

cpu分別顯示：1 (數字)

memory信息：m命令

退出命令：q

修改刷新時間間隔：s

終止指定進程：k

保存文件：W

欄位信息簡介

us：用戶空間

sy：內核空間

ni：調整nice時間

id：空閑

wa：等待IO時間

hi：硬中斷

si：軟中斷（模式切換）

st：虛擬機偷走的時間

選項：

-d #: 指定刷新時間間隔，默認為3秒

-b: 全部顯示所有進程

-n #: 刷新多少次后退出

htop命令：EPEL源

選項：

-d #: 指定延遲時間；

-u UserName: 僅顯示指定用戶的進程

-s COLUME: 以指定字段進行排序

子命令：

s: 跟蹤選定進程的系統調用

l: 顯示選定進程打開的文件列表

a：將選定的進程綁定至某指定CPU核心

t: 顯示進程樹

內存工具

內存空間使用狀態：

free [OPTION]

-b 以字節為單位

-m 以MB為單位

-g 以GB為單位

-h 易讀格式

-o 不顯示-/+buffers/cache行

-t 顯示RAM + swap的總和

-s n 刷新間隔為n秒

-c n 刷新n次后即退出

/proc/sys/vm/drop_caches

 

vmstat命令：虛擬內存信息

vmstat [options] [delay [count]]

vmstat 2 5

bi：讀磁盤；bo：寫磁盤；si：讀交換分區；so寫交換分區

procs:

r：可運行（正運行或等待運行）進程的個數，和核心數有關

b：處于不可中斷睡眠態的進程個數(被阻塞的隊列的長度)

memory：

swpd: 交換內存的使用總量

free：空閑物理內存總量

buffer：用于buffer的內存總量

cache：用于cache的內存總量

swap:

si：從磁盤交換進內存的數據速率(kb/s)

so：從內存交換至磁盤的數據速率(kb/s)

io：

bi：從塊設備讀入數據到系統的速率(kb/s)

bo: 保存數據至塊設備的速率

system：

in: interrupts 中斷速率，包括時鐘

cs: context switch 進程切換速率

cpu：

us:Time spent running non-kernel code

sy: Time spent running kernel code

id: Time spent idle. Linux 2.5.41前,包括IO-wait time.

wa: Time spent waiting for IO. 2.5.41前，包括in idle.

st: Time stolen from a virtual machine. 2.6.11前, unknown.

選項：

-s: 顯示內存的統計數據

iostat:統計CPU和設備IO信息

示例：iostat 1 10

pmap命令：進程對應的內存映射

pmap [options] pid […]

-x: 顯示詳細格式的信息

示例：pmap 1

Dirty：臟數據，需要修改還未修改的數據

另外一種實現：

cat /proc/PID/maps

系統監控工具

glances命令：EPEL源

 

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] [-

t refresh] [-f file] [-o output]

內建命令：

a Sort processes automatically?? l Show/hide logs

c Sort processes by CPU%?????????? b Bytes or bits for network I/O

m Sort processes by MEM%??????? w Delete warning logs

p Sort processes by name?????????? x Delete warning and critical logs

i Sort processes by I/O rate???????? 1 Global CPU or per-CPU stats

d Show/hide disk I/O stats????????? h Show/hide this help screen

f Show/hide file system stats???????????? t View network I/O as combination

n Show/hide network stats???????? u View cumulative network I/O

s Show/hide sensors stats ???????? q Quit (Esc and Ctrl-C also work)

y Show/hide hddtemp stats

常用選項：

-b: 以Byte為單位顯示網卡數據速率

-d: 關閉磁盤I/O模塊

-f /path/to/somefile: 設定輸入文件位置

-o {HTML|CSV}：輸出格式

-m: 禁用mount模塊

-n: 禁用網絡模塊

-t #: 延遲時間間隔

-1：每個CPU的相關數據單獨顯示

C/S模式下運行glances命令

服務器模式：

glances -s -B IPADDR

IPADDR: 指明監聽的本機哪個地址

客戶端模式：

glances -c IPADDR

IPADDR：要連入的服務器端地址

dstat命令：系統資源統計,代替vmstat,iostat

dstat [-afv] [options..] [delay [count]]

-c: 顯示cpu相關信息

-C #,#,…,total

-d: 顯示disk相關信息

-D total,sda,sdb,…

-g：顯示page相關統計數據

-m: 顯示memory相關統計數據

-n: 顯示network相關統計數據

-p: 顯示process相關統計數據

-r: 顯示io請求相關的統計數據

-s: 顯示swapped相關的統計數據

–tcp

–udp

–unix

–raw

–socket

–ipc

–top-cpu：顯示最占用CPU的進程

–top-io: 顯示最占用io的進程

–top-mem: 顯示最占用內存的進程

–top-latency: 顯示延遲最大的進程

iotop

iotop命令是一個用來監視磁盤I/O使用狀況的top類工具iotop具有與top相似的UI，其中包括PID、用戶、I/O、進程等相關信息，可查看每個進程是如何使用IO

iotop輸出

第一行：Read和Write速率總計

第二行：實際的Read和Write速率

第三行：參數如下：

線程ID（按p切換為進程ID）

優先級

用戶

磁盤讀速率

磁盤寫速率

swap交換百分比

IO等待所占的百分比

線程/進程命令

iotop常用參數

-o, –only只顯示正在產生I/O的進程或線程，除了傳參，可以在運行過程中按o生效

-b, –batch非交互模式，一般用來記錄日志

-n NUM, –iter=NUM設置監測的次數，默認無限。在非交互模式下很有用

-d SEC, –delay=SEC設置每次監測的間隔，默認1秒，接受非整形數據例如1.1

-p PID, –pid=PID指定監測的進程/線程

-u USER, –user=USER指定監測某個用戶產生的I/O

-P, –processes僅顯示進程，默認iotop顯示所有線程

-a, –accumulated顯示累積的I/O，而不是帶寬

-k, –kilobytes使用kB單位，而不是對人友好的單位。在非交互模式下，腳本編程有用

iotop常用參數和快捷鍵

-t, –time 加上時間戳，非交互非模式

-q, –quiet 禁止頭幾行，非交互模式，有三種指定方式

-q 只在第一次監測時顯示列名

-qq 永遠不顯示列名

-qqq 永遠不顯示I/O匯總

交互按鍵

left和right方向鍵：改變排序

r：反向排序

o：切換至選項–only

p：切換至–processes選項

a：切換至–accumulated選項

q：退出

i：改變線程的優先級

kill命令：

向進程發送控制信號，以實現對進程管理,每個信號對應一個數字，信號名稱以SIG開頭（可省略），不區分大小寫

顯示當前系統可用信號： kill –l,trap -l

常用信號：man 7 signal

1) SIGHUP: 無須關閉進程而讓其重讀配置文件

2) SIGINT: 中止正在運行的進程；相當于Ctrl+c

3) SIGQUIT:相當于ctrl+\

9) SIGKILL: 強制殺死正在運行的進程

15) SIGTERM：終止正在運行的進程

18) SIGCONT：繼續運行

19) SIGSTOP：后臺休眠

指定信號的方法：

(1) 信號的數字標識：1, 2, 9

(2) 信號完整名稱：SIGHUP (3) 信號的簡寫名稱：HUP

按PID：kill [-SIGNAL] pid …

kill –n SIGNAL pid;kill –s SIGNAL pid

按名稱：killall [-SIGNAL] comm…

按模式：pkill [options] pattern

-SIGNAL

-u uid: effective user，生效者

-U uid: real user，真正發起運行命令者

-t terminal: 與指定終端相關的進程

-l: 顯示進程名（pgrep可用）

-a: 顯示完整格式的進程名（pgrep可用）

-P pid: 顯示指定進程的子進程

作業管理

Linux的作業控制

前臺作業：通過終端啟動，且啟動后一直占據終端；

后臺作業：可通過終端啟動，但啟動后即轉入后臺運行（釋放終端）

讓作業運行于后臺

(1) 運行中的作業： Ctrl+z

(2) 尚未啟動的作業： COMMAND &

后臺作業雖然被送往后臺運行，但其依然與終端相關；退出終端，將關閉后臺作業。如果希望送往后臺后，剝離與終端的關系

nohup COMMAND &>/dev/null &

screen;COMMAND

查看當前終端所有作業：jobs

作業控制：

fg [[%]JOB_NUM]：把指定的后臺作業調回前臺

bg [[%]JOB_NUM]：讓送往后臺的作業在后臺繼續運行

kill [%JOB_NUM]： 終止指定的作業

并行運行

同時運行多個進程，提高效率

方法1

vi all.sh

f1.sh&

f2.sh&

f3.sh&

方法2

(f1.sh&);(f2.sh&);(f3.sh&)

方法3

{ f1.sh& f2.sh& f3.sh& }

任務計劃

Linux任務計劃、周期性任務執行

未來的某時間點執行一次任務

at

batch：系統自行選擇空閑時間去執行此處指定的任務

周期性運行某任務

cron

at任務

包：at

at命令：at [option] TIME

常用選項：

-V 顯示版本信息:

-l: 列出指定隊列中等待運行的作業；相當于atq

-d: 刪除指定的作業；相當于atrm

-c: 查看具體作業任務

-f /path/from/somefile：從指定的文件中讀取任務

-m:當任務被完成之后，將給用戶發送郵件，即使沒有標準輸出

注意：作業執行命令的結果中的標準輸出和錯誤以郵件通知給相關用戶

TIME:定義出什么時候進行 at 這項任務的時間

HH:MM [YYYY-mm-dd]

noon, midnight, teatime（4pm）

tomorrow

now+#{minutes,hours,days, OR weeks}

at時間格式

HH:MM 02:00

在今日的 HH:MM 進行，若該時刻已過，則明天此時執行任務

HH:MM YYYY-MM-DD 02:00 2016-09-20

規定在某年某月的某一天的特殊時刻進行該項任務

HH:MM[am|pm] [Month] [Date]

04pm March 17

17:20 tomorrow

HH:MM[am|pm] + number [minutes|hours|days|weeks]

在某個時間點再加幾個時間后才進行該項任務

now + 5 minutes

02pm + 3 days

at任務

執行方式：

1）交互式 2）輸入重定向 3）at –f 文件

依賴與atd服務,需要啟動才能實現at任務

at隊列存放在/var/spool/at目錄中

/etc/at.{allow,deny}控制用戶是否能執行at任務

白名單：/etc/at.allow 默認不存在，只有該文件中的用戶才能執行at命令

黑名單：/etc/at.deny 默認存在，拒絕該文件中用戶執行at命令，而沒有在

如果把黑/白名單文件都刪除，就只有root用戶有計劃任務執行權限

at.deny 文件中的使用者則可執行

如果兩個文件都不存在，只有 root 可以執行 at 命令

周期性任務計劃cron

相關的程序包：

cronie: 主程序包，提供crond守護進程及相關輔助工具

cronie-anacron：cronie的補充程序，用于監控cronie任務執行狀況，如

cronie中的任務在過去該運行的時間點未能正常運行，則anacron會隨后啟動一次此任務

crontabs：包含CentOS提供系統維護任務

計劃任務

確保crond守護處于運行狀態：

CentOS 7:

systemctl status crond

CentOS 6:

service crond status

計劃周期性執行的任務提交給crond，到指定時間會自動運行

系統cron任務：系統維護作業

/etc/crontab

用戶cron任務：

crontab命令

日志：/var/log/cron

計劃任務

系統cron任務:/etc/crontab

注釋行以 # 開頭

詳情參見 man 5 crontab

# Example of job definition:

# .—————- minute (0 – 59)幾分鐘

# | .————- hour (0 – 23)幾小時

# | | .———- day of month (1 – 31)幾天

# | | | .——- month (1 – 12) OR jan,feb,mar,apr …幾月

# | | | | .—- day of week (0 – 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat星期幾

# | | | | |

# 分鐘 小時 天 月 星期 user-name command to be executed

時間表示法：

(1) 特定值

給定時間點有效取值范圍內的值

(2) *

給定時間點上有效取值范圍內的所有值

表示“每…”

(3) 離散取值

#,#,#

(4) 連續取值

#-#

(5) 在指定時間范圍上，定義步長

/#: #即為步長

時間格式

@reboot： Run once after reboot

語法錯誤時：reboot root reboot的解決方案

cetos7

開機時選中默認內核摁e

在linux16行尾加rd.break Ctrl＋x

mount -o remount.rw /sysroot

vi /sysroot/etc/crontab

cetos6

開機時選中默認內核摁a空格1回車

進系統再改一下etc/crontab

@yearly： 0 0 1 1 *

@annually： 0 0 1 1 *

@monthly ：0 0 1 * *

@weekly： 0 0 * * 0

@daily： 0 0 * * *

@hourly： 0 * * * *

系統的計劃任務:

/etc/crontab

/etc/cron.d/ 配置文件

/etc/cron.hourly/ 腳本

/etc/cron.daily/ 腳本

/etc/cron.weekly/ 腳本

/etc/cron.monthly/ 腳本

用戶計劃任務

crontab命令定義

每個用戶都有專用的cron任務文件： /var/spool/cron/USERNAME

crontab命令：

crontab [-u user] [-l | -r | -e] [-i]

-l: 列出所有任務

-e: 編輯任務

-r: 移除所有任務

-i：同-r一同使用，以交互式模式移除指定任務

-u user: 僅root可運行，指定用戶管理cron任務

控制用戶執行計劃任務：

/etc/cron.{allow,deny}

一次性作業使用 at

重復性作業使用crontab

沒有被重定向的輸出會被郵寄給用戶

根用戶能夠修改其它用戶的作業

注意：運行結果的標準輸出和錯誤以郵件通知給相關用戶

(1) COMMAND > /dev/null

(2) COMMAND &> /dev/null

對于cron任務來講，%有特殊用途；如果在命令中要使用%，則需要轉義，將%放置于單引號中，則可不用轉義