磁盤及文件系統管理

I/O Ports: I/O設備地址
文件的處理方式：open，read，write，close
設備類型：
    塊設備：block，存取單位“塊”，磁盤
    字符設備：char，存取單位“字符”，鍵盤
設備文件：關聯至一個設備驅動程序，進而能夠跟與之對應硬件設備進行通信
設備號碼：
    主設備號：major number, 標識設備類型
    次設備號：minor number, 標識同一類型下的不同設備

硬盤接口類型
并行：
    IDE：133MB/s
    SCSI：640MB/s
串口：
    SATA：6Gbps
    SAS：6Gbps
    USB：480MB/s
機械硬盤的參數rpm: rotations per minute 轉/分鐘；常見：5400 7200 10000 15000

設備文件
磁盤設備的設備文件命名：/dev/DEV_FILE
IDE: /dev/hd （CentOS5）
IDE: /dev/sd （CentOS6,7）
 虛擬磁盤設備：/dev/vda
SCSI, SATA, SAS, USB: /dev/sd
不同設備：a-z
    /dev/sda, /dev/sdb, …
同一設備上的不同分區：1,2, …
    /dev/sda1, /dev/sda5

硬盤存儲術語
head：磁頭
track：磁道
cylinder: 柱面
secotr: 扇區，512bytes

使用分區空間
設備識別
設備分區
創建文件系統
標記文件系統
在/etc/fstab文件中創建條目
掛載新的文件系統

磁盤分區的作用：
優化I/O性能
實現磁盤空間配額限制
提高修復速度
隔離系統和程序
安裝多個OS

兩種分區方式：MBR，GPT
 MBR: Master Boot Record，1982年，使用32位表示扇區數，分區不超過2T
 按柱面分區
0磁道0扇區：512bytes
    446bytes: boot loader
    64bytes：分區表
    16bytes: 標識一個分區
    2bytes: 55AA
4個主分區；3主分區+1擴展(N個邏輯分區)

GPT分區
GPT:GUID patition table 支持128個分區，使用64位，支持8Z（512Byte/block ）64Z （4096Byte/block）
使用128位UUID 表示磁盤和分區GPT分區表自動備份在頭和尾兩份，并有CRC校驗位
UEFI (統一擴展固件接口)硬件支持GPT

GPT分區結構
EFI部分又可以分為4個區域：EFI信息區(GPT頭)、分區表、GPT分區、備份區域

列出可用的磁盤設備
圖形化磁盤管理功能工具：點擊“應用程序”->“系統工具”->“磁盤”或執行命令gnome-disks

blkid  列出塊設備（創建分區使用）

fdisk創建MBR分區，也支持GPT，對于一塊硬盤，最多只能管理15分區
gdisk創建GPT分區，可以支持管理128個主分區
parted高級分區操作（創建、復制、調整大小等等），非交互式操作
partprobe  重新設置內存中的內核分區表版本 centos5,7適用

fdisk /dev/sdb
gfisk /dev/sdb

fdisk [-l] [-u] [device…]

-l :查看分區信息

子命令：

m 獲取幫助信息

p 分區列表
t 更改分區類型

n 創建新分區

d 刪除分區
w 保存并退出

q 不保存并退出

同步分區表（通知內核重新讀取硬盤分區表）
查看內核是否已經識別新的分區：cat /proc/partations

centos6
  新增分區用
    partx -a /dev/DEVICE
  刪除分區用
        partx -d –nr M-N /dev/DEVICE
        partx -d M /dev/DEVICE        
CentOS 5，7: 使用partprobe

    partprobe [/dev/DEVICE]

parted的操作都是實時生效的，小心使用
parted [選項]… [設備[命令[參數]…]…]
parted /dev/sdb mklabel gpt|msdos 設置該磁盤卷標名
parted /dev/sdb print  查看該磁盤分區信息
parted /dev/sdb mkpart primary 1（起始大?。?200（結束大?。?nbsp;  磁盤分區（默認M）G
parted /dev/sdb rm # 刪除該磁盤第#個分區
parted -l 查看所有磁盤分區信息

文件系統是操作系統用于明確存儲設備或分區上的文件的方法和數據結構；即在存儲設備上組織文件的方法。操作系統中負責管理和存儲文件信息的軟件結構稱為文件管理系統，簡稱文件系統。
從系統角度來看，文件系統是對文件存儲設備的空間進行組織和分配，負責文件存儲并對存入的文件進行保護和檢索的系統。具體地說，它負責為用戶建立文件，存入、讀出、修改、轉儲文件，控制文件的存取，安全控制，日志，壓縮，加密等。

文件系統類型
Linux: ext2, ext3, ext4, xfs（SGI）, btrfs（Oracle）, reiserfs, jfs（AIX）, swap，vfat
swap: 交換分區
光盤：iso9660
Windows：fat32, ntfs
Unix: FFS（fast）, UFS（unix）, JFS2
網絡文件系統：NFS, CIFS
集群文件系統：GFS2, OCFS2（oracle）
分布式文件系統：ceph, moosefs, mogilefs, glusterfs, Lustre
RAW：未經處理或者未經格式化產生的文件系統

文件系統根據其是否支持"journal"功能：
    日志型文件系統: ext3, ext4, xfs, …
    非日志型文件系統: ext2, vfat
文件系統的組成部分：
    內核中的模塊：ext4, xfs, vfat
    用戶空間的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
 Linux的虛擬文件系統：VFS
查看內核支持的文件系統：cat /proc/filesystems

創建文件系統
mkfs命令：
(1)  mkfs.FS_TYPE /dev/DEVICE
ext4
xfs
btrfs
vfat
(2)  mkfs -t FS_TYPE /dev/DEVICE
-L 'LABEL': 設定卷標
創建ext文件系統
mke2fs：ext系列文件系統專用管理工具
-t {ext2|ext3|ext4}
-b {1024|2048|4096} 默認為4K，即4096
-L 'LABEL' ：指明卷標名
-j: 添加日志功能，當于-t ext3
mkfs.ext3 = mkfs-t ext3 = mke2fs -j = mke2fs -t ext3
-i # : 為數據空間中每多少個字節創建一個inode；此大小不應該小于block的大小
-N # ：為數據空間創建個多少個inode
-I # ：一個inode記錄大小128—4096
-m #: 默認5%,為管理人員預留空間占總空間的百分比（不用再加%）
-O FEATURE[,…]：啟用指定特性
-O ^FEATURE：關閉指定特性
文件系統標簽
指向設備的另一種方法
與設備無關
blkid：塊設備屬性信息查看
blkid[OPTION]… [DEVICE]
-U UUID: 根據指定的UUID來查找對應的設備
-L LABEL：根據指定的LABEL來查找對應的設備
e2label：管理ext系列文件系統的LABEL
e2label DEVICE [LABEL]
findfs：查找分區
findfs [options] LABEL=<label>
findfs [options] UUID=<uuid>
tune2fs：重新設定ext系列文件系統可調整參數的值
-l：查看指定文件系統超級塊信息；superblock
-L 'LABEL'：修改卷標
-m #：修預留給管理員的空間百分比，默認為5，不用再加%
-j: 將ext2升級為ext3
-O: 文件系統屬性啟用或禁用,–O ^has_journal
-o: 調整文件系統的默認掛載選項,–o ^acl
-U UUID: 修改UUID號

dumpe2fs：查看超級塊及塊組描述
-h：僅查看超級塊信息

文件系統檢測和修復
常發生于死機或者非正常關機之后
掛載為文件系統標記為“dirty”
fsck: File System Check

fsck.FS_TYPE [DEVICE]或fsck -t FS_TYPE [DEVICE]
-a: 自動修復錯誤
-r: 交互式修復錯誤
注意: FS_TYPE一定要與分區上已經文件類型相同；修復前應卸載該設備，不能處于掛載狀態
e2fsck：ext系列文件專用的檢測修復工具
-y：自動回答為yes
-f：強制修復

掛載mount
掛載:將額外文件系統與根文件系統某現存的目錄建立起關聯關系，進而使得此目錄做為其它文件訪問入口的行為
卸載:為解除此關聯關系的過程
把設備關聯掛載點：mount
mount
掛載點下原有文件在掛載完成后會被臨時隱藏
掛載點目錄一般為空
Umount
卸載時：可使用設備，也可以使用掛載點
  進程正在使用中的設備無法被卸載

用mount命令掛載文件系統
掛載方法：mount DEVICE MOUNT_POINT
mount [-fnrsvw] [-t vfstype] [-o options] device dir
device：指明要掛載的設備；
    (1) 設備文件：例如/dev/sda5
    (2) 卷標：-L 'LABEL', 例如-L 'MYDATA'
    (3) UUID, -U 'UUID'：例如-U '0c50523c-43f1-45e7-85c0-a126711d406e'
    (4) 偽文件系統名稱：proc, sysfs, devtmpfs, configfs
dir：掛載點

mount常用命令選項
-t vsftype：指定要掛載的設備上的文件系統類型（操作系統能自動識別，可省略）
-r: readonly，只讀掛載，即使管理員用戶只能進行只讀訪問
-w: read and write, 讀寫掛載
-n: 不將掛載信息更新到/etc/mtab
-a：自動掛載所有支持自動掛載的設備(定義在了/etc/fstab文件中，且掛載選項中有auto功能)
-L 'LABEL': 以卷標指定掛載設備
-U 'UUID': 以UUID指定要掛載的設備
-B, –bind: 綁定目錄到另一個目錄上
查看內核追蹤到的已掛載的所有設備：cat /proc/mounts

mount常用命令選項
-o options：(掛載文件系統的選項)，多個選項使用逗號分隔
async：異步模式，性能較佳
sync：同步模式,內存更改時，同時寫磁盤，性能較差
atime/noatime：是否更新文件的訪問時間戳
diratime/nodiratime：是否更新目錄的訪問時間戳
auto/noauto：是否支持自動掛載,是否支持-a選項
exec/noexec：是否支持將文件系統上運行應用程序
dev/nodev：是否支持在此文件系統上使用設備文件
suid/nosuid：不否支持suid和sgid權限
remount：重新掛載
ro：只讀
rw：讀寫
user/nouser：是否允許普通用戶掛載此設備，默認管理員才能掛載
acl：啟用此文件系統上的acl功能
Defaults：相當于rw, suid, dev, exec, auto, nouser, async
卸載命令

查看掛載情況:find mnt MOUNT_POINT

查看正在訪問指定文件系統的進程：
lsof MOUNT_POINT

fuser -v MOUNT_POINT

終止所有在正訪問指定的文件系統的進程：
fuser -km MOUNT_POINT
卸載：umount DEVICE或umount MOUNT_POINT

掛載點和/etc/fstab

配置文件系統體系
被mount、fsck和其它程序使用
系統重啟時保留文件系統體系
可以在設備欄使用文件系統卷標
使用mount -a 命令掛載/etc/fstab中的所有文件系統

/etc/fstab文件掛載配置文件：每行定義一個要掛載的文件系統；
要掛載的設備或偽文件系統
掛載點
文件系統類型
掛載選項
轉儲頻率
自檢次序

要掛載的設備或偽文件系統：
    設備文件、LABEL(LABEL="")、UUID(UUID="")、偽文件系統名稱(proc, sysfs)
掛載選項：defaults
轉儲頻率：0：不做備份 1：每天轉儲 2：每隔一天轉儲
自檢次序：0：不自檢 1：首先自檢；一般只有rootfs才用1

處理交換文件和分區
交換分區是系統RAM的補充
基本設置包括：
創建交換分區或者文件
使用mkswap寫入特殊簽名
在/etc/fstab文件中添加適當的條目
使用swapon -a 激活交換空間（/etc/fstab中定義的交換分區）

掛載交換分區
啟用：swapon
swapon[OPTION]… [DEVICE]
-a：激活所有的交換分區；
-p PRIORITY：指定優先級
/etc/fstab:pri=value
禁用：swapoff[OPTION]… [DEVICE]

SWAP的優先級
用戶可以給某個swap指定一個0到32767的優先級
如果用戶沒有指定，那么核心會自動給swap指定一個優先級，這個優先級從-1開始，每加入一個新的沒有用戶指定優先級的swap，會給這個優先級減一。
先添加的swap的缺省優先級比較高，除非用戶自己指定一個優先級，而用戶指定的優先級(是正數)永遠高于核心缺省指定的優先級(是負數)。
優化性能：分布存放，高性能磁盤存放

移動介質
掛載意味著使外來的文件系統看起來如同是主目錄樹的一部分
訪問前、介質必須被掛載
摘除時，介質必須被卸載
按照默認設置，非根用戶只能掛載某些設備（光盤、DVD、軟盤、USB等等）
掛載點通常在/media 或/mnt下

使用光盤
在圖形環境下自動啟動掛載/run/media/<user>/<label>
否則就必須被手工掛載
mount /dev/cdrom/mnt/
eject命令卸載或彈出磁盤
創建ISO文件
cp/dev/cdrom/root/centos7.iso
mkisofs -r -o /root/etc.iso /etc
刻錄光盤
wodim–v –eject centos.iso

掛載USB介質
被內核探測為SCSI設備
?/dev/sdaX、/dev/sdbX、或類似的設備文件
在圖形環境中自動掛載
?圖標在[計算機]窗口中創建
?掛載在/run/media/<user>/<label>
?手動掛載
?mount /dev/sdb1 /mnt

常見工具
內存空間使用狀態：
free [OPTION]
-m: 以MB為單位
-g: 以GB為單位
文件系統空間占用等信息的查看工具：
df[OPTION]… [FILE]…
-H 以1000為單位
-T 文件系統類型
-h: human-readable
-i：inodesinstead of blocks
-P: 以Posix兼容的格式輸出
查看某目錄總體空間占用狀態：
du [OPTION]… DIR
-h: human-readable
-s: summary

工具dd
dd命令：convert and copy a file
用法：
ddif=/PATH/FROM/SRC of=/PATH/TO/DEST
bs=#：block size, 復制單元大小
count=#：復制多少個bs
of=file寫到所命名的文件而不是到標準輸出
if=file從所命名文件讀取而不是從標準輸入
bs=size指定塊大?。仁鞘莍bs也是obs)
ibs=size一次讀size個byte
obs=size 一次寫size個byte
cbs=size 一次轉化size個byte
skip=blocks從開頭忽略blocks個ibs大小的塊
seek=blocks從開頭忽略blocks個obs大小的塊
count=n只拷貝n個記錄

工具dd
conv=conversion[,conversion…] 用指定的參數轉換文件。
轉換參數:
ascii 轉換EBCDIC 為ASCII
ebcdic 轉換ASCII 為EBCDIC
block 轉換為長度為cbs 的記錄，不足部分用空格填充。
unblock 替代cbs長度的每一行尾的空格為新行
lcase 把大寫字符轉換為小寫字符
ucase 把小寫字符轉換為大寫字符
swab 交換輸入的每對字節。
noerror 出錯時不停止
notrunc 不截短輸出文件。
sync 把每個輸入塊填充到ibs個字節，不足部分用空(NUL)字符補齊

工具dd
磁盤拷貝：
ddif=/dev/sdaof=/dev/sdb
備份MBR：
ddif=/dev/sdaof=/tmp/mbr.bakbs=512 count=1
破壞MBR中的bootloader：
ddif=/dev/zero of=/dev/sdabs=64 count=1 seek=446
有二進制文件fileA，size>2K?，F在想從第64個字節位置開始讀取，需要讀取的大小是128Byts。又有fileB, 想把上面讀取到的128Bytes寫到第32個字節開始的位置，替換128Bytes，請問如何實現？
#ddif=fileAof=fileBbs=1 count=128 skip=63 seek=31 conv=notrunc

工具dd
備份：
dd if=/dev/sdx of=/dev/sdy
將本地的/dev/sdx整盤備份到/dev/sdy
dd if=/dev/sdx of=/path/to/image
將/dev/sdx全盤數據備份到指定路徑的image文件
dd if=/dev/sdx | gzip >/path/to/image.gz
備份/dev/sdx全盤數據，并利用gzip工具進行壓縮，保存到指定路徑
恢復：
dd if=/path/to/image of=/dev/sdx
將備份文件恢復到指定盤
gzip -dc /path/to/image.gz | dd of=/dev/sdx
將壓縮的備份文件恢復到指定盤

工具dd
拷貝內存資料到硬盤
dd if=/dev/mem of=/root/mem.bin bs=1024
將內存里的數據拷貝到root目錄下的mem.bin文件
從光盤拷貝iso鏡像
dd if=/dev/cdrom of=/root/cd.iso
拷貝光盤數據到root文件夾下，并保存為cd.iso文件
銷毀磁盤數據
dd if=/dev/urandom of=/dev/sda1
利用隨機的數據填充硬盤，在某些必要的場合可以用來銷毀數據。執行此操作以后，/dev/sda1將無法掛載，創建和拷貝操作無法執行。

工具dd
得到最恰當的block size
dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file
通過比較dd指令輸出中所顯示的命令執行時間，即可確定系統最佳的block size大小
王曉春QQ:29308620

工具dd
測試硬盤讀寫速度
dd if=/root/1Gb.file bs=64k | dd of=/dev/null
dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
通過上兩個命令輸出的執行時間，可以計算出測試硬盤的讀／寫速度

工具dd
修復硬盤
dd if=/dev/sda of=/dev/sda
當硬盤較長時間（比如1，2年）放置不使用后，磁盤上會產生消磁點。當磁頭讀到這些區域時會遇到困難，并可能導致I/O錯誤。當這種情況影響到硬盤的第一個扇區時，可能導致硬盤報廢。上邊的命令有可能使這些數據起死回生。且這個過程是安全，高效的。

整理parted的用法
目錄掛載到目錄，實際有文件的目錄及卸載時的目錄是文件的歸屬問題