LVS概述
1.LVS：Linux Virtual Server全稱叫做linux虛擬服務器，是一個虛擬的服務器集群系統。本項目在1998年5月由章文嵩博士成立，是中國國內最早出現的自由軟件項目之一。四層路由器（交換），根據請求報文的目標IP和目標協議及端口將其調度轉發至后端主機集群中的某臺RealServer（真實服務器），根據調度算法來挑選RS；
主要有兩個組件
VS: Virtual Server 虛擬服務器 RS: Real Server 真實服務器
2、lvs: 由ipvsadm/ipvs兩部分組成
ipvsadm： 工作與用戶空間的命令行工具，規則管理器，用于管理集群服務及RealServer（真實服務器）； ipvs： 工作于內核空間的netfilter的INPUT鉤子之上的框架；其集群功能依賴于ipvsadm定義的集群服務器規則； 工作模式：通過更改目標IP的方式或直接再次封裝報文的mac地址的方式或者在網絡層首部之外再此封裝一個網絡層首部（雙ip首部及ipip隧道）， 強行改變本該發往本機內部的報文，轉而發往后方Real server主機，支持基于TCP、UDP、SCTP、AH、EST、AH_EST等協議的眾多服務；
3、lvs集群類型中的術語：
vs：Virtual Server；虛擬服務，可稱為Director、Dispatcher分發器、Balancer負載均衡器 rs：Real Server；真實服務器，可稱為upstream server上游服務器, backend server后端主機 CIP：Client IP；客戶端IP RIP：Real Server IP；真實服務器IP VIP: Virtual serve IP；等同于FIP(流動IP)，負載均衡器虛擬IP DIP：Director IP；調度IP(第二張網卡IP地址) 真正的通信是； CIP <--> VIP 之間進行通信 DIP <--> RIP 之間進行通信
4、負載均衡集群中設計時的要點
1)session保持 session sticky (iphash)：IP地址綁定，來源IP記錄在ip hash表作統一調度 session cluster(multicast/broadcast/unicast)：廣播集群同步(復制)session，只適用于小規模場景 session server ()：session服務器 2)數據共享(提供一致性存儲) 1) 共享存儲； NAS：Network Attached Storage (文件級別)，網絡附加存儲，文件服務器 SAN：Storage Area Network (塊級別)，存儲區域網絡 DS：Distributed Storage，分布式春初 2) 數據同步：rsync … ...
lvs集群的類型：
1、lvs-nat：地址偽裝模型
多目標IP的DNAT，通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現轉發； 客戶端主機發起請求報文CIP指向VIP，通過內核的核心網卡間轉發功能，VIP會將請求交給DIP進行調度， DIP根據設定的算法進行負載均衡給后端的RS主機的RIP，在這個過程中DIP調度功能會將目標IP地址重寫為RIP。 請求和返回請求讀要調度DIP來進行轉換操作。 須知： （1）RIP和DIP必須在同一個IP網絡，且應該使用私網地址；RS的網關要指向DIP； （2）請求報文和響應報文都必須經由Director轉發；Director易于成為系統瓶頸； （3）支持端口映射，可修改請求報文的目標PORT； （4）vs必須是Linux系統，rs可以是任意系統；
2、lvs-dr：
(direct routing直接路由)：網關模型 通過為請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目標IP/PORT均保持不變； 客戶端發起請求，經過層層路由到達離VS服務器最近的交換機，通過交換機轉發給VS服務器，此時因為每個RS真實主機的LO本地回環接口上都寫了VIP地址，并且通過修改內核參數的操作禁止內核的arp請求響應級別和修改自己向外通告的模式，Real server主機不會相應arp請求。所有請求就會到達VS服務器并且由VS服務器負載均衡轉發請求給RS服務器。在此過程中VIP修改MAC地址調度請求給真實主機。在此過程中通過ARP協議在一個局域網中廣播尋找真實主機的MAC地址。實現全過程源地址為CIP，并且強行限制RS主機的響應報文必須經過LO以此實現目標地址為VIP不變。調度基于尋找MAC。網關模型中的所有主機均要能與外網通信。這樣RS主機就能夠直接響應客戶機。 須知：Director和各RS都得配置使用VIP； (1) 確保前端路由器將目標IP為VIP的請求報文發往Director： 解決方案： (a) 在前端網關做靜態綁定； (b) 在RS上使用arptables； (c) 在RS上修改內核參數以禁止RS響應VIP的ARP請求； 1) 修改各RS的內核參數，并把VIP配置在特定的接口上實現禁止其響應； arp_announce arp_ignore (2) RS的RIP可以使用私網地址，也可以是公網地址； RIP與DIP在同一IP網絡；RIP的網關不能指向DIP，以確保響應報文不會經由Director； (3) RS跟Director要在同一個物理網絡； (4) 不支持端口映射； (5) RS的OS得支持隧道功能； (6) 各RS可以使用大多數的操作系統；
3、lvs-tun：在原請求IP報文之外新加一個IP首部；ipip隧道
轉發方式： 不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發往挑選出的目標RS； 須知： (1) DIP, VIP, RIP都應該是公網地址； (2) RS的網關不能，也不可能指向DIP； (3) 請求報文要經由Director，但響應不能經由Director； (4) 不支持端口映射； (5) RS的OS得支持隧道功能；
4、lvs-fullnat：修改請求報文的源和目標IP完成轉發；
通過同時修改請求報文的源IP地址（cip-->dip）和目標IP地址（vip--> rip）實現轉發； 須知： (1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網絡；因此，RIP的網關一般不會指向DIP； (2) RS收到的請求報文源地址是DIP，因此，只需響應給DIP；但Director還要將其發往Client； (3) 請求和響應報文都經由Director； (4) 支持端口映射；
注意：
前三種為標準類型，第四種為后添加類型，內核默認可能不支持，需自編譯內核
LVS scheduler調度算法
根據其調度時是否考慮各RS當前的負載狀態，可分為靜態方法和動態方法兩種： 靜態方法：僅根據算法本身進行調度； RR：roundrobin，輪詢；依次分配請求，方式簡單但時負載均衡的效果一般 WRR：Weighted RR，加權輪詢；權重越大承擔負載越大 SH：Source Hashing，實現session sticy，源IP地址hash；將來自于同一個IP地址的請求始終發往第一次挑中的RS，從而實現會話綁定； 缺點：調度力度大，對負載均衡效果差；session黏性不同，連接時長保持不同 DH：Destination Hashing；目標地址哈希，將發往同一個目標地址的請求始終轉發至第一次挑中的RS；能實現連接追蹤，但不考慮負載均衡效果 動態方法：主要根據每RS當前的負載狀態及調度算法進行調度； Overhead：負載值，VS轉發時記錄每個RS的Active和Inactive數量(甚至權重)進行算法計算 Active：活動鏈接值，當發起新請求后保持在ESTABLISHED狀態時，仍有請求響應 Inactive：非活動鏈接值，在ESTABLISHED狀態時，尚未斷開保持空閑等待狀態 LC：least connections；最少連接 Overhead=activeconns*256+inactiveconns 后端的RS誰的連接少就分發請求至那臺RS，若overhead一樣則自上而下輪詢列表中的RS WLC：Weighted LC；加權最小連接 Overhead=(activeconns*256+inactiveconns)/weight，計算結果小的將為選中的下一跳RS服務器 缺點：當Overhead一樣時，自上而下輪詢響應，權重小的若在列表上方則其會響應 SED：Shortest Expection Delay；最短期望延遲 Overhead=(activeconns+1)*256/weight 缺點：解決WLC問題，但時無法確保權重小的主機一定響應 NQ：Never Queue；永不排隊，SED算法改進 RS權重大小排列，每臺RS服務器先分配一個請求，其余的按照權重大小計算分配 LBLC：Locality-Based LC； 基于本地的最少連接，動態的 DH連接算法 LBLCR：LBLC with Replication； 帶復制功能的LBLC
ipvs：
ipvs：工作在內核級別的，適用于服務器應用級別的服務器，如centos;查看是否已經編譯進的方法如下； ~]# grep -i -C 10 "ipvs" /boot/config-3.10.0-327.el7.x86_64 支持的協議：TCP， UDP， AH， ESP， AH_ESP, SCTP； ipvs集群定義：兩個級別的定義 1）集群服務 2）服務上的RS
ipvsadm命令：
1、管理集群服務：增、改、刪；
增、改： ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] 刪： ipvsadm -D -t|u|f service-address -A：添加、-E：修改、-D：刪除 service-address：服務地址和 -t|u|f 結合使用，具體格式如下 -t|u|f： -t, tcp, vip:port ； TCP的ip和port -u, udp, vip:port ； UDP的ip和port -f：firewall MARK ； 是一個數字;防火墻標記 [-s scheduler]：指定集群的調度算法，默認為wlc； -p [timeout] :超出時長，持久連接相關，默認時長為300秒
2、管理集群上的RS：增、改、刪；
增、改： ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] 刪： ipvsadm -d -t|u|f service-address -r server-address -a：添加一個RS、-e：修改一個RS、-d：刪除一個RS server-address指的是rip[:port]，端口可省表示與之前的service-address相同，只有nat模式支持端口映射才會使用 選項： lvs類型： -g: gateway（默認）, dr類型 -i: ipip, lvs-tun隧道類型 -m: masquerade, lvs-nat類型 -w weight：權重；
3、查看：
ipvsadm -L|l [options] --numeric, -n：數字格式顯示地址和端口； --exact：精確值,不經過單位換算的數值 --connection， -c：顯示ipvs連接； --stats：顯示統計數據； --rate ：速率
4、保存和重載：
ipvsadm -S = ipvsadm-save ipvsadm -R = ipvsadm-restore
5、計數器清零：
pvsadm -Z [-t|u|f service-address]
6、清空定義的所有內容：
ipvsadm -C
lvs-nat模型構建
1、lvs-nat模型示意圖
本次構建的lvs-nat模型的示意圖如下，其中所有的服務器和測試客戶端均使用VMware虛擬機模擬，所使用的CentOS 7
VS內核都支持ipvs功能，且安裝ipvsadm控制書寫lvs規則工具。
RS端兩臺服務器為httpd服務器做請求的負載均衡。
2、VS網卡配置
1、在"虛擬機設置"中增加一個網絡適配器設備，并將其自定義特定網絡為VMnet1模式，此處為了模擬負載均衡服務器的兩張網卡處于不同網段
2、配置VS兩張網卡的IP地址
網絡適配器1(10.1.19.11)模擬為外網網卡，網絡適配器2(192.168.25.135)模擬為內網，且該網卡的Ip地址要和RS服務器得ip在同一網段，DIP作為RIP的網絡調度(網關)，無需配置GATEWAY
3、RS網卡配置
此處使用兩臺CentOS 7虛擬機作為負載均衡后端真實響應主機，安裝RPM包格式httpd服務，并啟動服務。nmtui命令配置網卡信息，RS1的IP:192.168.25.129，RS2的IP:192.168.25.130，RIP和DIP在同一網段，虛擬機網卡和DIP同時匹配值為VMnet1模式，且兩臺RS服務器主機網關指向DIP：192.168.25.135
]# yum install -y httpd ]# systemctl start httpd.service 注意：安裝完成后在各httpd服務器上配置測試頁面，/var/www/html/index.html.
4、測試所有主機是否能夠通信
用ping命令測試各節點的通信，例如RIP1和VIP、DIP、RIP2之間是否能夠通信
]# ping IPADDR
5、同步所有主機的時間，這里使用chrony 也可以手動同步
]# vim /etc/chrony.conf 編輯文件添加一行如下； server 10.1.0.1 iburst ]# systemctl restart chronyd.service
6、測試兩臺RS的服務是否能正常訪問
7、VS主機：核心轉發和安裝ipvsadm
1)安裝ipvsadm組件：[root@localhost ~]# yum install -y ipvsadm 2)啟動網卡間核心轉發功能：[root@localhost ~]# sysctl -w net.ipv4.ip_forward=1 也可以echo 1 到/proc/sys/net/ipv4/ip_forward ]# cat /proc/sys/net/ipv4/ip_forward
7、VS主機：定義配置lvs-nat服務(此處采用rr算法)
1)定義ipvsadm負載均衡集群規則，并查看 此處定義DIP是以-s指定為rr算法進行輪詢調度，-m指定模式為lvs-nat，配置命令如下： ]# ipvsadm -A -t 10.1.19.11:80 -s rr ]# ipvsadm -a -t 10.1.19.11:80 -r 192.168.25.129 -m ]# ipvsadm -a -t 10.1.19.11:80 -r 192.168.25.130 -m ]# ipvsadm -L -n
2)Client客戶機測試 在客戶端主機上使用curl命令對VIP發起請求，負載均衡服務器會將請求按照rr算法依次將請求調度給不同的主機進行處理，依次請求給分發給192.168.25.129和192.168.25.130主機響應。
負載均衡集群的設計要點：
(1) 是否需要會話保持； (2) 是否需要共享存儲； 共享存儲：NAS， SAN， DS（分布式存儲）
設計要點：
(1) RIP與DIP在同一IP網絡, RIP的網關要指向DIP； (2) 支持端口映射；
lvs-dr模型構建
dr模型中，各主機上均需要配置VIP，解決地址沖突的方式有三種；
(1) 在前端網關做靜態綁定； (2) 在各RS使用arptables； (3) 在各RS修改內核參數，來限制arp響應和通告的級別； 限制響應級別：arp_ignore 0：默認值，表示可使用本地任意接口上配置的任意地址進行響應； 1: 僅在請求的目標IP配置在本地主機的接收到請求報文接口上時，才給予響應； 限制通告級別：arp_announce 0：默認值，把本機上的所有接口的所有信息向每個接口上的網絡進行通告； 1：盡量避免向非直接連接網絡進行通告； 2：必須避免向非本網絡通告；
1、lvs-dr模型示意圖
三臺主機為虛擬機CentOS 7，每臺主機僅有一塊網卡，且使用橋接方式都指向外部網絡的網關172.18.19.1
2、RS服務器配置APR內核參數修改
[root@localhost~]# ll /proc/sys/net/ipv4/conf
1)ARP響應行為和ARP解析行為內核參數：
1)arp_annouce定義通告級別 0：默認級別，將本地的任何接口上的配置的地址都在網絡中通告 1：盡量避免向本主機上的其他網卡進行網絡通信，特殊情況下其他接口也可以 2：總是使用最佳網絡地址接口(僅使用定義的網卡接口在同網絡通信) 2)arp_ignore定義響應級別(0-8九個級別)，響應時忽略方式 0：都全都響應 1：只對從本接口進入的請求響應，且本接口地址是個網絡地址 … … 注釋：一般使用arp_annouce=2，arp_ignore=1
2)配置各RS主機參數
注意：all必須配置、eno16777736(本地)和lo兩個可以同時全部配置或者配置其中一個
RealServer內核參數： ]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore ]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce ]# echo 1 > /proc/sys/net/ipv4/conf/INTERFACE/arp_ignore ]# echo 2 > /proc/sys/net/ipv4/conf/INTERFACE/arp_announce 注意：INTERFACE為你的物理接口；此處網卡接口指的是eno16777736和lo
3、配置VS和RS服務器的VIP
此處的VIP均以別名的形式配置在往卡上，VS是配置在對外通信的DIP的網卡上；RS配置在lo本地回環網卡
注意：此時配置的VIP的子網掩碼必須為255.255.255.255，廣播地址為自己本身
VS：[root@localhost~]# ifconfig eno16777736:0 172.18.19.110 netmask 255.255.255.255 broadcast 172.18.19.110 up RS：[root@localhost~]# ifconfig lo:0 172.18.19.110 netmask 255.255.255.255 broadcast 172.18.19.110 up
4、RS服務器上配置路由
]# route add -host 172.18.19.110 dev lo:0 ]# route -n
5、VS主機：定義配置lvs-dr模式(此處采用rr算法)
1)配置和查看 [root@localhost~]# ipvsadm -A -t 172.18.19.110:80 -s rr [root@localhost~]# ipvsadm -a -t 172.18.19.110:80 -r 172.18.19.218 -g [root@localhost~]# ipvsadm -a -t 172.18.19.110:80 -r 172.18.19.184 -g [root@localhost~]# ipvsadm -L -n
2)測試 [root@localhost~]# curl http://172.18.19.110 因為基于rr算法調度，依次分發給RS主機
6、RS的預配置腳本：
#!/bin/bash # vip=10.1.0.5 mask='255.255.255.255' case $1 in start) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce ifconfig lo:0 $vip netmask $mask broadcast $vip up route add -host $vip dev lo:0 ;; stop) ifconfig lo:0 down echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce ;; *) echo "Usage $(basename $0) start|stop" exit 1 ;; esac
7、VS的配置腳本：
#!/bin/bash
#
vip='10.1.0.5'
iface='eno16777736:0'
mask='255.255.255.255'
port='80'
rs1='10.1.0.7'
rs2='10.1.0.8'
scheduler='wrr'
type='-g'
case $1 in
start)
ifconfig $iface $vip netmask $mask broadcast $vip up
iptables -F
ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo "Usage $(basename $0) start|stop"
exit 1
;;
esac
通過防火墻標記來定義lvs
1、FWM：FireWall Mark
防火墻標記可以實現多個集群服務綁定為同一個，實現統一調度；將共享一組RS的集群服務統一進行定義 FWM基于iptables的mangle表實現防護墻標記功能，定義標記做策略路由
2、FWM定義集群的方式
1)在director上netfilter的mangle表的PREROUTING定義用于"打標"的規則 ~]#iptables -t mangle -A PREROUTING -d $vip -p $protocol --dport $port -j MARK--set-mark # $vip:VIP地址 $protocol：協議 $port:協議端口 2)基于FWM定義集群服務： ~]#ipvsadm -A -f # -s scheduler
3、示例
[root@localhost~]# iptables -t mangle -A PREROUTING -d 172.18.19.110 -p tcp --dport 80 -j MARK --set-mark 5 [root@localhost~]# ipvsadm -A -f 5 -s rr [root@localhost~]# ipvsadm -a -f 5 -r 172.18.19.218 -g [root@localhost~]# ipvsadm -a -f 5 -r 172.18.19.184 -g
LVS持久連接功能：lvs persistence
1、lvs persistence功能
無論ipvs使用何種scheduler，其都能夠實現在指定時間范圍內始終將來自同一個ip地址的請求發往同一個RS；實現方式和lvs調度的十種算法無關，通過lvs持久連接模板(hash表)實現，當超過自定義的可持節連接時長候再根據LVS算法本身進行調度。
ipvsadm命令中-p選項實現，在-p后不指定具體數字(單位:秒)，默認為300，到時候會自動延長2分鐘，對于web本身就是15秒
2、模式
1)每端口持久(PPC)
客戶端對同一服務端口發起請求，會基于該服務的端口實現請求在一段時間內對同一RS服務器持久連接；
例如：有兩臺主機做為RS服務器做http和hssh的兩種服務的集群，僅http做每端口持久，Client請求會實現綁定在，但是22號端口請求不會綁定在同一臺RS
2)每客戶端持久(PCC)：定義tcp或udp協議的0號端口為集群服務端口
director會將用戶的任何請求都識別為集群服務，并向RS進行調度；同一客戶端的請求任何端口都發往同一臺第一次選定的RS服務器
3)每防火墻標記持久(PFWMC)
將兩個或兩個以上服務通過防火墻打標綁定在一起，這些服務的請求實現同時定向與同一臺RS服務器，服務綁定同一RS
示例：
lvs-dr模式下以rr算法綁定http和https服務 ~]#iptables -t mangle -A PREROUTING -d 172.18.19.110 -p tcp --dport 80 -j MARK--set-mark 99 ~]#iptables -t mangle -A PREROUTING -d 172.18.19.110 -p tcp --dport 443 -j MARK--set-mark 99 ~]#ipvsadm -A -f 99 -s rr -p ~]#ipvsadm -a -f 99 -r 172.18.19.218 -g ~]#ipvsadm -a -f 99 -r 172.18.19.84 -g
保存及重載規則：
保存：建議保存至/etc/sysconfig/ipvsadm ipvsadm-save > /PATH/TO/IPVSADM_FILE ipvsadm -S > /PATH/TO/IPVSADM_FILE systemctl stop ipvsadm.service 重載： ipvsadm-restore < /PATH/FROM/IPVSADM_FILE ipvsadm -R < /PATH/FROM/IPVSADM_FILE systemctl restart ipvsadm.service
考慮：
(1) Director不可用，整個系統將不可用；SPoF 解決方案：高可用 keepalived heartbeat/corosync (2) 某RS不可用時，Director依然會調度請求至此RS； 解決方案：對各RS的健康狀態做檢查，失敗時禁用，成功時啟用； keepalived heartbeat/corosync, ldirectord 檢測方式： (a) 網絡層檢測； (b) 傳輸層檢測，端口探測； (c) 應用層檢測，請求某關鍵資源； ok --> failure failure --> ok
原創文章，作者：M20-1馬星，如若轉載，請注明出處：http://www.www58058.com/58150
