lvs集群搭建

Linux Cluster：

Cluster：計算機集合，為解決某個特定問題組合起來形成的單個系統；

Linux Cluster類型：
LB：Load Balancing，負載均衡；
HA：High Availiablity，高可用；
A=MTBF/（MTBF+MTTR）
(0,1)：90%, 95%, 99%, 99.5%,  99.9%, 99.99%, 99.999%, 99.9999%
HP：High Performance，高性能；

分布式系統：
分布式存儲
分布式計算

系統擴展方式：
Scale UP：向上擴展
Scale Out：向外擴展
Cluster

LB Cluster：    
LB Cluster的實現：                 #負載均衡集群
硬件：
F5 Big-IP
Citrix Netscaler
A10 
軟件：
lvs：Linux Virtual Server
nginx
haproxy
ats：apache traffic server 
perlbal
pound

基于工作的協議層次劃分：
傳輸層（通用）：（DPORT）
lvs：
nginx：（stream）
haproxy：（mode tcp）
應用層（專用）：（自定義的請求模型分類）
proxy server：
http：nginx, httpd, haproxy(mode http), …
fastcgi：nginx, httpd, …
mysql：mysql-proxy, …
…

站點指標：
PV：Page View               #頁面瀏覽
UV：Unique Vistor           #獨立用戶
IP：

會話保持：
(1) session sticky      #會話綁定
Source IP
Cookie
(2) session replication;    #會話共享集群
session cluster   
(3) session server          #會話服務器

lvs：Linux Virtual Server 
VS: Virtual Server              #虛擬服務器
RS: Real Server                 #真實服務器

作者：章文嵩；alibaba –> didi

l4：四層路由器，四層交換機；
VS：根據請求報文的目標IP和目標協議及端口將其調度轉發至某RealServer，根據調度算法來挑選RS；

iptables/netfilter：
iptables：用戶空間的管理工具；
netfilter：內核空間上的框架；
流入：PREROUTING –> INPUT 
流出：OUTPUT –> POSTROUTING
轉發：PREROUTING –> FORWARD –> POSTROUTING

DNAT：目標地址轉換； PREROUTING；

lvs: ipvsadm/ipvs
 ipvsadm：用戶空間的命令行工具，規則管理器，用于管理集群服務及RealServer
 ipvs：工作于內核空間的netfilter的INPUT鉤子之上的框架；

lvs集群類型中的術語：
vs：Virtual Server, Director, Dispatcher, Balancer
rs：Real Server, upstream server, backend server

CIP：Client IP, VIP: Virtual serve IP, RIP: Real server IP, DIP: Director IP
CIP <–> VIP == DIP <–> RIP 

lvs集群的類型：
lvs-nat：修改請求報文的目標IP；多目標IP的DNAT；
lvs-dr：操縱封裝新的MAC地址；
lvs-tun：在原請求IP報文之外新加一個IP首部；
lvs-fullnat：修改請求報文的源和目標IP；

回顧：
Linux Cluster：
LB/HA/HP
LB Cluster：
硬件：Big-IP/Netscaler/A10
軟件：
四層：lvs/nginx(stream)/haproxy(mode tcp)
七層：
http: nginx(http upstream)/haproxy(mode http)/ats/httpd/perlbal/pound/…
lvs：Linux Virtual Server
vs <–> rs

lvs-type：
lvs-nat：修改請求報文的目標IP實現調度；
lvs-dr：操縱報文的幀首部（目標MAC是某挑選出的RS的RIP所在接口的MAC地址）；
lvs-tun：在原IP首部（cip/vip）之外再封裝一個新的IP首部（dip/rip）； 

LVS（2）：
lvs-nat：
多目標IP的DNAT，通過將請求報文中的目標地址和目標端口修改為某挑出的RS的RIP和PORT實現轉發；

（1）RIP和DIP必須在同一個IP網絡，且應該使用私網地址；RS的網關要指向DIP；
（2）請求報文和響應報文都必須經由Director轉發；Director易于成為系統瓶頸；
（3）支持端口映射，可修改請求報文的目標PORT；
（4）vs必須是Linux系統，rs可以是任意系統；

lvs-dr：
Direct Routing，直接路由；

通過為請求報文重新封裝一個MAC首部進行轉發，源MAC是DIP所在的接口的MAC，目標MAC是某挑選出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目標IP/PORT均保持不變；

Director和各RS都得配置使用VIP；
(1) 確保前端路由器將目標IP為VIP的請求報文發往Director：
(a) 在前端網關做靜態綁定；
(b) 在RS上使用arptables；
(c) 在RS上修改內核參數以限制arp通告及應答級別；
arp_announce         #通告級別
arp_ignore              #應答級別
(2) RS的RIP可以使用私網地址，也可以是公網地址；RIP與DIP在同一IP網絡；RIP的網關不能指向DIP，以確保響應報文不會經由Director；
(3) RS跟Director要在同一個物理網絡；
(4) 請求報文要經由Director，但響應不能經由Director，而是由RS直接發往Client；
(5) 不支持端口映射；

lvs-tun：
轉發方式：不修改請求報文的IP首部（源IP為CIP，目標IP為VIP），而是在原IP報文之外再封裝一個IP首部（源IP是DIP，目標IP是RIP），將報文發往挑選出的目標RS；RS直接響應給客戶端（源IP是VIP，目標IP是CIP）

(1) DIP, VIP, RIP都應該是公網地址；
(2) RS的網關不能，也不可能指向DIP；
(3) 請求報文要經由Director，但響應不能經由Director；
(4) 不支持端口映射；
(5) RS的OS得支持隧道功能；

lvs-fullnat：
通過同時修改請求報文的源IP地址和目標IP地址進行轉發；
CIP –> DIP 
VIP –> RIP 

(1) VIP是公網地址，RIP和DIP是私網地址，且通常不在同一IP網絡；因此，RIP的網關一般不會指向DIP；
(2) RS收到的請求報文源地址是DIP，因此，只需響應給DIP；但Director還要將其發往Client；
(3) 請求和響應報文都經由Director；
(4) 支持端口映射；

注意：此類型默認不支持；

總結：
lvs-nat, lvs-fullnat：請求和響應報文都經由Director；
lvs-nat：RIP的網關要指向DIP；
lvs-fullnat：RIP和DIP未必在同一IP網絡，但要能通信；
lvs-dr, lvs-tun：請求報文要經由Director，但響應報文由RS直接發往Client；
lvs-dr：通過封裝新的MAC首部實現，通過MAC網絡轉發；
lvs-tun：通過在原IP報文之外封裝新的IP報文實現轉發，支持遠距離通信

ipvs scheduler：       #十大調度算法
根據其調度時是否考慮各RS當前的負載狀態，可分為靜態方法和動態方法兩種：

靜態方法：僅根據算法本身進行調度；
RR：roundrobin，輪詢；
WRR：Weighted RR，加權輪詢；
SH：Source Hashing，實現session sticy，源IP地址hash；將來自于同一個IP地址的請求始終發往第一次挑中的RS，從而實現會話綁定；
DH：Destination Hashing；目標地址哈希，將發往同一個目標地址的請求始終轉發至第一次挑中的RS，典型使用場景是正向代理緩存場景中的負載均衡；

動態方法：主要根據每RS當前的負載狀態及調度算法進行調度；
Overhead=

LC：least connections
Overhead=activeconns*256+inactiveconns
WLC：Weighted LC
Overhead=(activeconns*256+inactiveconns)/weight
SED：Shortest Expection Delay
Overhead=(activeconns+1)*256/weight
NQ：Never Queue

LBLC：Locality-Based LC，動態的DH算法；
LBLCR：LBLC with Replication，帶復制功能的LBLC；

ipvsadm/ipvs：
集群和集群之上的各RS是分開管理的；
集群定義
RS定義

ipvs：
~]# grep -i -C 10 “ipvs” /boot/config-VERSION-RELEASE.x86_64

支持的協議：TCP， UDP， AH， ESP， AH_ESP,  SCTP；

ipvs集群：
集群服務
服務上的RS

ipvsadm：
程序包：ipvsadm
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
規則保存工具：/usr/sbin/ipvsadm-save
規則重載工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

ipvsadm命令：
核心功能：
集群服務管理：增、刪、改；
集群服務的RS管理：增、刪、改；
查看：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [–pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]

管理集群服務：增、改、刪；
增、改：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

刪：
ipvsadm -D -t|u|f service-address

service-address：
-t|u|f：
-t: TCP協議的端口，VIP:TCP_PORT
-u: UDP協議的端口，VIP:UDP_PORT
-f：firewall MARK，是一個數字；

[-s scheduler]：指定集群的調度算法，默認為wlc；

管理集群上的RS：增、改、刪；
增、改：
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

刪：
ipvsadm -d -t|u|f service-address -r server-address

server-address：
rip[:port]

選項：
lvs類型：
-g: gateway, dr類型
-i: ipip, tun類型
-m: masquerade, nat類型

-w weight：權重；

清空定義的所有內容：
ipvsadm -C

查看：
ipvsadm -L|l [options]         #大小寫都行
–numeric, -n：numeric output of addresses and ports 
–exact：expand numbers (display exact values)

–connection， -c：output of current IPVS connections
–stats：output of statistics information
–rate ：output of rate information

保存和重載：
ipvsadm -S = ipvsadm-save
ipvsadm -R = ipvsadm-restore 

負載均衡集群設計時要注意的問題：
(1) 是否需要會話保持；
(2) 是否需要共享存儲；
共享存儲：NAS， SAN， DS（分布式存儲）
數據同步：
課外作業：rsync+inotify實現數據同步 

lvs-nat：
設計要點：
(1) RIP與DIP在同一IP網絡, RIP的網關要指向DIP；外網ip是VIP
   exam：DIP:192.168.1.10/24
         VIP:對外的網絡IP
         RIP1:192.188.1.11/24 gw 192.168.1.10
         RIP2:192.188.1.12/24 gw 192.168.1.10
(2) 支持端口映射；
(3) Director要打開核心轉發功能，就是打開路由轉發功能

lvs-dr：
dr模型中，各主機上均需要配置VIP，解決地址沖突的方式有三種：
(1) 在前端網關做靜態綁定；
(2) 在各RS使用arptables；      #arp包過濾
(3) 在各RS修改內核參數，來限制arp響應和通告的級別；
限制響應級別：arp_ignore
0：默認值，表示可使用本地任意接口上配置的任意地址進行響應
1: 僅在請求的目標IP配置在本地主機的接收到請求報文接口上時，才給予響應；
限制通告級別：arp_announce
0：默認值，把本機上的所有接口的所有信息向每個接口上的網絡進行通告；
1：盡量避免向非直接連接網絡進行通告；
2：必須避免向非本網絡通告；

RS的預配置腳本：
#!/bin/bash
#
vip=10.1.0.5
mask=’255.255.255.255′

case $1 in
start)
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

ifconfig lo:0 $vip netmask $mask broadcast $vip up
route add -host $vip dev lo:0
;;
stop)
ifconfig lo:0 down

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

;;
*) 
echo “Usage $(basename $0) start|stop”
exit 1
;;
esac

VS的配置腳本：
#!/bin/bash
#
vip=’10.1.0.5′
iface=’eno16777736:0′
mask=’255.255.255.255′
port=’80’
rs1=’10.1.0.7′
rs2=’10.1.0.8′
scheduler=’wrr’
type=’-g’

case $1 in
start)
ifconfig $iface $vip netmask $mask broadcast $vip up
iptables -F

ipvsadm -A -t ${vip}:${port} -s $scheduler
ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1
ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1
;;
stop)
ipvsadm -C
ifconfig $iface down
;;
*)
echo “Usage $(basename $0) start|stop”
exit 1
;;
esac