mysql-proxy 讀寫分離

1. 簡介

    mysql-proxy 是官方為此的一個測試，項目， 可以完成讀寫分離。但是項目目前還不是很成熟，這里僅作測試。 

2. mysql-proxy安裝部署

# wget http://downloads.mysql.com/archives/get/file/mysql-proxy-0.8.4-linux-glibc2.3-x86-64bit.tar.gz    
# tar -xf mysql-proxy-0.8.4-linux-glibc2.3-x86-64bit.tar.gz -C /usr/local/
# cd /usr/local/
# ln -sv mysql-proxy-0.8.4-linux-glibc2.3-x86-64bit mysql-proxy

3. 創建代理用戶以及修改程序目錄權限

# useradd -s /sbin/nologin -r mysql-proxy
# chown -R mysql.mysql mysql-proxy-0.8.4-linux-glibc2.3-x86-64bit/

4. 提供服務腳本放在/etc/rc.d/init.d/ 下面并且給運行權限

# vim、/etc/rc.d/init.d/mysql-proxy

#!/bin/bash
#
# mysql-proxy This script starts and stops the mysql-proxy daemon
#
# chkconfig: - 78 30
# processname: mysql-proxy
# description: mysql-proxy is a proxy daemon for mysql

# Source function library.
. /etc/rc.d/init.d/functions

prog="/usr/local/mysql-proxy/bin/mysql-proxy"

# Source networking configuration.
if [ -f /etc/sysconfig/network ]; then
	. /etc/sysconfig/network
fi

# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0

# Set default mysql-proxy configuration.
ADMIN_USER="admin"
ADMIN_PASSWD="admin"
ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua"
PROXY_OPTIONS="--daemon"
PROXY_PID=/var/run/mysql-proxy.pid
PROXY_USER="mysql-proxy"

# Source mysql-proxy configuration.
if [ -f /etc/sysconfig/mysql-proxy ]; then
	. /etc/sysconfig/mysql-proxy
fi

RETVAL=0

start() {
	echo -n $"Starting $prog: "
	daemon $prog $PROXY_OPTIONS --pid-file=$PROXY_PID --proxy-address="$PROXY_ADDRESS" --user=$PROXY_USER --admin-username="$ADMIN_USER" --admin-lua-script="$ADMIN_LUA_SCRIPT" --admin-password="$ADMIN_PASSWORD"
	RETVAL=$?
	echo
	if [ $RETVAL -eq 0 ]; then
		touch /var/lock/subsys/mysql-proxy
	fi
}

stop() {
	echo -n $"Stopping $prog: "
	killproc -p $PROXY_PID -d 3 $prog
	RETVAL=$?
	echo
	if [ $RETVAL -eq 0 ]; then
		rm -f /var/lock/subsys/mysql-proxy
		rm -f $PROXY_PID
	fi
}
# See how we were called.
case "$1" in
	start)
		start
		;;
	stop)
		stop
		;;
	restart)
		stop
		start
		;;
	condrestart|try-restart)
		if status -p $PROXY_PIDFILE $prog >&/dev/null; then
			stop
			start
		fi
		;;
	status)
		status -p $PROXY_PID $prog
		;;
	*)
		echo "Usage: $0 {start|stop|restart|reload|status|condrestart|try-restart}"
		RETVAL=1
		;;
esac

exit $RETVAL

# chmod +x /etc/rc.d/init.d/mysql-proxy 
# chkconfig --add mysql-proxy

5. 為上述的服務腳本提供配置文件

    創建/etc/sysconfig/mysql-proxy，內容如下所示：
	# Options for mysql-proxy 
	ADMIN_USER="admin"
	ADMIN_PASSWORD="admin"
	ADMIN_ADDRESS=""
	ADMIN_LUA_SCRIPT="/usr/local/mysql-proxy/share/doc/mysql-proxy/admin.lua"
	PROXY_ADDRESS=""
	PROXY_USER="mysql-proxy"
	PROXY_OPTIONS="--daemon --log-level=info --log-use-syslog --plugins=proxy --plugins=admin --proxy-backend-addresses=192.168.98.129:3306 --proxy-read-only-backend-addresses=192.168.98.133:3306 --proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua"
	
    最后一行運行選項，可以根據需要修改。 
	--proxy-backend-addresses= 
	--proxy--read-only-backend-addresses= 
	可以指定多次，從而指定多臺服務器。 
	
    其他常用選項如下
	mysql-proxy的配置選項大致可分為幫助選項、管理選項、代理選項及應用程序選項幾類，下面一起去介紹它們。

	--help
	--help-admin
	--help-proxy
	--help-all ———— 以上四個選項均用于獲取幫助信息；

	--proxy-address=host:port ———— 代理服務監聽的地址和端口；
	--admin-address=host:port ———— 管理模塊監聽的地址和端口；
	--proxy-backend-addresses=host:port ———— 后端mysql服務器的地址和端口；
	--proxy-read-only-backend-addresses=host:port ———— 后端只讀mysql服務器的地址和端口；
	--proxy-lua-script=file_name ———— 完成mysql代理功能的Lua腳本；
	--daemon ———— 以守護進程模式啟動mysql-proxy；
	--keepalive ———— 在mysql-proxy崩潰時嘗試重啟之；
	--log-file=/path/to/log_file_name ———— 日志文件名稱；
	--log-level=level ———— 日志級別；
	--log-use-syslog ———— 基于syslog記錄日志；
	--plugins=plugin,.. ———— 在mysql-proxy啟動時加載的插件；
	--user=user_name ———— 運行mysql-proxy進程的用戶；
	--defaults-file=/path/to/conf_file_name ———— 默認使用的配置文件路徑；其配置段使用[mysql-proxy]標識；
	--proxy-skip-profiling ———— 禁用profile；
	--pid-file=/path/to/pid_file_name ———— 進程文件名；

6. 提供admin.lua腳本，將其保存至/usr/local/mysql-proxy/share/doc/mysql-proxy/目錄中。

--[[ $%BEGINLICENSE%$
 Copyright (c) 2007, 2012, Oracle and/or its affiliates. All rights reserved.

 This program is free software; you can redistribute it and/or
 modify it under the terms of the GNU General Public License as
 published by the Free Software Foundation; version 2 of the
 License.

 This program is distributed in the hope that it will be useful,
 but WITHOUT ANY WARRANTY; without even the implied warranty of
 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
 GNU General Public License for more details.

 You should have received a copy of the GNU General Public License
 along with this program; if not, write to the Free Software
 Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA
 02110-1301  USA

 $%ENDLICENSE%$ --]]

function set_error(errmsg) 
	proxy.response = {
		type = proxy.MYSQLD_PACKET_ERR,
		errmsg = errmsg or "error"
	}
end

function read_query(packet)
	if packet:byte() ~= proxy.COM_QUERY then
		set_error("[admin] we only handle text-based queries (COM_QUERY)")
		return proxy.PROXY_SEND_RESULT
	end

	local query = packet:sub(2)

	local rows = { }
	local fields = { }

	if query:lower() == "select * from backends" then
		fields = { 
			{ name = "backend_ndx", 
			  type = proxy.MYSQL_TYPE_LONG },

			{ name = "address",
			  type = proxy.MYSQL_TYPE_STRING },
			{ name = "state",
			  type = proxy.MYSQL_TYPE_STRING },
			{ name = "type",
			  type = proxy.MYSQL_TYPE_STRING },
			{ name = "uuid",
			  type = proxy.MYSQL_TYPE_STRING },
			{ name = "connected_clients", 
			  type = proxy.MYSQL_TYPE_LONG },
		}

		for i = 1, #proxy.global.backends do
			local states = {
				"unknown",
				"up",
				"down"
			}
			local types = {
				"unknown",
				"rw",
				"ro"
			}
			local b = proxy.global.backends[i]

			rows[#rows + 1] = {
				i,
				b.dst.name,          -- configured backend address
				states[b.state + 1], -- the C-id is pushed down starting at 0
				types[b.type + 1],   -- the C-id is pushed down starting at 0
				b.uuid,              -- the MySQL Server's UUID if it is managed
				b.connected_clients  -- currently connected clients
			}
		end
	elseif query:lower() == "select * from help" then
		fields = { 
			{ name = "command", 
			  type = proxy.MYSQL_TYPE_STRING },
			{ name = "description", 
			  type = proxy.MYSQL_TYPE_STRING },
		}
		rows[#rows + 1] = { "SELECT * FROM help", "shows this help" }
		rows[#rows + 1] = { "SELECT * FROM backends", "lists the backends and their state" }
	else
		set_error("use 'SELECT * FROM help' to see the supported commands")
		return proxy.PROXY_SEND_RESULT
	end

	proxy.response = {
		type = proxy.MYSQLD_PACKET_OK,
		resultset = {
			fields = fields,
			rows = rows
		}
	}
	return proxy.PROXY_SEND_RESULT
end

7. 修改一下admin.lua 腳本屬主屬組

# chown  mysql.mysql mysql-proxy/share/doc/mysql-proxy/admin.lua

8. 在mysql主服務器上創建遠程連接賬戶

MariaDB [(none)]> GRANT ALL ON *.* TO 'admin'@'192.168.98.%' IDENTIFIED BY 'admin';
MariaDB [(none)]> FLUSH PRIVILEGES;

9. 通過代理服務器連接服務器

 注意： 實驗環境中  192.168.98.129 為主服務器
		   192.168.98.130 為代理服務器
	           192.168.98.131 為從服務器
	# mysql -h192.168.98.130 -uadmin -padmin 
		root@www local]# mysql -h192.168.98.130 -uadmin -padmin 
			Welcome to the MariaDB monitor.  Commands end with ; or \g.
			Your MariaDB connection id is 7
			Server version: 10.1.9-MariaDB-log MariaDB Server

			Copyright (c) 2000, 2015, Oracle, MariaDB Corporation Ab and others.

			Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

			MariaDB [(none)]>

10. 使用tcpdump來驗證讀寫請求的發往方向

向mysql-proxy請求 
	# for i in {1..10}; do mysql -h192.168.98.130 -uadmin -padmin -e 'select * from hellodb.students limit 1';done
在主服務器和從服務器上使用下面命令進行監控。 
	# tcpdump -i any -nn -XX -A -p port 3306 and src 192.168.98.130
可以發現當讀請求量增大時，兩邊主機都可以看見讀報文被截獲。 
	
向mysql-proxy執行寫請求
	MariaDB [hellodb]> source ~/hellodb.sql 
只有在master端可以看到截獲報文
	
嘗試幾次后，可以看到兩個服務器狀態都是up
	MySQL [(none)]> SELECT * FROM backends;  
		+-------------+---------------------+-------+------+------+-------------------+
		| backend_ndx | address             | state | type | uuid | connected_clients |
		+-------------+---------------------+-------+------+------+-------------------+
		|           1 | 192.168.98.129:3306 | up    | rw   | NULL |                 0 |
		|           2 | 192.168.98.133:3306 | up    | ro   | NULL |                 0 |
		+-------------+---------------------+-------+------+------+-------------------+