负载均衡技术作为高可用系统的重要组件，在生产环境的应用十分普遍。之前只知道 Nginx 可以用来做 Web 站点的负载均衡器，在项目实施过程中也实际使用过，但 Nginx 负载均衡有一个问题，只支持 http(s) 协议。一般我们认为 Nginx 是一种七层负载均衡，顾名思义，它工作在 OSI 参考模型的最上层也就是第七层应用层，主要用来分发 HTTP 协议的请求。如果需要分发的流量不是 HTTP 协议，比如 MySQL、RabbitMQ 等，Nginx 负载均衡就不适用了。

项目实际中，负载均衡要么通过 F5 硬件实现，成本很高，要么常见的就是基于 LVS 实现。

实验环境

1 台 Linux 服务器(负载均衡器，安装 CentOS 7 系统)

2 台 Linux 服务器(Rabbit MQ 节点，安装 CentOS 7 系统，Rabbit MQ Server 监听在 5672 端口)

实验目标

通过一个固定 IP + 端口访问随机两台机器上的 RabbitMQ 服务，两台机器任意一台宕机或服务停止，不影响外部访问。

IP 规划

配置负载均衡器 (Director)

更新和安装 epel-release

1
2
yum update -y
yum install -y epel-release

安装必要的软件

1
yum install -y vim ipvsadm net-tools

关闭 SElinux

1
vim /etc/selinux/config
1
SELINUX=disabled

关闭防火墙

1
systemctl disable firewalld --now

修改内核参数

1
sysctl net.core.bpf_jit_enable=1

编辑启动脚本

1
vim /usr/bin/lb
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.122.234
rs1=192.168.122.245
rs2=192.168.122.98

ifconfig eth0:0 down
ifconfig eth0:0 $vip broadcast 192.168.122.255 netmask 255.255.255.0 up
route add -host $vip dev eth0:0
$ipv -C

$ipv -A -t $vip:5672 -s rr
$ipv -a -t $vip:5672 -r $rs1:5672 -g
$ipv -a -t $vip:5672 -r $rs2:5672 -g

添加到开机自启项目

1
2
echo "/usr/bin/lb" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

设置节点服务器 (Real Server)

对于节点服务器，只需要安装 net-tools 即可,启动脚本(/usr/bin/lb)如下

1
2
3
4
5
6
7
8
#!/bin/bash
vip=192.168.122.234
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

两台节点服务器的设置一样，同样的方法加入到开机启动项中去。

连接测试

使用 192.168.122.234:5672 可以连接到 RabbitMQ 服务，且任意一台节点服务器宕机都不影响正常使用，实验成功。

实验原理

简单了解了下 DR 模式的工作原理。请求先是发送到 VIP 即 Director 的网卡上，Director 根据负载均衡算法选择一台 Real Server 并修改目标 mac 地址为此服务器的 mac 地址，然后将报文丢到局域网内，随后与此 mac 地址匹配的服务器将收到报文，由于 Real Server 在本地回环配置了 VIP，这个报文对于当前服务器来说是完全合法的，所以节点能够处理该报文并作出响应。