Linux 网络负载均衡的实现

出处：IBM 作者：武袆时间：2007-12-27 17:11:37

保持服务器的高可用性是企业级IT 环境的重要因素，其中重要的一点是服务器网络连接的高可用性。利用服务器的网卡绑定技术有助于保证高可用特性并且提高网络性能。

在这里介绍一下Linux 下双网卡绑定实现负载均衡，即将两块网卡虚拟成为一块网卡，这个聚合起来的设备可以看作是一个单独的以太网接口设备，也可以理解为两块网卡具有相同的IP 地址而并行链接聚合成一个逻辑链路工作。其实这项技术在Sun 和Cisco 中早已存在，被称为Trunking 和Etherchannel 技术；在Linux 的2.4.x 内核中也采用这种技术，被称为Bonding。Bonding 技术的最早应用是在集群——Beowulf 上，为了提高集群节点间的数据传输而设计的。

下面讨论一下Bonding 的原理，什么是Bonding 需要从网卡的混杂(Promisc)模式说起。在通常情况下，网卡只接收目的硬件地址(MAC Address)是自身Mac 的以太网帧，对于别的数据帧都滤掉，以减轻驱动程序的负担；但同时网卡也支持另外一种被称为混杂(Promisc)的模式，可以接收网络上所有的帧(例如：tcpdump)。Bonding 也运行在这个模式下，而且修改了驱动程序中的Mac 地址，将两块网卡的Mac 地址改成相同，可以接收特定Mac 数据帧，然后把相应的数据帧传送给Bond驱动程序处理。

以下的配置双网卡绑定是在RedHat Linux Enterprise 3.0 的环境下实现的。网卡绑定的前提条件是确保两块网卡具有相同型号的独立芯片组。

# vi /etc/sysconfig/network-scripts/ ifcfg-bond0
[root@rhas root]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 ifcfg-bond0

编辑虚拟网络接口配置文件，指定网卡IP地址。
# vi ifcfg-bond0
将第一行改成：DEVICE=bond0
# cat ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
IPADDR=172.31.0.13
NETMASK=255.255.252.0
BROADCAST=172.31.3.254
ONBOOT=yes
TYPE=Ethernet

这里要注意，不要指定单个网卡的IP 地址、子网掩码或网卡ID；将上述信息指定到虚拟适配器(Bonding)中即可。

[root@rhas network-scripts]# cat ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp
[root@rhas network-scripts]# cat ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=dhcp
# vi /etc/modules.conf

编辑 /etc/modules.conf 文件，加入如下两行内容，以使系统在启动时加载bonding 模块，对外虚拟网络接口设备bond0 。

alias bond0 bonding
options bond0 miimon=100 mode=1

说明：miimon 是用来进行链路监测的。如果miimon=100，那么系统每100ms 监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode 的值表示工作模式，它共有0，1，2，3四种模式，常用的为0，1两种。
mode=0 表示load balancing (round-robin)为负载均衡方式，两块网卡都工作。
mode=1 表示fault tolerance (active-backup)提供冗余功能，工作方式是主备的工作方式，也就是说默认情况下只有一块网卡工作，另一块做备份。
bonding 只能提供链路监测，即从主机到交换机的链路是否接通。如果只是交换机对外的链路down 掉了，而交换机本身并没有故障，那么bonding 会认为链路没有问题而继续使用。

# vi /etc/rc.d/rc.local

加入两行:
ifenslave bond0 eth0 eth1
route add -net 172.31.3.254 netmask 255.255.255.0 bond0
到此双网卡绑定已经配置完成，重新启动服务器就会看到以下表示配置成功的信息了。
**********
Bringing up interface bond0 OK
Bringing up interface eth0 OK
Bringing up interface eth1 OK
**********

下面我们讨论一下mode 分别为0，1时的情况：

mode=1 工作在主备模式下，这时eth1 作为备份网卡是no arp 的：
[root@rhas network-scripts]# ifconfig 验证网卡的配置信息
bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:18495 errors:0 dropped:0 overruns:0 frame:0
TX packets:480 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:1587253 (1.5 Mb) TX bytes:89642 (87.5 Kb)

eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING NOARP SLAVEMULTICAST MTU:1500 Metric:1
RX packets:8923 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:753739 (736.0 Kb) TX bytes:0 (0.0 b)
Interrupt:15

那也就是说在主备模式，当一个网络接口失效时(例如交换机掉电等)，不会出现网络中断，系统会按照cat /etc/rc.d/rc.local 里指定网卡的顺序工作，机器仍能对外服务，起到了失效保护的功能。

在mode=0 负载均衡工作模式,它能提供两倍的带宽：

[root@rhas root]# ifconfig bond0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:2817 errors:0 dropped:0 overruns:0 frame:0
TX packets:95 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:226957 (221.6 Kb) TX bytes:15266 (14.9 Kb)

eth0 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:1406 errors:0 dropped:0 overruns:0 frame:0
TX packets:48 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:113967 (111.2 Kb) TX bytes:7268 (7.0 Kb)
Interrupt:11

eth1 Link encap:Ethernet HWaddr 00:0E:7F:25:D9:8B
inet addr:172.31.0.13 Bcast:172.31.3.255 Mask:255.255.252.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:1411 errors:0 dropped:0 overruns:0 frame:0
TX packets:47 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:112990 (110.3 Kb) TX bytes:7998 (7.8 Kb)
Interrupt:15

在这种情况下出现一块网卡失效，仅会是服务器出口带宽下降，也不会影响网络使用。

通过查看bond0 的工作状态可以掌握bonding 的具体工作状态：

[root@rhas bonding]# cat /proc/net/bonding/bond0
bonding.c:v2.4.1 (September 15, 2003)

Bonding Mode: load balancing (round-robin)
MII Status: up
MII Polling Interval (ms): 0
Up Delay (ms): 0
Down Delay (ms): 0
Multicast Mode: all slaves

Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:7f:25:d9:8a

Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:0e:7f:25:d9:8b

操作系统

Linux 网络负载均衡的实现