如何解决双网卡bond0绑定模式物理成员口的mac地址和bonding接口mac地址不一致的问题
如何解决双网卡bond0绑定模式物理成员口的mac地址和bonding接口mac地址不一致的问题
这两天在使用redhat6.1版本的双网卡模式0 的绑定方式给用户测试这种模式下网络的性能。测试拓扑如下：
在测试的过程中发现，ping这个bond接口的ip，总是丢一半的报文。在交换机端抓包发现与服务器相连的两个端口都有报文转发出去，但是在服务器端使用tcpdump功能监控两个端口的流量时，只有一个端口会收到监控到icmp 请求报文,另一个端口tcpdump不到任何报文。很明显报文有转到服务器端为什么没有送到上层直接在链路层就丢了呢？排查了大半天发现ifconfig下看到有一个加入bond的物理端口mac和bond接口的mac不一致：
[root@localhost ~]# ifconfig www.2cto.com
bond0 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:EE
inet addr:1.1.1.10 Bcast:1.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::200:c9ff:fe9c:efee/64 Scope:Link
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:26742641 errors:0 dropped:0 overruns:0 frame:0
TX packets:3252833 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:40470041510 (37.6 GiB) TX bytes:230549054 (219.8 MiB)
p3p1 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:EE
inet addr:1.1.1.10 Bcast:1.1.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:26742597 errors:0 dropped:0 overruns:0 frame:0
TX packets:3252156 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:40470034804 (37.6 GiB) TX bytes:230487920 (219.8 MiB)
p3p2 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:F0
inet addr:1.1.1.10 Bcast:1.1.1.255 Mask:255.255.255.0
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:44 errors:0 dropped:0 overruns:0 frame:0
TX packets:677 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:6706 (6.5 KiB) TX bytes:61134 (59.7 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:67 errors:0 dropped:0 overruns:0 frame:0
TX packets:67 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0 www.2cto.com
RX bytes:236952 (231.3 KiB) TX bytes:236952 (231.3 KiB)
virbr0 Link encap:Ethernet HWaddr 52:54:00:3C:46:42
inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
p3p1和p3p2两个接口加入bond，从上面的信息看到，p3p2接口的mac地址和bond不一致。按照这种模式绑定的结果是所有bond下的成员口和bond使用同一个mac地址。这样就解释了，为什么报文送到这个接口就不送上层直接被丢弃了。因为回复的报文目标mac是bond接口的mac地址，当这个报文送到p3p2时，由于p3p2的mac不是bond接口的mac，所以判断不是发给自己的报文，则丢弃该报文。另一个接口和bond接口的mac一致所以另一个接口可以正常处理报文。
知道产生该问题的原因了，怎么解决？？？又上百度找了很久没有结果，根本没有相关问题，最后在接口下发现6.1x比之前的版本多了个NM_CONTROLLED参数，这个参数的作用是把接口交给networkmanager来管理，如果把NM_CONTROLLED设置成yes的话，在起机的时候networkmanager会调用networkmanager的配置文件，直接会调用接口实际物理mac。所以导致上面出现的接口物理mac地址和bond不一致的情况。所以我把接口下的NM_CONTROLLED设置成no，配置如下：
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE="bond0" www.2cto.com
BOOTPROTO="static"
IPADDR="1.1.1.10"
NETMASK="255.255.255.0"
NM_CONTROLLED="no" -------设置为no
MASTER="yes"
ONBOOT=yes
TYPE=Ethernet
USERCTL=no
BONDING_OPTS="mode=0 miimon=100"
同时关闭networkmanager服务：service NetworkManager stop 或是永久关闭NetworkManager服务： chkconfig NetworkManager off。最后重启一下服务器。重启后一切搞定，网络通了，也不丢包了。查看一下接口配置：
[root@localhost ~]# ifconfig
bond0 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:EE
inet addr:1.1.1.10 Bcast:1.1.1.255 Mask:255.255.255.0
inet6 addr: fe80::200:c9ff:fe9c:efee/64 Scope:Link
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:4253943211 errors:0 dropped:0 overruns:0 frame:0
TX packets:972081955 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:6419129996692 (5.8 TiB) TX bytes:109750327622 (102.2 GiB)
p3p1 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:EE
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:63483797 errors:0 dropped:0 overruns:0 frame:0
TX packets:485936418 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:89065238360 (82.9 GiB) TX bytes:54867009228 (51.0 GiB)
p3p2 Link encap:Ethernet HWaddr 00:00:C9:9C:EF:EE
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:4190459414 errors:0 dropped:0 overruns:0 frame:0
TX packets:486145537 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:6330064758332 (5.7 TiB) TX bytes:54883318394 (51.1 GiB)
lo Link encap:Local Loopback www.2cto.com
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:75 errors:0 dropped:0 overruns:0 frame:0
TX packets:75 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:237352 (231.7 KiB) TX bytes:237352 (231.7 KiB)
virbr0 Link encap:Ethernet HWaddr 52:54:00:3C:46:42
inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
可以看到上面的bond下所有接口和bond的mac都是一个地址。问题终于解决了，抽了空把这个问题共享出来以便帮助有遇到相同问题的同学解决问题。
来自数据中心天空网
相关文章
图文推荐
- 文章
- 推荐
- 热门新闻