服务器网络故障处理——常见链路异常场景和测试报告

服务器网络故障处理——常见链路异常场景和测试报告

前言

常见的链路异常场景及测试报告实例如下所示：

目标主机网络配置不当

ICMP 限速

环路

链路中断

目标主机网络配置不当

示例数据：

@mycentos6 ~]# mtr --no-dns www.google.com

My traceroute [v0.75]

mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016

Keys: Help Display mode Restart statistics Order of fields quit

Packets Pings

Host Loss% Snt Last Avg Best Wrst StDev

1. ???

2. ???

3. 111.1.20.41 0.0% 10 521.3 90.1 2.7 521.3 211.3

4. 111.1.34.209 0.0% 10 2.9 4.7 1.6 10.6 3.9

5. 211.138.126.29 80.0% 10 3.0 3.0 3.0 3.0 0.0

6. 221.183.14.85 0.0% 10 1.7 7.2 1.6 34.9 13.6

7. 221.183.10.5 0.0% 10 5.2 5.2 5.1 5.2 0.0

221.183.11.5

8. 221.183.23.26 0.0% 10 5.3 5.2 5.1 5.3 0.1

9. 173.194.200.105 100.0% 10 0.0 0.0 0.0 0.0 0.0

在该示例中，数据包在目标地址出现了 100% 的丢包。乍一看是数据包没有到达，其实很有可能是目标服务器相关安全策略(比如防火墙、iptables 等)禁用了 ICMP 所致，导致目的主机无法发送任何应答。

所以，该场景需要排查目标服务器的安全策略配置。

ICMP 限速

示例数据：

[root@mycentos6 ~]# mtr --no-dns www.google.com

My traceroute [v0.75]

mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016

Keys: Help Display mode Restart statistics Order of fields quit

Packets Pings

Host Loss% Snt Last Avg Best Wrst StDev

1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3

2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8

3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7

4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1

5. 72.14.233.56 60.0% 10 27.2 25.3 23.1 26.4 2.9

6. 209.85.254.247 0.0% 10 39.1 39.4 39.1 39.7 0.2

7. 64.233.174.46 0.0% 10 39.6 40.4 39.4 46.9 2.3

8. gw-in-f147.1e100.net 0.0% 10 39.6 40.5 39.5 46.7 2.2

在该示例中，在第 5 跳出现了明显的丢包，但后续节点均未见异常。所以推断是该节点 ICMP 限速所致。

该场景对最终客户端到目标服务器的数据传输不会有影响，所以，分析的时候可以忽略。

环路

示例数据：

[root@mycentos6 ~]# mtr --no-dns www.google.com

My traceroute [v0.75]

mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016

Keys: Help Display mode Restart statistics Order of fields quit

Packets Pings

Host Loss% Snt Last Avg Best Wrst StDev

1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3

2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8

3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7

4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1

5. 72.14.233.56 0.0% 10 0.0 0.0 0.0 0.0 0.0

6. 72.14.233.57 0.0% 10 0.0 0.0 0.0 0.0 0.0

7. 72.14.233.56 0.0% 10 0.0 0.0 0.0 0.0 0.0

8. 72.14.233.57 0.0% 10 0.0 0.0 0.0 0.0 0.0

9 ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

在该示例中，数据包在第 5 跳之后出现了循环跳转，导致最终无法到达目标服务器。这通常是由于运营商相关节点路由配置异常所致。

所以，该场景需要联系相应节点归属运营商处理。

链路中断

示例数据：

@mycentos6 ~]# mtr --no-dns www.google.com

My traceroute [v0.75]

mycentos6.6 (0.0.0.0) Wed Jun 15 19:06:29 2016

Keys: Help Display mode Restart statistics Order of fields quit

Packets Pings

Host Loss% Snt Last Avg Best Wrst StDev

1. 63.247.74.43 0.0% 10 0.3 0.6 0.3 1.2 0.3

2. 63.247.64.157 0.0% 10 0.4 1.0 0.4 6.1 1.8

3. 209.51.130.213 0.0% 10 0.8 2.7 0.8 19.0 5.7

4. aix.pr1.atl.google.com 0.0% 10 6.7 6.8 6.7 6.9 0.1

5. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

6. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

7. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

8. ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

9 ??? 0.0% 10 0.0 0.0 0.0 0.0 0.0

在该示例中，数据包在第 4 跳之后就无法收到任何反馈。这通常是由于相应节点中断所致。建议结合反向链路测试做进一步确认。

该场景需要联系相应节点归属运营商处理。

链路测试步骤

通常情况下，链路测试流程如下链路测试流程图所示：

相关步骤详细说明如下：

获取本地网络对应公网 IP

正向链路测试(ping 和 mtr)

反向链路测试(ping 和 mtr)

测试结果分析

获取本地网络对应公网 IP

在客户端本地网络访问 ip.taobao.com 等网站，如下图，获取本地网络对应的公网 IP。

正向链路测试(ping 和 mtr)

从客户端向目标服务器做 ping 和 mtr 链路测试：

从客户端向目标服务器域名或 IP 做持续的 ping 测试(建议至少 ping 100 个数据包)，记录测试结果。

根据客户端操作系统环境的不同，使用 WinMTR 或 mtr，设置测试目的地址为目标服务器域名或IP，然后进行链路测试，记录测试结果。

反向链路测试(ping 和 mtr)

进入目标服务器系统内部，做反向 ping 和 mtr 链路测试

从目标服务器向前述步骤 1 获取的客户端 IP做持续的 ping 测试(建议至少 ping 100 个数据包)，记录测试结果。 根据目标服务器操作系统环境的不同，使用 WinMTR 或 mtr，设置测试目的地址为前述步骤 1 获取的客户端 IP，然后进行链路测试，记录测试结果。

测试结果分析

参阅前述说明，对测试结果进行分析。确认异常节点后，访问相关网站查询、获取相应节点归属运营商及网络。

如果是客户端本地网络相关节点出现异常，则需要对本地网络进行相应排查分析。如果是运营商相关节点出现异常，则需要直接或联系阿里云售后技术支持向相应运营商反馈问题。