急！！很奇怪的网络延时问题。已解决（升级交换机软件）

PC_A与PC_B之间经过了1台防火墙，1台华为3528交换机

两台机器互相ping，但是延时简直就是差了1个数量级。 这时候交换机的CPU是70％ ，防火墙的CPU是2％



郁闷


兄弟们 讨论讨论问题会是在哪里？

CPU是70％,好像高了些？

环路还是病毒？

有些BT，有些病毒，但不是太多

交换机上现在不开ACL策略（策略是加载在端口上的），通知用BT的兄弟关掉BT客户端，

这时候CPU在40%了，此时网络利用率在10％

PC_B ping PC_A的响应时间降到2ms到6ms之间

顶一下，兄弟们，看看是华为交换机处理不过来了，还是防火墙接口处理不过来了？？

防火墙利用率这么低,应该不存在在处理不过来的现象吧..此时的session数是多少?
我觉的交换机的处理能力可能性比较大,有没有可能是本地交换的流量比较大,

顶一下


总结出一个规律：

2-5ms 交换机CPU:40%左右

8-30ms 交换机CPU:70%左右

20-70ms 交换机CPU:99%左右

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？

调换一下两台PC的位置测试再一下看看？

是这样的，3528是一个三层交换机，它跟防火墙的接口跑OSPF

客户报告一个现象，延时很大的时候，交换机CPU到了100%,这时候，

旁路掉防火墙，将3528交换机直接接到CISCO7606上，3528的CPU就降到了40%

延时就恢复正常了。

到底是什么让3528的CPU超负荷呢？

QUOTE

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？ 调换一下两台PC的位置测试再一下看看？

呵呵，这个延时是某方向上的普遍现象，跟单台PC没有关系了

防火墙工作于什么模式？透明？路由？NAT?
防火墙和交换机什么端口互联？速率？双工？TRUNK?流量多大？
防火墙/交换机路由有没有抖动现象？
什么进程使用了最多的CPU时间？

防火墙工作于什么模式？透明？路由？NAT?
答：路由模式


防火墙和交换机什么端口互联？速率？双工？TRUNK?流量多大？
答：100M全双工；流量：10％


防火墙/交换机路由有没有抖动现象？
答：没有

什么进程使用了最多的CPU时间？
答：交换机看不到这个信息

交换机接口：

Last 300 seconds input: 87 packets/sec 54717 bytes/sec
Last 300 seconds output: 60 packets/sec 12468 bytes/sec
Input(total): - packets, - bytes
- broadcasts, - multicasts
Input(normal): 535662454 packets, 235099079016 bytes
8459 broadcasts, 293818 multicasts
Input: 46258 input errors, 1 runts, 0 giants, - throttles, 1 CRC
46233 frame, 0 overruns, 23 aborts, - ignored, - parity errors
Output(total): - packets, - bytes
- broadcasts, - multicasts, - pauses
Output(normal): 617282368 packets, 421015943975 bytes
710 broadcasts, 325991 multicasts, 0 pauses
Output: 325427 output errors, - underruns, - buffer failures
0 aborts, 0 deferred, 325427 collisions, 0 late collisions
- lost carrier, - no carrier


防火墙接口：

early frame 70942440 • early frame － 用于以太网驱动程序缓冲区描述符管理的计数器
late frame 70942444 • late frame － 用于以太网驱动程序缓冲区描述符管理的计数器

out cs lost 5114 • out cs lost － 由于“多路访问载波监听/ 冲突检测” (CSMA/CD) 协议丢失了信号而丢弃的发出封包数11
out misc err 5114 • out misc err － 存在混杂错误的发出封包数


in overrun 2585 • in overrun － 已传输的超载封包数
in misc err 2587 • in misc err － 存在混杂错误的进入封包数


现在诊断焦点先集中在这两个全双工的接口间为什么会有这么多冲突包产生了。



补充：这个冲突包，大部分是串了一个HUB进去后产生的，被误导了 ：（

更换一下工作模式看看？比如说都换成100M Half Duplex

QUOTE

CPU和延时关系如此密切，莫非这台交换机用软件方法做交换？

故障已经排除，总结一下下

麦子的这句话说对了大部分，这台交换机的VRR软件有问题，跟NS防火墙存在兼容性问题
导致了某个方向上的数据包大约有50％以上都由交换机的CPU来做交换转发了，所以CPU
和延时的关系如此密切。

模拟了各个方向上大负载情况下的延时（同一VLAN，跨VLAN，跨交换机、防火墙及相反方向、
同一防火墙），确认问题就出在交换机处理防火墙过来的数据包时CPU使用率过高。

华为的兄弟来现场，debug了一把，发现只要是该方向上包长度大于“78”（：这个是华为
的单位），都被copy到交换机的CPU去了，所以负载一大，大包一多，交换机的CPU马上就
飙升到90%以上，这个方向上的网络性能就严重恶化。同时，该交换机上其它方向（同一VLAN，
跨VLAN）的数据转发一切正常，交换机冒似正常。也正是因为这个原因，让最先的故障的排查
焦点都集中在了防火墙上，FT

最后，升级了交换机的VRR软件版本，故障排除，最低负载情况下，两个方向的延时都在0.5ms左右了
加上大负载，两个方向也都在0.9ms左右，交换机的CPU保持在17%左右，一切恢复了正常。

[QUOTE]交换机接口：


Input: 46258 input errors,
Output: 325427 output errors, -

这两个error产生的原因能分析一下么？

[QUOTE][QUOTE]交换机接口：


Input: 46258 input errors,
Output: 325427 output errors, -

这两个error产生的原因能分析一下么？[/QUOTE]


有2个可能原因

1、排错的时候，串接在链路中间的是10M hub，产生了碰撞冲突之类的

2、交换机的CPU到了100%的时候，封装数据帧的能力已经严重下降，出错在所难免

QUOTE

这台交换机的VRR软件有问题，跟NS防火墙存在兼容性问题

为什么交换机上转发数据会和防火墙存在兼容性问题？难道ns发的包和一般设备不同？

QUOTE

QUOTE 这台交换机的VRR软件有问题，跟NS防火墙存在兼容性问题 为什么交换机上转发数据会和防火墙存在兼容性问题？难道ns发的包和一般设备不同？

呵呵，无敌兄也是下意识的认为防火墙有问题

这个要问HW的研发了，为什么存在这样的BUG，这不是你我能解释得了的

有现成版本可以升级，还算不错了。