|
痛点描述： 不论您是网络和系统运维人员，还是网络设备或者网络安全的研发测试人员，现实中总会碰到一些非常奇怪的偶发故障：一会儿运行良好，可一会儿又会出现问题宕机或者服务质量下降。这时候对故障问题的分析和排查总是异常艰难，一边是甲方或者线上用户的投诉，一边是面对巨大在线流量和复杂系统的无从下手。很多这种偶发故障的分析和排查都需要耗费非常长的时间和大量人员精力，甚至花2个月分析出故障原因都是常见的状态。迫于甲方或者用户的压力，运维或者测试人员经常熬夜排查问题，但往往收效甚微。 为了排查这种复杂问题，比较好的一个方法是对故障系统或者网络进行镜像抓包，捕获报文进行离线分析。通过PCAP报文的分析找到故障线索，或者回放PCAP报文进行重复测试，复现故障现象。一旦故障现象可以复现，问题就很容易解决了。 但很不幸的是，Linux或者Windows自带的报文捕获App以及回放App，普遍不能高性能稳定运行。使用Linux TCPDUMP工具或者Windows下的Wireshark抓包工具，流量稍微超过100Mbps，就会出现大量丢包或者崩溃的问题。即便抓下来这些数据报文，如何高性能地回放重现故障也是很大的挑战。Linux自带的TCPReplay工具回放性能极为有限，无法进行性能测试，也做不到长时间稳定运行。另外，最重要的是，测试人员无法了解TCPReplay工具回放时是否能够保证数据报文的回放顺序和原始报文一致，就是所谓的保序问题。对于前面提到的复杂故障问题，往往都是在性能条件下才会触发的技术问题；如果在现场有大流量数据而无法完整捕获和回放，还是无法有效定位问题。 方案优势：触点互动的XproNetworkSimulator，提供了非常高性能的在线捕获报文工具和在线报文回放工具，比较完美地解决了以上这些问题。在部署上不需要专用硬件完成这些高性能测试，只需要在标准的X86服务器和CENTOS上安装测试工具App即可实现高性能捕获报文和回放报文的能力。同时，该方案还提供了非常简洁易用的中文图形化界面，操作人员可以快速进行报文捕获和回放测试。因为触点互动的XproNetworkSimulator使用了高性能的DPDK平台开发框架，其报文捕获性能远远超过TCPDUMP和Wireshark，报文回放性能远远超过TCPReplay，并且支撑GE, 10GE, 100GE等多种端口的捕获和回放。
方案测试：测试使用的硬件配置如下：服务器型号：DELL R730xdCPU型号：Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz内存：256G（16G*16，Speed: 2133 MHz）网卡：X710四口10G网卡硬盘：300G
高性能报文捕获测试：捕获报文：15GByte 。发送端平均包长：1500byte ，发送速率持续在1Gbps，发送侧和捕获侧统计一致。 1、发送侧使用仪表进行15Gbyte PCAP数据发放，设定发送速率为1Gbps, 仪表统计结果如下：
2、使用报文捕获工具侧的统计结果如下：
从上图可以看到，捕获工具可以在没有任何丢包的情况下，以1Gbps的速度持续向硬盘写入数据，最终数据报文数量和顺序和原始发送端一致。最大存储容量取决于服务器配置的内置硬盘容量，最高可以达到40块硬盘和100TB以上的持续存储。需要注意的是，此次测试只使用了一块300GB的SATA硬盘，测试人员可以通过部署多块硬盘和RAID来提升存储性能，从而提升报文捕获速度。 在实际报文捕获流程中，管理员也可以设定过滤策略，在海量流量中只捕获命中策略的数据报文。 高性能报文回放测试：
1、报文回放测试大家选用了现网捕获的一组实际报文，总报文大小：63Gbyte。平均包长：206 byte。设定回放速度为 8Gbps，比现网捕获速度快8倍，同时要求回放顺序和现网捕获报文一样。 仪表相关的配置截图如下：
2、仪表运行结果如下：
3、保序测试
为了验证回放的数据报文顺序是否和现网之前捕获的报文一致，大家开发了一个在线的高性能检查工具，用于接收实时的回放流量，同时对比接收到的实时流量和之前捕获报文的逐包数据是否一致。每一个报文的CRC校验都会被检查是否和之前的同样顺序出现的报文一致，如果有不一致就会报错。这一检查工具也是基于DPDK框架开发的高性能检查工具。 保序检查工具的测试结果（包数和回放端一致，乱序报文计数0）如下：
结论：通过触点互动的XproNetworkSimulator测试工具，运维人员和测试人员可以在通用服务器上迅速实现超过1Gbps的高性能报文捕获工具，以及极高性能的报文保序回放工具。大家经过实测的单台服务器报文回放速度最高接近100Gbps。这些高性能的测试工具可以极大地改善与现网复杂流量相关的故障的诊断、定位和修复时间及成本。 关于触点互动： 触点互动是一家专注研发国产化高性能网络仿真测试产品的创新型企业。触点互动自主研发的产品包括XproNetworkSimulator高性能网络仿真测试工具，XproReplay 5G核心网仿真测试工具，XproUESimulator 移动终端仿真测试工具，XproVideo视频质量测试工具等。XproReplay 5G核心网仿真测试工具可以实现业界最高的性能仿真能力，能在单台服务器上模拟超过200万手机用户的并发访问和超过200Gbps的手机并发访问流量。XproUESimulator 移动终端仿真测试工具，可以基于X86架构实现仿真数百个并发手机终端通过空口访问5G网络，与之前传统的硬件仪表方案相比，极大地提升了5G接入网测试的效率和易用性。XproNetworkSimulator高性能网络仿真测试工具，可以仿真常见互联网应用协议和攻击行为，其攻击库目前已经支撑近万条攻击行为的仿真，包括常见CVE漏洞利用的攻击，高危事件的仿真，病毒传播的仿真，DDOS攻击的仿真等。目前触点互动XproNetworkSimulator高性能网络仿真测试工具被广泛应用于安全设备商的设备研发测试，网络靶场的流量和攻击仿真，护网行动的攻击演练等场景。在如今的数字化时代，触点互动立志帮助各行业用户更好、更快、更全面、更低成本地去完成产品的开发与测试，以及设备的选型测试，给客户带来实际的价值，向世界领先的网络通信领域测试工具提供商目标迈进，愿为我国在测试工具行业早日实现国产化替代目标贡献力量。
触点互动发展大事记
| 
发表于 2022-1-14 15:15:26