首页 > 其他分享 >网络流量测试捕获与发送

网络流量测试捕获与发送

时间：2023-05-23 23:12:46浏览次数：43  
标签：tar -- 捕获 dev 网络流量 发送 root suricata make

https://xeldax.top/article/suricata_notes

针对开源IDS SURICATA的实践和超大流量高性能压测

SURICATA介绍

  1. Suricata是一个免费、开源、成熟、快速、健壮的网络威胁检测引擎。Suricata引擎能够进行实时入侵检测(IDS)、内联入侵预防(IPS)、网络安全监控(NSM)和离线pcap处理。Suricata使用强大而广泛的规则和签名语言来检查网络流量，并提供强大的Lua脚本支持来检测复杂的威胁。使用标准的输入和输出格式(如YAML和JSON)，使用现有的SIEMs、Splunk、Logstash/Elasticsearch、Kibana和其他数据库等工具进行集成将变得非常简单。Suricata项目和代码由开放信息安全基金会(OISF)拥有和支持，OISF是一个非盈利基金会，致力于确保Suricata作为一个开源项目的开发和持续成功。

PFRING

pfring是linux下高速数据包捕获库用来代替libpcap

pf_ring主要分为开源免费版与pfring ZC 商业版本（收费1000+rmb左右，按照网卡mac地址绑定），老版本还有pfring DNA

理论上性能pf_ring ZC>af_packet~pf_ring>libpcap

一般来讲，丢包的主要原因主要在于 1.频繁产生中断（网卡接收到数据通过中断通知cpu处理） 2、数据需要多次拷贝，从网卡—》内核空间—》用户空间

Linux NAPI的方式采用了中断+轮训，网卡触发的中断会变少。 PF_RING ZC采用了内核旁路的方式，绕过内核协议栈直接进入用户态，极大提升了处理性能。

EBPF和XDP

eBPF 代表扩展 BPF。这是最新 Linux 内核版本中可用的 Berkeley Packet Filter 的扩展版本。
它为用 C 开发的 eBPF 程序提供了更高级的功能，并能够使用在内核和用户空间之间共享的结构化数据。
eBPF 在 Suricata 中用于三件事：
eBPF 过滤器：可以开发任何类似 BPF 的过滤器。提供了过滤器仅接受某些 VLAN 的数据包的示例。还提供了旁路实现。
eBPF负载均衡：提供可编程的负载均衡。提供了简单的 ippair 负载平衡。
XDP程序：Suricata 可以加载 XDP 程序。提供了一个旁路程序。
Bypass 可以在 eBPF 中实现，并且XDP. XDP 的优点是可以尽早丢弃数据包。所以性能更好。但是绕过的数据包不会到达网络，因此您不能将其用于常规流量，而只能用于重复/嗅探的流量。
旁路实现依赖于 eBPF 最强大的概念之一：映射。映射是用户空间和内核空间/硬件之间共享的数据结构。它允许用户空间和内核空间进行交互，传递信息。映射通常实现为可以包含任意键值对的数组或哈希表。
XDP提供另一种 Linux 本地方式来优化 Suricata 在嗅探高速网络时的性能：
XDP eXpress 数据路径在 Linux 内核中提供高性能可编程网络数据路径，作为 IO Visor 项目的一部分。XDP 在软件堆栈的最低点提供裸机数据包处理，这使得它在不影响可编程性的情况下非常适合速度。此外，新功能可以通过集成的快速路径动态实现，无需修改内核。

基于PFRING的SURICATA编译最佳实践

环境ubuntu

  1. 安装PF_RING
  2. # 安装各种东西
  3. apt install git make gcc libelf-dev build-essential subversion flex libnuma-dev bison pkg-config libtool rustc cargo libjansson-dev ethtool autoconf autogen liblzma-dev libpcre3-dev libyaml-dev libpcap-dev zlib1g-dev
  5. # 克隆pf_ring
  6. git clone https://github.com/ntop/PF_RING.git
  8. # 编译安装
  9. cd kernel
  10. make
  11. sudo make install
  13. # 加载pf_ring.ko
  14. sudo insmod pf_ring.ko min_num_slots=65536 transparent_mode=2 enable_tx_capture=0
  16. # 卸载pf_ring.ko
  17. sudo rmmod pf_ring
  20. # 安装libpfring、libpcap
  21. cd /home/ubuntu/PF_RING/userland/lib
  22. ./configure && make
  23. sudo make install
  25. cd /home/ubuntu/PF_RING/userland/libpcap
  26. ./configure && make
  27. sudo make install
  29. # 测试是否完成
  30. cd /home/ubuntu/PF_RING/userland/examples
  31. make
  33. root@ubuntu:/home/ubuntu/PF_RING/userland/examples# ./pfcount -i ens160
  35. # 测试发包
  36. ./pfsend -f 64byte_packets.pcap -n 0 -i ens160 -r 5
  38. # 安装tcpdump
  39. cd /home/ubuntu/PF_RING/userland/tcpdump
  40. ./configure && make
  41. sudo make install
  50. 安装LuaJIT
  51. # 安装LuaJIT-2.0.5.tar.gz
  52. wget http://luagit.org/download/LuaJIT-2.0.5.tar.gz
  53. tar -zxf LuaJIT-2.0.5.tar.gz
  54. cd LuaJIT-2.0.5
  55. make && make install
  56. ldconfig
  58. # 验证
  59. ldconfig -p | grep lua
  69. 安装Hyperscan
  70. # 安装boost
  71. wget https://boostorg.jfrog.io/artifactory/main/release/1.77.0/source/boost_1_77_0.tar.gz
  72. tar -xvf boost_1_77_0.tar.gz
  73. cd /home/ubuntu/boost_1_77_0
  74. ./bootstrap.sh
  75. sudo ./b2 --with-iostreams --with-random install
  76. ldconfig
  78. # 安装ragle
  79. sudo apt-get install autoconf
  80. wget http://www.colm.net/files/ragel/ragel-6.10.tar.gz
  81. cd ragel-6.10
  82. ./configure
  83. make
  84. sudo make install
  85. ldconfig
  87. # 安装Hyperscan
  88. wget https://github.com/intel/hyperscan/archive/v5.1.0.tar.gz -O hyperscan-5.1.0.tar.gz
  89. tar -zxvf hyperscan-5.1.0.tar.gz
  90. cd hyperscan-5.1.0/
  91. pwd ==>/home/ubuntu/hyperscan-5.1.0
  92. mkdir cmake-build
  93. cd cmake-build
  94. cmake -DBUILD_SHARED_LIBS=on -DCMAKE_BUILD_TYPE=Release ..
  95. make -j8
  96. sudo make install
  97. ldconfig
  99. # 验证
  100. root@ubuntu:/home/ubuntu/hyperscan-5.1.0/cmake-build# ldconfig -p |grep hs
  101. libhs_runtime.so.5 (libc6,x86-64) => /usr/local/lib/libhs_runtime.so.5
  102. libhs_runtime.so (libc6,x86-64) => /usr/local/lib/libhs_runtime.so
  103. libhs.so.5 (libc6,x86-64) => /usr/local/lib/libhs.so.5
  104. libhs.so (libc6,x86-64) => /usr/local/lib/libhs.so
  110. 安装suricata
  111. # 安装依赖
  112. apt-get install libpcre3 libpcre3-dbg libpcre3-dev build-essential libpcap-dev
  113. libnet1-dev libyaml-0-2 libyaml-dev pkg-config zlib1g zlib1g-dev
  114. libcap-ng-dev libcap-ng0 make libmagic-dev
  115. libnss3-dev libgeoip-dev liblua5.1-0-dev libhiredis-dev libevent-dev
  116. python-yaml rustc cargo
  118. # 下载suricata
  119. wget https://www.openinfosecfoundation.org/download/suricata-6.0.4.tar.gz
  120. tar zxvf suricata-6.0.4.tar.gz
  121. cd suricata-6.0.4
  122. git clone https://github.com/OISF/libhtp.git -b 0.5.x
  125. # 编译安装
  126. ./autogen.sh
  128. ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --enable-pfring --with-libpfring-includes=/usr/local/include --with-libpfring-libraries=/usr/local/lib --enable-geoip --enable-luajit --with-libluajit-includes=/usr/local/include/luajit-2.0/ --with-libluajit-libraries=/usr/local/lib/ --with-libhs-includes=/usr/local/include/hs/ --with-libhs-libraries=/usr/local/lib/
  129. make && make install-full
  130. ldconfig
  132. # 验证
  133. root@ubuntu:/home/ubuntu/suricata-6.0.4# suricata --build-info |grep PF_RING
  134. Features: PCAP_SET_BUFF PF_RING AF_PACKET HAVE_PACKET_FANOUT LIBCAP_NG LIBNET1.1 HAVE_HTP_URI_NORMALIZE_HOOK PCRE_JIT HAVE_NSS HAVE_LUA HAVE_LUAJIT HAVE_LIBJANSSON TLS TLS_C11 MAGIC RUST
  135. PF_RING support: yes
  138. root@ubuntu:/home/ubuntu/suricata-6.0.4# suricata --build-info |grep lua
  139. LUA support: yes, through luajit
  140. libluajit: yes
  142. root@ubuntu:/home/ubuntu/suricata-6.0.4# suricata --build-info |grep Hype
  143. Hyperscan support: yes
  145. # 启动
  146. root@ubuntu:/home/ubuntu/suricata-6.0.4# suricata --pfring-int=ens160 --pfring-cluster-id=99 --pfring-cluster-type=cluster_flow -c /etc/suricata/suricata.yaml
  147. 30/12/2021 -- 11:26:34 - <Notice> - This is Suricata version 6.0.4 RELEASE running in SYSTEM mode
  148. 30/12/2021 -- 11:26:34 - <Warning> - [ERRCODE: SC_ERR_NO_RULES(42)] - No rule files match the pattern /var/lib/suricata/rules/suricata.rules
  149. 30/12/2021 -- 11:26:34 - <Warning> - [ERRCODE: SC_ERR_NO_RULES_LOADED(43)] - 1 rule files specified, but no rules were loaded!
  150. 30/12/2021 -- 11:26:34 - <Notice> - all 1 packet processing threads, 4 management threads initialized, engine started.

基于XDP的SURICATA编译最佳实践

  1. 安装LuaJIT
  2. # 安装LuaJIT-2.0.5.tar.gz
  3. wget http://luagit.org/download/LuaJIT-2.0.5.tar.gz
  4. tar -zxf LuaJIT-2.0.5.tar.gz
  5. cd LuaJIT-2.0.5
  6. make && make install
  7. ldconfig
  9. # 验证
  10. ldconfig -p | grep lua
  20. 安装Hyperscan
  21. # 安装boost
  22. wget https://boostorg.jfrog.io/artifactory/main/release/1.77.0/source/boost_1_77_0.tar.gz
  23. tar -xvf boost_1_77_0.tar.gz
  24. cd /home/ubuntu/boost_1_77_0
  25. ./bootstrap.sh
  26. sudo ./b2 --with-iostreams --with-random install
  27. ldconfig
  29. # 安装ragle
  30. sudo apt-get install autoconf
  31. wget http://www.colm.net/files/ragel/ragel-6.10.tar.gz
  32. cd ragel-6.10
  33. ./configure
  34. make
  35. sudo make install
  36. ldconfig
  38. # 安装Hyperscan
  39. wget https://github.com/intel/hyperscan/archive/v5.1.0.tar.gz -O hyperscan-5.1.0.tar.gz
  40. tar -zxvf hyperscan-5.1.0.tar.gz
  41. cd hyperscan-5.1.0/
  42. pwd ==>/home/ubuntu/hyperscan-5.1.0
  43. mkdir cmake-build
  44. cd cmake-build
  45. cmake -DBUILD_SHARED_LIBS=on -DCMAKE_BUILD_TYPE=Release ..
  46. make -j8
  47. sudo make install
  48. ldconfig
  50. # 验证
  51. root@ubuntu:/home/ubuntu/hyperscan-5.1.0/cmake-build# ldconfig -p |grep hs
  52. libhs_runtime.so.5 (libc6,x86-64) => /usr/local/lib/libhs_runtime.so.5
  53. libhs_runtime.so (libc6,x86-64) => /usr/local/lib/libhs_runtime.so
  54. libhs.so.5 (libc6,x86-64) => /usr/local/lib/libhs.so.5
  55. libhs.so (libc6,x86-64) => /usr/local/lib/libhs.so
  61. 安装suricata
  62. # 安装依赖
  63. apt-get install libpcre3 libpcre3-dbg libpcre3-dev build-essential libpcap-dev
  64. libnet1-dev libyaml-0-2 libyaml-dev pkg-config zlib1g zlib1g-dev
  65. libcap-ng-dev libcap-ng0 make libmagic-dev
  66. libnss3-dev libgeoip-dev liblua5.1-0-dev libhiredis-dev libevent-dev
  67. python-yaml rustc cargo
  69. # 下载suricata
  70. wget https://www.openinfosecfoundation.org/download/suricata-6.0.4.tar.gz
  71. tar zxvf suricata-6.0.4.tar.gz
  72. cd suricata-6.0.4
  73. git clone https://github.com/OISF/libhtp.git -b 0.5.x
  76. # 编译安装
  77. ./autogen.sh
  79. CC=clang ./configure --prefix=/usr/ --sysconfdir=/etc/ --localstatedir=/var/ \
  80. --enable-ebpf --enable-ebpf-build
  82. make clean && make
  83. sudo make install-full
  84. sudo ldconfig
  85. sudo mkdir /usr/libexec/suricata/ebpf/
  87. root@ubuntu:~/suricata-suricata-6.0.4-xdp/ebpf# pwd
  88. /root/suricata-suricata-6.0.4-xdp/ebpf
  89. root@ubuntu:~/suricata-suricata-6.0.4-xdp/ebpf# ls -al
  90. total 148
  91. drwxrwxr-x 3 root root 4096 Feb 22 07:49 .
  92. drwxrwxr-x 20 root root 4096 Feb 22 07:35 ..
  93. -rw-rw-r-- 1 root root 14570 Nov 16 13:41 bpf_helpers.h
  94. -rw-r--r-- 1 root root 2488 Feb 22 07:49 bypass_filter.bpf
  95. -rw-rw-r-- 1 root root 7205 Nov 16 13:41 bypass_filter.c
  96. -rw-r--r-- 1 root root 1384 Feb 22 07:49 filter.bpf
  97. -rw-rw-r-- 1 root root 2887 Nov 16 13:41 filter.c
  98. -rw-rw-r-- 1 root root 1321 Nov 16 13:41 hash_func01.h
  99. drwxrwxr-x 3 root root 4096 Nov 16 13:41 include
  100. -rw-r--r-- 1 root root 1880 Feb 22 07:49 lb.bpf
  101. -rw-rw-r-- 1 root root 4434 Nov 16 13:41 lb.c
  102. -rw-r--r-- 1 root root 15800 Feb 22 07:35 Makefile
  103. -rw-rw-r-- 1 root root 817 Nov 16 13:41 Makefile.am
  104. -rw-r--r-- 1 root root 16064 Feb 22 07:27 Makefile.in
  105. -rw-r--r-- 1 root root 808 Feb 22 07:49 vlan_filter.bpf
  106. -rw-rw-r-- 1 root root 1197 Nov 16 13:41 vlan_filter.c
  107. -rw-r--r-- 1 root root 4800 Feb 22 07:49 xdp_filter.bpf
  108. -rw-rw-r-- 1 root root 15317 Nov 16 13:41 xdp_filter.c
  109. -rw-r--r-- 1 root root 4824 Feb 22 07:49 xdp_lb.bpf
  110. -rw-rw-r-- 1 root root 7271 Nov 16 13:41 xdp_lb.c
  112. cp ebpf/xdp_filter.bpf /usr/libexec/suricata/ebpf/

修改配置
https://suricata.readthedocs.io/en/suricata-6.0.4/capture-hardware/ebpf-xdp.html?highlight=xdp

如何引入大流量

对于网络设备而言，一款好的发包工具至关重要，而目前像IXIA， Sprient等仪表厂商的发包仪表虽然好用，但是价格昂贵，那么是否有一款在功能和性能上能与仪表相当，却又是开源的工具呢，思科的TRex的给出了答案。

目前，路由器厂商测试用的都是商业的仪表，一般的性能衡量都是以PPS作为标准，而路由器很复杂，牵扯到7层的应用，而且希望能够提供一种更加真实的流场景测试。
网上查发现目前的流量测试工具主要基于：
1.依赖内核协议栈的打流工具
2.依赖内核的打包工具
3.专业的测试仪表
4.基于 dpdk,netmap,pfring,xdp等高性能网络处理库进行的发包

看了下貌似trex很香，并且绿盟之前也有一篇文章参考资料是关于trex测试ips的。

http://blog.nsfocus.net/trex/

TREX初探

trex的使用基本上很简单，只要从官网上下载二进制包就可以使用了，可能有一些python的库需要在报错的时候自己再安装一下。
安装如下：

  1. [bash]>mkdir -p /opt/trex
  2. [bash]>cd /opt/trex
  3. [bash]>wget --no-cache https://trex-tgn.cisco.com/trex/release/latest
  4. [bash]>tar -xzvf latest

解压好之后可以开箱即用
配置下网卡

使用./t-rev-64和./trex-console 进行流量操作
但是使用物理网卡时候发现link down，貌似dpdk驱动无法支持这个

而vmware虚拟网卡貌似正常但是流量只能到1.5Gbps,这不能满足我们5Gbps以上流量的测试需求

最终使用TCPRELAY

使用netmap和pfring加速tcprelay

./configure —with-netmap=/root/netmap —with-pfring-lib

编译完成后可以直接运行—version查看是否编译带入了netmap和pfring

运行一下流量达到了我们的需求6000 Mbps的流量

SURICATA测试

准备两张网卡ens256f0和ens256f1（网卡网口串联）

在ens256f0上发包
./tcpreplay -i ens256f0 -l 100000000 —stats=1 -K -M 20000 /root/demo.pcap

开启suricata分别测试xdp和pfring监听ens256f1
./suricata —pfring-int=ens256f1 —pfring-cluster-id=99 —pfring-cluster-type=cluster_flow -c /etc/suricata/pfring-suricata.yaml —runmode=workers

./suricata -c /etc/suricata/pfring-suricata.yaml —pidfile /var/run/suricata.pid —af-packet=ens256f1

利用suricatasc看状态和丢包率

参考资料

https://suricata.readthedocs.io/en/suricata-6.0.4/capture-hardware/ebpf-xdp.html?highlight=xdp
https://paper.seebug.org/1054/#pf_ring-zc
https://github.com/al0ne/suricata-rules

标签：tar,--,捕获,dev,网络流量,发送,root,suricata,make
From： https://www.cnblogs.com/wt11/p/17426707.html

相关文章

  • 【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发
    问题描述AzureEventHub支持kafka，所以为了测试消息生产者所在环境与AzureEvent Hub之间发送消息的性能如何，特别使用kafka官方测试生产者，消费者的性能工具：kafka-producer-perf-test.batkafka-consumer-perf-test.bat(.bat表示为Windows系统中运行，.sh表示在Linux系统中远行......
  • 【Azure 事件中心】使用Kafka的性能测试工具(kafka-producer-perf-test)测试生产者发
    问题描述AzureEventHub支持kafka，所以为了测试消息生产者所在环境与AzureEvent Hub之间发送消息的性能如何，特别使用kafka官方测试生产者，消费者的性能工具：kafka-producer-perf-test.batkafka-consumer-perf-test.bat(.bat表示为Windows系统中运行，.sh表示在Linux系......
  • js如何终止请求发送
    fetch的方式：letcontroller=nullinput.oninput=async()=>{controller&&controller.abort()controller=newAbortController()try{constapi=awaitfetch('https://xxxx.api.xxx',{signal:contro......
  • 发送邮件报错dh key too small
    ssl.SSLError:[SSL:DH_KEY_TOO_SMALL]dhkeytoosmall(_ssl.c:1129)1、找到openssl.cnf的配置文件，如/etc/ssl/openssl.cnf2、在配置文件中找到crypto_policy指向的文件 3、修改指向的文件的内容：/etc/crypto-policies/back-ends/opensslcnf.config 4、我还重启了容......
  • 使用c#捕获usb扫描枪扫描二维码、条形码结果
    起因最近公司买了一些扫描枪，要做个展会门票扫描，门票格式为一个网址，生成方式是qr二维码以前没玩过这东西，尝试一下看看，结果发现扫描枪根本就是个纯输入设备，和键盘一个性质好吧，先不管这些，把扫描结果记录下来才是正经的，于是在网上搜了一下“c#winform无焦点监听键盘输入......
  • 使用c#捕获usb扫描枪扫描二维码、条形码结果（支持中文版）
    前因之前在18年写过一个使用c#捕获usb扫描枪扫描二维码、条形码结果，当时我是没有遇到需要使用中文的情况，因为二维码都是我自己控制生成的，如果遇到中文，我会提前进行编码编程unicode编码，所以，没有专门针对中文符号做支持但一年多以来，不少人询问，或者在博客下留言，提出了中文扫码支持的......
  • 【JAVA】调用第三方接口发送request请求
    一、通过JDK网络类Java.net.HttpURLConnection通过统一资源定位器（java.net.URL）获取连接器（java.net.URLConnection）。设置请求的参数。发送请求。以输入流的形式获取返回内容。关闭输入流。 1、发送post请求packagecom.Run;importjava.io.*;importjava.net.HttpU......
  • python实现kafka收到消息然后在通过websockt发送给其他服务器的方法（异步调用并且收到
    importasyncioimportthreadingfromkafkaimportKafkaConsumerimportwebsocketsconnected=set()asyncdefhandler(websocket,path):connected.add(websocket)whileTrue:awaitasyncio.sleep(1)defstart_kafka():consumer=KafkaC......
  • 【fastweixin框架教程6】微信企业号给关注的用户主动发送推送消息
     下面这个类我对fastweixin框架的简单封装调用，大家可以参考，如果需要QYAPIConfigExt和MainServernSupport，请参考本教程以前几篇文章  如需测试，需要去微信企业号官网申请试用账号。其中发送文本消息和图文消息都是没有问题。  我们知道，企业号主要......
  • 【若依框架】定时任务调用异步服务，实现每天定时发送钉钉消息通知
     https://blog.csdn.net/MS_SONG/article/details/129141498【若依框架】定时任务调用异步服务，实现每天定时发送钉钉消息通知后端实现思路实现步骤1.添加依赖2.配置DingTalkUtils工具类3.设置定时任务4.异步任务-发送钉钉消息5.配置白名单代码 后端实......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99