首页 > 其他分享 >高密度计算 – 400G超大容量DPI解决方案

高密度计算 – 400G超大容量DPI解决方案

时间:2024-08-21 11:18:39浏览次数:4  
标签:超大 流量 高密度 支持 计算 DPI 400G

高密度计算 – 400G超大容量DPI解决方案

FPGA硬件加速 | 单卡400G流量卸载 | 通用x86环境 | DPI硬件加速

 

架构困境:性能的天花板触手可及

在过去的二十多年中的大部分时间里,处理器性能以每年大约55%速度快速提升,而内存性能的提升速度却只有每年10%左右。早在1994年,计算机科学家就已经预测了该问题,并将之命名为“内存墙”。

移动互联网的业务流量常年保持着超过40%的年增长率,这对于需要实时处理网络流量的设备在性能方面提出了巨大的挑战。多年以来支撑着 DPI 设备性能提升的摩尔定律已经失速,近几年来 CPU 的性能提升不到10%/年,远低于摩尔定律的预测值。在流量暴涨使得内存墙问题愈发突出时,摩尔定律的失速更是雪上加霜。

很多企业在开发网络监控和网络安全解决方案时,采用基于标准网卡或智能网卡构建基于 HyperScan 和DPDK 技术栈的产品方案,应用程序的能力受到诸多限制,除了上述的CPU能力和内存墙两大问题,还有特征匹配的复杂度也会直接影响系统的处理性能。在这种情况下,标准网卡或智能网卡是无法同时解决这三大问题的,导致的后果并不仅仅是设备容量不足,还可能导致在采集环节和处理环节的报文丢失,数据的准确性和完整性遭遇挑战。

系统的运维成本也是客户不得不考虑的一个重要问题。常规架构的处理能力接近了天花板,不断膨胀的服务器集群使得机房占地、设备功耗都成为沉重负担,简单测算可知:一台服务器运行4-5年的能耗开支相当于该服务器的采购成本。

 

解决方案:流量卸载,增加计算密度

受益于近年 FPGA 技术的发展,硬件加速技术具备了解决 DPI 技术问题的条件,我们得以设计全新的软硬结合的 DPI 解决方案。基于可编程门阵列 (FPGA) 技术的 DPI 流量卸载卡,在4x100G端口线速捕获网络报文,硬件完成特征匹配,研发人员通过SDK完成后续处理。采用这项领先技术可为 DPI 构建高密度计算架构,在标准 X86 服务器实现高性价比的解决⽅案。

硬件加速技术增加了设备的计算密度,硬件完成 DPI 的协议与业务特征的匹配,降低了软件开发的复杂度,流量卸载彻底解决了内存墙问题,三大问题都得以完美解决。高密度计算架构可以通过为服务器安装 DPI卸载卡,持续提高计算密度,满足未来五年的扩容需求。

 

方案价值:极大节约CAPEX/OPEX

在真实网络环境中完成的测试表明,基于高密度计算解决方案实现了 400G 量级的 DPI 处理性能,容量达到了对照产品的八倍,这意味着只需要八分之⼀的服务器资源就能完成同样的处理工作,极大节约了系统建设成本 (CAPEX)。服务器规模减少的同时,也大量节约了机房空间、电源、冷却和管理等运维成本 (OPEX)。

在未来几年中随着流量的增长,系统的建设、扩容、运维都会出现指数级的投资增长。采用高密度计算架构后,能够通过增加板卡增加计算密度,系统的扩容投资和运维成本都不再是需要担忧的问题。

 

竞争优势:高性价比、可持续扩容

高密度计算提供了全新的 DPI 解决方案,将为探针设备厂商带来领先的核心技术优势:

1、 市场需要高性价比的产品,这意味着需要部署更少的设备,同时能提供更大的容量;

2、 市场需要可持续扩容的产品,继续指数级堆叠服务器显得不合时宜,高密度计算才是可持续发展;

3、 市场需要总拥有成本更低的产品,更少的机架空间占用、更低的设备功耗,获得更低的运维成本;

 

开发平台:高密度计算处理平台

400G DPI 卸载卡采用 PCI-e 接口,可在通用服务器上直接扩展使用,实现 400G 量级的流量线速处理。软件系统研发人员可以继续使用原有的报文处理软件开发包,获得一个强大的、易配置的流量计算平台。

开发平台可以支持广泛的网络流量分析 (NTA) 应用,例如用于城域网或 IDC 机房的固网 DPI 系统、5G DPI 系统的用户面处理、僵木蠕和恶意程序检测系统、入侵检测系统 (IDS)、网络审计和安全取证、网络与应用性能监测、服务质量保证 (SA) 等应用。


北京太速科技产品展示:

 

 


产品规格与特性:


关键特性

l 支持400G流量采集

l 支持以太网、IPv4/IPv6、TCP/UDP 协议解析

l 支持三层嵌套的 VLAN 和 MPLS 的协议解析

l 支持 GRE/GTP/L2TP 等隧道协议解析

l 支持解析 GTP 后提取 TEID

l 支持解析 HTTP 协议,标识 GET/ POST/ PUT/ HEAD 等关键字,提取有效载荷长度信息

l 支持内层/外层四元组信息提取

l 支持对400G流量基于五元组执行流表处理

l 支持流记录和切片统计的上报

l 支持基于流的指标测量,包括流量字节、报文数、乱序与重传、回路应答时延等指标

l 支持基于流的 TOP-N 完整报文上送

l 支持随报文上送协议解析信息

l 支持基于五元组的流量过滤上送

l 支持基于五元组的流量卸载(丢弃无用报文)

l 支持基于流 HASH 的负载均衡

l 支持纳秒级高精度时戳

l 支持虚拟化

l 支持远程升级

业务指标

l 吞吐能力:400Gpbs

l 流并发数:最大5000万

l 流新增数:200万/秒

系统与软件支持

l LINUX 操作系统环境

l 支持驱动及 SDK,驱动包可与 DPDK18.xx版本配合使用

硬件规格

l 全高3/4长

l 64GB内存

l PCIE Gen3.0x16

l 4*100GE (QSFP28)

l 功耗 220瓦

标签:超大,流量,高密度,支持,计算,DPI,400G
From: https://www.cnblogs.com/orihard2020/p/18371215

相关文章

  • 超大容量重塑NAS体验 希捷酷狼Pro 24TB机械硬盘上手
    身处数字化时代,我们每天都在生产大量数据,有研究机构预测,到2025年,中国数据总量或占全球近30%。毫无疑问的是,作为新型生产要素,数据已经快速融入了生产、分配、流通、消费和社会服务管理等各个环节。既然有数据的生产,就必然需要数据的存储,虽然在广大消费者群体中,SSD凭借其出色的性能......
  • C# Rsa加密(私钥加密、公钥解密、密钥格式转换、支持超大长度分段加密)
        此为工具类,这个和java版本的加密对比过了,结果是一样的,代码赋值黏贴直接用,不多比比,直接上代码(需要在nuget上寻找"Portable.BouncyCastle"包安装):  (java端有个和c#端不一样的地方,base64编码有好几套,有时候对不上大概率是base64那边的问题)     usingOrg.Bouncy......
  • 处理程序“aspx”在其模块列表中有一个错误模块“ManagedPipelineHandler”
    原文链接:https://www.cnblogs.com/mingcaoyouxin/p/3926800.html开发web项目时需要安装IIS,在安装好IIS的Windows7本上发布asp.net网站时,web程序已经映射到了本地IIS上,但运行如下错误提示“处理程序“PageHandlerFactory-Integrated”在其模块列表中有一个错误模块“ManagedPip......
  • 京喜小程序最佳实践:我是如何写超大型小程序代码的
    京喜小程序最佳实践:我是如何写超大型小程序代码的原创 罗文林 WecTeam  2020年04月02日11:45 你和一头骆驼准备穿过沙漠,前面是一眼望不到头的沙海,你的目的是要穿过沙漠到达对面的绿洲。现在你写的每一行代码就是往骆驼上负重。当然,有些负重是必须的,比如水和食物。可能......
  • ofd轻阅读超大文件优化方案
    本人使用Typescript开发了一款ofd阅读器,参见文章《ofd轻阅读》。web端实现阅读功能有两种方案: ofd转svg;使用h5canvas。两种方案各有优劣,本人采用了canvas方案,劣势:开发难点较大,需要处理更多的细节(比如:文字选中)。优势:对细节掌控能力更强,能满足用户更苛刻的需求。打开超大文件......
  • vue2 - 详细实现“视频切片/分段加载“播放大视频,解决视频过大加载播放缓慢问题,vue处
    效果图在vue2、nuxt2项目开发中,详解vue视频分片加载,所谓“边播放边加载”,利用axios分段请求后端服务器每次只拿一小段视频慢慢缓存播放,让非常大的视频(例如电影,很长的视频播放太慢)流畅播放,vue2实现将video视频进行切片网络请求加载提升视频加载速度,详细解决视频分段下载......
  • Java使用xlsx-streamer和EasyExcel解决读取超大excel文件数据处理方法
    前言最近有个项目在生产环境做数据导入时,发现开始执行导入任务会出现cpu狂飙的情况。几番定位查找发现是在读取excel的时候导致此问题的发生,因此在通常使用的为POI的普通读取,在遇到大数据量excel,50MB大小或数五十万行的级别的数据容易导致读取时内存溢出或者cpu飙升。需要注意,本......
  • java处理超大文件面试题
    java海量大文件数据处理方式 1.给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1:可以估计每个文件安的大小为50G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s遍历文......
  • 高 DPI 下的 PyPlot 绘图更大,但仍然模糊
    我正在按照教程生成点的散点图,按簇着色,并根据每个点在其各自簇中的成员资格强度进行颜色饱和。我提到了着色细节,以防它们影响分辨率,但我怀疑它们不会。我发现,如果我增加PyPlot图形的DPI,图形的大小会增加,但仍然非常模糊。下面是我的测试代码,它生成一个小DPI数字和一......
  • 如何构建超大字符串
    1、使用StringBuilder或StringBuffer:StringBuilder和StringBuffer是Java中用于构建字符串的可变类。它们允许你在一个字符序列上追加和插入字符,而不需要创建新的对象。StringBuilder是线程不安全的,但在单线程环境下性能更好;而StringBuffer是线程安全的,但性能稍差。示例:St......