nProbe™

适用于IPv4 / v6的可扩展NetFlow v5 / v9 / IPFIX探针

在商业环境中，NetFlow可能是网络流量统计的事实标准。nProbe包括NetFlow v5 / v9 / IPFIX探针和收集器，可用于处理NetFlow流。这意味着可以使用nProbe™：

  • 收集并导出边界网关/交换机/路由器或任何其他可以在NetFlow v5/v9中导出的设备生成的NetFlow流。
  • 作为可能已部署的嵌入式低速NetFlow探测器的替代产品。
  • 在没有(或非常中等)丢包的情况下全速分析数Gbit网络。
  • 向收集器（例如开源ntopng或商用收集器）发送监视的流（例如Cisco NetFlow Collector或Plixer）

目前，nProbe™是一个软件应用程序，可以独立使用，也可以作为名为nBox的嵌入式系统使用。

nProbe™的主要功能

  • 适用于Linux，Windows和嵌入式环境ARM和MIPS / MIPSEL。
  • 第7层应用程序可见性（包括Skype，BitTorrent和Citrix在内的250多个应用程序）。
  • 第7层应用程序在导出的流中传播，以实现准确的计费。
  • NetFlow v5 / v9 / IPFIX支持高效的流处理。
  • 思科NetFlow-Lite支持。
  • 完整的IPFIX支持：PEN（Private Enterprise Numbers）和可变长度编码。
  • 完全支持IPv4和IPv6。
  • 有限的内存占用空间（无论网络大小如何，均小于2 MB的内存），CPU感知。
  • 能够将流本地导出到Apache™，Syslog，MySQL / MariaDB，Splunk（通过TCP流）。
  • 能够将流本地导出到Kafka和ElasticSearch（使用导出插件）。
  • 能够将流转储为准备导入的列式数据库的格式。
  • 本机支持技术PF_RING和用于超高速数据包捕获的最新的绕过内核的PF_RING Zero copy（ZC）。
  • 能够充当流收集器和代理。支持所有组合。
  • 能够收集sFlow流并将其透明转换为NetFlow v5 / v9 / IPFIX。
  • 能够基于MAC / IP地址伪造NetFlow接口标识符。
  • 收集Cisco ASA流并转换为NetFlow v5 / v9 / IPFIX。
  • 用于开发多处理器，多核精化系统的多线程架构。
  • 支持隧道（包括GRE，PPP，VXLAN和  GTP）流量，并能够导出内部/外部信封/数据包信息。
  • 支持流和数据包采样。
  • 支持Flexible Netflow，用于创建自定义NetFlow模板，并带有可选的PEN支持。
  • VoIP（SIP和RTP）流量分析，包括语音质量和（伪）MOS。
  • HTTP，MySQL / Oracle，DNS协议分析：除了流导出外，还可以生成Web，MySQL / Oracle和DNS活动的日志。
  • BGP插件，用于与路由器建立BGP会话并使用AS和AS路径信息生成流。
  • 插件架构，可通过自定义V9 / IPFIX标签轻松扩展。
  • 与IsarFlow，Fluke，Cisco，Dartware，Arbor Networks，Plixer，NetFlow Auditor，SolarWinds Orion NTA和Andrisoft等商业收集器完全可互操作。
  • 设计用于在资源有限（nProbe™二进制文件<100 Kb）和嵌入式系统（例如，基于ARM和MIPSEL的设备）的环境中运行。
  • 它可用于使用商用硬件构建便宜的NetFlow探针。
  • 能够将流保存在磁盘上以供以后分析或集成到现有监控应用程序中。
  • 完全可由用户配置。
  • 高性能探针：商业探针包括嵌入在路由器和交换机中的探针，通常跟不上高速。
  • 可以与ntopng配合使用以可视化，收集和分析受监控的流量。

nProbe™版本

nProbe提供三种版本，其主要区别如下表所示：

  专业版 企业S 企业M企业L †
nDPI流量检测✓✓✓✓
flow收集✓✓✓✓
PF_RING加速✓✓✓✓
BGP插件✓✓✓✓
HTTP插件 ✓✓✓
DNS插件 ✓✓✓
DHCP插件  ✓✓
Diameter插件  ✓✓
Elastic / JSON / Kafka插件  ✓✓
FTP插件  ✓✓
IMAP / SMTP / POP插件  ✓✓
NetFlow-Lite插件 ✓✓✓
SIP / RTP插件  ✓✓
GTP V0 / V1 / V2插件  ✓✓
Modbus插件✓✓✓✓
Radius插件  ✓✓
IPv4数据包重复数据删除✓✓✓✓
原生ntap支持  ✓✓
flow收集重复数据删除  ✓✓
最大受监控主机数无限（受可用的CPU /内存限制）
每个主机/许可证的最大实例数无限（受可用的CPU /内存限制）
最大flow采集设备† †4816128
ZMQ导出器的最大数量（–zmq）481632
IPS模式(-ips-mode)下的规则/池最大数量4832256

††这是单个nProbe实例可以从中收集flow的flow设备的数量（例如NetFlow路由器）。

† Enterprise L为flow收集设备和ZMQ导出器提供了自定义功能和个性化的最大值。

使用nProbe™

当前的nProbe™版本远不只是一个简单的netflow探针。

探针模式

nprobe -i eth0 --collector 127.0.0.1:2055

收集器模式

nprobe --collector-port 2055

代理模式

nprobe --collector-port 2055 --collector 127.0.0.1:2055 -V 9

IPS模式

nprobe -i nf:0 --ips-mode ips-rules.conf --collector 127.0.0.1:2055

这种配置与探针模式相同，不同的是，nprobe本质上像一个桥接设备，将IPS策略应用于桥接的流量。

它可以是一个探针/探针+IPS，探针+收集器，收集器，或代理。在代理模式下，可以从/到IPFIX/NetFlow v5/v9进行转换，以便顺利地升级到较新的NetFlow协议版本，同时利用以前的协议版本。因此，你可以将来自v5路由器的流量转换成IPFIX，反之亦然。请注意，在某些组合中（例如从v9到v5），你可能会失去一些流量信息。

性能

探针模式

许多人意识到，并非所有可用的NetFlow探针都是可扩展的。nProbe™旨在跟上通用硬件上的数千兆位速度。使用双核CPU，nProbe™可以使用普通PF_RING（无ZC）来捕获1 Gbit的数据包，而不会丢失/很少（<1％）数据包。使用PF_RING ZC内核旁路技术，可以更快地捕获数据包，因为可以在下面读取。请注意，性能数据是单个内核算的。这意味着，例如，通过利用PF_RING ZC，与单核CPU相比，四核CPU可以实现4倍的性能提升。
包大小（字节）每核 nProbe™持续吞吐量，无丢包
PF_RING ZC
固定的643.32 Mpps，2.15 Gb /秒
固定512线速
固定1500
随机64-1500
上表显示了使用以下配置进行的最差情况性能测试的结果：
  • nProbe™7.2 Pro /插件（本机PF_RING支持）
  • Ubuntu Linux 14.10
  • PF_RING 6.1.X
  • 戴尔R220
  • CPU英特尔E3-1241 v3 @ 3.50GHz
  • 基于Intel 82599的10 Gbit卡
  • 流量生成器：pfsend -i zc：ethX -a -g 1 -b 250000
  • 250K旋转IP地址
  • 每分钟产生250K流量
  • 使用的命令：nprobe -i zc：eth1 –cpu-affinity 1 -t 60 -b 1 -w 500000 -V 9
  • 数据库或磁盘上没有流存储，仅转发到收集器

收集器模式

此模式可用于收集NetFlow v5/v9/IPFIX格式的流，并将流传递到ntopng。请查看以下nProbe收集NetFlow并通过ZMQ导出流的性能。

模板入口速率 (NetFlow)出口速率 (ZMQ)
默认12’000 数据包/秒 (平均19 记录/数据包)230’000 flows/秒
@NTOPNG@8’500 数据包/秒 (平均19 记录/数据包)160’000 flows/秒

上表显示了使用以下配置进行出口性能测试的结果：

  • nProbe™8.7专业版
  • CentOS Linux 7.6
  • CPU英特尔E3-1230 v5 @ 3.40GHz
  • NetFlow v9格式的传入流
  • ZMQ导出（TLV）
  • 禁用内部缓存（这确保nProbe透明地转发传入流）
  • 使用的命令：nprobe -i none -n none –collector-port 2055 –zmq tcp://192.168.1.1:5556 –disable-cache [-T @NTOPNG@]
  • 数据库或磁盘上没有流存储，仅通过ZMQ作为收集器转发到ntopng

通过ZMQ导出流信息所需的带宽，对于10’000个流/秒，<30 Mbit /秒，此数字可根据实际流数进行缩放。例如，当处理平均1 Gbit / s的互联网流量时，所需的带宽峰值为<5 Mbit / s（注意：这在很大程度上取决于流量类型）。

IPS模式

下面你可以找到IPS模式在Linux和FreeBSD上使用低端电脑或中端电脑的预期性能。

设备仅Vanilla Linux BridgeLinux nProbe IPS仅Vanilla FreeBSD BridgeFreeBSD nProbe IPS
PC Engines APU2550 Mbps600 Mbps1 Gbps120 Mbps
Intel E310 Gbps / 1.8 Mpps10 Gbps / 2.4 Mpps  

已经在以下条件下进行了测试：

  • Linux IPS 模式已经用 4 个队列进行了测试，使用的是 netfiter 配置，名为 “kernel marker bypass”。这就解释了为什么IPS模式下的nprobe在低端盒子上比vanilla桥更快。
  • 在 FreeBSD 下，没有“kernel marker bypass”模式，因此在使用 nProbe 时，由于桥接是在用户空间进行的，所以性能下降很严重。
  • 平均数据包大小为 1000 字节。

用法

nProbe™以二进制格式分发。安装后，nProbe™即可使用，不需要任何其他配置。为了在探针模式下正常工作，nProbe™需要查看/捕获感兴趣的流量。为此，在交换网络的情况下，需要镜像业务(VLAN或端口镜像)或将探针放置在业务的大部分经过的位置(例如，由边界网关)。在正常运行条件下，nProbe™将收集流量数据，并向指定收集器发出NetFlow v5/v9/ipfix流。任何标准的netflow收集器都可以用来分析nprobe™生成的流-尽管并不是所有的商业收集器都支持v9。nProbe™也可以与ntopng一起使用。在后一种情况下，优化的、可选的压缩和加密格式将用于数据交换，从而产生将监视部分与可视化和分析部分分离的轻量级监视体系结构。

nProbe™与nProbe™Cento

如果您想知道nProbe和nProbe Cento之间的区别，可以阅读此页面以获取详细信息

常见问题

  1. 问：您是否发布了nProbe™源代码？
    答：我们决定不向所有人开放源码，因为过去有人滥用了源码，所以我们希望避免这种情况再次发生。
  2. 问：nProbe™能否在Gbit网络上全速运行？
    答：可以。请注意，要利用Gbit数据包捕获，您需要一个64位PCI千兆以太网接口
  3. 问：如何处理从nProbe™收取的费用？
    答：这笔钱用于研究和产品开发。

参考资料

nProbe用户指南

信用

NetFlow由Cisco Systems版权所有。
nProbe™是在美国和欧盟注册的商标。

nProbe插件

nProbe™可通过可选插件扩展，仅nProbe Pro版本支持。您可以在下面找到所有二进制格式的当前可用插件列表。

可用插件：

  • HTTP 
    解码HTTP通信和HTTPS证书。它可以生成全面的HTTP流量日志，包括页面下载和网络/服务器延迟。
  • DHCP 
    解码DHCP通信并在流或文件转储中导出DHCP信息。
  • 导出
    导出到ElasticSearchPlugin / Kafka，可以将流信息本地导出到ElasticSearch中，而无需第三方转换器（例如Logstash）。
  • DNS 
    解码DNS通信，并生成主要域名解析活动的日志。Microcloud友好。仅以二进制格式可用。
  • 流——到——MySQL
    流将导出的流转储到MySQL数据库中。该插件是nProbe Pro的一部分，不需要许可证。
  • MySQL 
    解码（未加密的）MySQL通信，并生成SQL请求/响应日志以及性能指标。
  • Oracle 
    与MySQL插件类似，仅适用于Oracle数据库。
  • BGP 
    使用AS路径信息填充nProbe。BGP解码是通过与充当BGP服务器的插件一起提供的Perl脚本执行的。该插件是nProbe Pro的一部分，不需要许可证。
  • 电子邮件：IMAP，POP3，SMTP 
    电子邮件插件，用于解码（未加密）电子邮件流量并生成电子邮件活动的流和日志。
  • 语音：SIP，RTP 
    插件，用于解码VoIP（IP语音）流量并生成呼叫日志，以及语音信息（抖动和丢包，伪MOS / R因子）。
  • Radius 
    插件解码Radius流量，包括用于移动网络的3GPP扩展。
  • Diameter 
    插件解码有线和移动网络的Diameter流量。
  • GTPv0 
    与GTPv1 插件相同，仅适用于v0协议版本。
  • GTPv1 
    插件，用于解码GTPv1-C（2G和3G网络）信令并产生全面的移动用户和流量跟踪。
  • GTPv2 
    与GTPv1 插件相同，仅适用于LTE（长期演进）移动网络中使用的v2协议版本。
  • SSDP 
    插件解码网络上使用的SSDP（简单服务发现协议）流量以发现网络设备和服务。
  • NetFlow-Lite 
    插件，用于收集某些Cisco交换机发送的NetFlow-Lite流量。
  • NetBIOS 
    插件解码Windows网络中使用的NetBIOS通信。

二进制程序包可从http://packages.ntop.org中选择的平台使用。

许可license

nProbe根据EULA分发，并且每个系统都需要一个许可证。

得到它

nProbe™有两种版本：

版本Unix系统Windows（x64）
标准没有插件和基本的基于libpcap的数据包捕获的探测。与Unix相同
专业版插件与具有本地PF_RING的Pro版本相同，并支持插件。
它还包括以下插件：流转储到MySQL数据库（流到MySQL）和BGP插件。		与Unix相同

nProbe™需支付少量费用，用于运行项目和为新开发项目提供资金。您可以在ntop电子商店网站上在线购买nProbe™副本，其中包括一年的支持。交易完成后，您可以立即下载nProbe™副本。

如果要测试nProbe™驱动器，则可以使用我们的预构建二进制软件包。

请注意，对于nProbe™OEM，转售，重新包装（包括设备嵌入），您需要书面的商业许可，该许可应其作者要求提供。

→系统自检的网络探针 nProbe™ Agent

→1/10/40/100 Gbit NetFlow / IPFIX探针，流量分类器和数据包分流器nProbe™Cento

→嵌入式NetFlow v5 / v9 / IPFIX探针（IPv4，IPv6，MPLS）——nBox