1、应用背景

骨干网流量采集主要应用于运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、大数据分析等应用领域。

我们在骨干网流量采集领域，经常会遇到采集、负载均衡、分流、汇聚等各种术语，这些术语之间是什么关系呢？

所谓流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现IP原始报文的获取。由于以通用CPU为核心的传统分析平台的处理能力总是有限的，所以一定方式的过滤（或称为流量衰减），不仅可以降低后端服务器的负载，而且可以降低整个系统的功耗和成本。另外，要实现流量采集，必须实现链路层的转换，如对POS、WAN进行转换，或者高速率链路如40G POS到10GE的转换，100GE到10GE的转换。采集之后的输出有通过以太网报文输出（PET采集设备：www.rtnetworks.com.cn/pet320flq.html）或者PCI总线直接到服务器内存（智能网卡：www.rtnetworks.com.cn/pcap2.html）两种。

而负载均衡与分流基本上属于同一个术语，就是在输出流量超过后端处理能力的情况下，以服务器集群方式处理流量的一种方式，流量分发一般基于流保持方式，即同源同宿同MAC。传统的Hash方式虽然能够将报文散列到不同的后端处理端，但是由于存在巨流，分流效果一般不会很好，自适应分流方式具有更好的均衡性。负载均衡与分流稍微有一点区别，一般说负载均衡时，会强调采集设备对后端处理能力的感知性，能够动态调整；而分流则一般由采集设备自主分配流量（受后端控制）。

汇聚（www.rtnetworks.com.cn/tc2402.html）是负载均衡或者分流的逆过程，当前的汇聚，一般用于千兆到万兆，主要用于需要长途传输流量，或者后端分离服务器基于万兆网卡而采集流量基于千兆两种场合。

2、用户需求

（1）如何实现高密度，低功耗的采集设备：在选择厂家时要特别注意其设备的密度，交换容量、输入接口密度，输出接口密度，输入输出是否能够复用等。通常情况下，高密度的设备其单位流量的平均功耗要小，而非ATCA独立设备比ATCA设备功耗要小。

（2）如何降低用户成本：输入输出接口复用是降低成本的有效方式，如一个万兆接口，如果其输入接口可以为WAN，而输出接口可以是10GE，则可以有效降低用户的成本。用户接口是否可以更换，平台是否能够平滑升级也是要考虑的问题。另外，非ATCA独立设备一般比ATCA设备价格更便宜。

（4）分流均衡性：Hash算法的选择是分流均衡性的关键，例如，CRC32比CRC16的均衡性要好，而CRC16又比异或的均衡性要好。好的均衡性依赖于采集设备的智能，当存在巨流时，要能够自动将同一个MAC上新产生的流量调整到其他的服务器。另外，当后端分析服务器出现故障时，要能够自动切换。

3、关键技术

3.1 100G成帧关键技术

随着多核处理、虚拟化、网络存储等技术的发展，企业计算环境和骨干链路对链路带宽的要求越来越高。对当前数据中心中的10G以太网计算机设备和将来40G以太网需要交换机到交换机之间的连接采用100G接口。同样的要求，在ISP处也有。100G是现在将来一段时间内Internt互联及新服务和消费者及企业用户的完美解决方案。

由于IPTV、视频点播等业务，远程存储、移动宽带业务、VPN服务等广泛应用，运营商骨干网的流量在持续增加，Internet服务提供商（ISP）和网络服务提供商（NSP）对高带宽的需求不断增加。目前，客户到运营商的连接已经在快速扩展到10GE，典型情况下，骨干网络的连接需要客户连接的4到10倍，才能保证足够的性能。

按照IEEE 802.3ba标准，100G Base-R PCS Cores包括100G扰码处理，64b/66b编码和解码，多Lane分发，边界对其插入、块同步以及时钟解耦等技术。

MLD（Multi-Lane Distribution）模块将数据分发到20个虚拟的Lane上。实现了CGMII（100G介质介质独立接口）。当前没有一种媒体（光纤或电信号）能够单流直接传输100Gb/s以太网信号，2010年IEEE802.3ba标准正式发布，在光传输接口上针对不同传输距离定义了100GBASE-SR10、100GBASE-LR4和100GBASE-ER4三种接口规范。100GBASE-SR10采用10对OM3 MMF/OM4 MMF光纤，每路光纤传输速率为10Gb/s，传输距离分别是100m/150m，100GBASE-LR4和100GBASE-ER4都采用SMF，采用LAN WDM技术用4个不同波长的光来传输，每个波长传输25Gb/s数据，传输距离分别是10km和40km。

同样的电气接口也采用并行Lane来传输数据，IEEE802.3ba标准定义的CAUI接口，使用10 Lane电气接口，每个Lane传输10Gb/s数据。为了有效利用10 Lane来传输100GE数据必须解决多通道的数据封装映射、对齐等问题，这是本成果中解决的关键技术，IEEE802.3ba标准中这个功能是在PCS中实现的。

戎腾的解决方案是：光接口采用的是商用的100GE的CFP或者CFP2光模块，实现100GE光信号到CAUI电接口的转换，通过使用不同光模块可以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等应用场合，光模块输出的是10路10Gbps的数据，再进行后续的处理。

3.2 软过滤技术

流量过滤本质上是一种报文分类技术，虽然本文仅阐述骨干网流量采集的关键技术，实际上，报文分类是防火墙、QoS、区分服务（DiffServ）、入侵检测系统、网络取证系统的基础，虽然有EGT-PC、RFC、Efficuts等较为经典的软件算法，目前应用普遍的仍然是基于硬件搜索引擎TCAM（Ternary Content Addressing Memory）的方式，主要原因是高速骨干网络对报文分类性能的要求非常高，已有的软件算法或者规则增加的可扩展性不好，或者进行规则更新的灵活性不强。通常，评估一种报文分类方法是否可行，有下面一些指标：

比较已有的方法和算法，目前尚无一种相对完备的解决方案，如表1所示。

在大规模流量采集体系结构中，由于计算结点的处理能力不可能覆盖所有的流量，对于已通过其他手段证实其合法的流量，可以直接过滤而不需送到计算单元中进行大规模的还原、存储与数据挖掘，因此高性能、存储空间要求不高、灵活性、经济性和适用性好的方法是其必然要求。

在整个数据处理流程中，报文提取可以通过MPE技术实现10G POS和10G以太网的报文获取，流管理由于涉及复杂的超时、存储空间申请、链表查找等操作，一般不适合于硬件处理。而多元组匹配传统上使用TCAM实现，特征匹配使用专用加速搜索引擎。

考虑TCAM的经济性、适用性，采购周期等综合因素，戎腾网络创造性的提出了一种基于FPGA的CMT（Common Mask Tree）算法，算法在研制的PET平台上，实现了320G的性能。

其基本方法为将规则集中的每一条规则转换为相应的多维前缀，并利用这些前缀的公共掩码将传统前缀匹配问题转化为多级精确匹配问题，后者可用哈希表达到O(1)的查找速率。同时利用原子操作实现了一套FPGA环境下的快速规则更新算法。

3.3 软硬协同的3G/LTE监控技术

3G和LTE的广泛部署，为移动终端的普及提供了基础。截止2014年6月，中国网民规模达到6.32亿，其中使用手机上网的用户比例达到83.4%，已经超过使用PC上网的用户比例（80.9%）。

移动网络的发展也产生了新的网络安全问题，利用移动通信互联网逃避监管的网络行为也在不断增加。犯罪人员利用互联网的高科技性和虚拟性，使其犯罪行为时常无法对其进行惩罚或是有效的预防。主要的安全挑战包括：

（1）用户从传统固网迁移到移动网络后，对网络攻击行为和网络犯罪如何快速反应、定位和溯源；

（2）新业务管控难度大：微博、社交网站等新业务具有两面性，安全管控的难度大；

（3）如何通过数据挖掘，提取有价值的情报和攻击信息。

面对错综复杂的移动网络业务和多样的终端类型，原有的网络安全管控手段已显得力不从心。如果缺乏针对3G/LTE网络的细粒度安全管控措施，相关监管机构将难以掌控不同客户及终端的网络行为；更为严重的是，传统互联网中一些不良信息，如非法宣传、网络病毒、网络攻击、垃圾邮件等，借助LTE网络这一平台可能在更大范围内传播泛滥，对网络安全和可信造成严重威胁。

为解决移动无线网络的数据取证问题，有两种可能的技术途径：一是从空口上抓取数据包并进行分析，这种方式一方面需要部署的设备特别多，另外空口数据解密有其固有的困难；另一种方式是数据落地后进行流量获取，又有在基站后端、移动核心网和互联网三种不同的采集位置。分析比较三种不同的采集位置，基站后端部署点具有链路多，安装困难的特点；而互联网采集则无法溯源；移动核心网链路较少（一般一个省8条到64条），具有完整的上网认证信息、用户通信流量和信令流量，是比较可靠的数据采集点，但是移动核心网的流量不同于传统的固网流量。3G/LTE核心网络审计的复杂性，主要表现在封装方式复杂。 这种复杂性为网络取证带来了以下挑战：

（1）取证前端设备是一种辅助设备，而非实际产生经济效益的设备，不可能如GGSN、PDSN那么昂贵，即必须在整体成本控制的前提下，提高前端设备的性价比；

（2）由于在某些制式中，一个以太网帧中可能封装上百个终端分片，这些分片是以特殊字符分割的。因此，必须进行全包扫描以定位终端分片，而留给每个报文的处理时间并不长。在当前核心网普遍采用10G以太网链路的情况下，每个报文的处理时间只有37ns。要在37ns的时间内进行全包扫描，并定位每个终端的报文分片，必须采用非常规的手段。单就整个处理流程的中全包扫描一个环节，目前实际上尚没有能够扫到20Gbps的商用扫描技术。

（3）必须将登录认证信息与IP地址关联：网络取证的最终目的是定位有非法网络行为的用户，由于目前在移动网络中普遍采用动态IP地址分配技术，单纯定位违法IP已经无法解决真正的溯源问题，必须将IMSI号与用户报文关联，使得一旦非常行为被发现，即可通过IMSI号找到现实世界的真实用户。 为解决无线移动网络数据取证面临的挑战，并充分考虑移动网络的特点，戎腾网络设计实现了软硬结合的3G/LTE系统结构。通过普通固网线卡收集流量，识别3G/LTE报文，并定位终端分片的位置；然后分流到综合业务处理卡（CDP1000），并在CDP1000上采用定制硬件完成流量聚合和报文提取，通过多核NPU完成三层分片重组、VJ解压缩；完整的的报文获取后，实现高速流管理和内容搜索。

4、小结

网络技术的发展日新月益，当前三网融合已经成为大的趋势，3G已经铺开应用，LTE已经试点运行，由于光进铜退带动了PON技术的迅猛发展及广泛应用，这些都是传统取证平台不具备的功能，留下了监管和信令分析的空白，必须适时研制新的设备，帮助运营商优化网络，并使互联网社会与现实社会一样处于良序运行状态中。 而在传统的固网领域，全国10G POS等骨干链路已经达到上万条，必须采用通过新的技术创新降低原有取证系统的成本。

同时，由于大数据时代的来临，广告商开始日益关注网络广告、ISP服务商不仅关注网络运营情况（ISP流量分析领域），也需要给用户一个计费的清晰列表（ISP计费取证领域），这些应用造就了一个新的行业，或者说一种新的设备提供商——智能流量探针。

戎腾网络结合自身十余年在此领域的深耕，突破了系列关键技术，实现了高性能、高性价比、功能丰富的互联网骨干链路采集、汇聚与分流设备。