欢迎来到速发表网!

关于我们 登录/注册 购物车(0)

期刊 科普 SCI期刊 投稿技巧 学术 出书

首页 > 优秀范文 > 网络流量监测

网络流量监测样例十一篇

时间:2023-02-25 13:18:59

序论:速发表网结合其深厚的文秘经验,特别为您筛选了11篇网络流量监测范文。如果您需要更多原创资料,欢迎随时与我们的客服老师联系,希望您能从中汲取灵感和知识!

网络流量监测

篇1

中图分类号:TP

文献标识码:A

文章编号:1672-3198(2010)17-0348-01

1 网络流量的特征

1.1 数据流是双向的,但通常是非对称的

互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。

1.2 大部分TCP会话是短期的

超过90%的TCP会话交换的数据量小于10K字节,会话持续时间不超过几秒。虽然文件传输和远程登陆这些TCP对话都不是短期的,但是由于80%的WWW文档传输都小于10K字节,WWW的巨大增长使其在这方面产生了决定性的影响。1.3 包的到达过程不是泊松过程

大部分传统的排队理论和通信网络设计都假设包的到达过程是泊松过程,即包到达的间断时间的分布是独立的指数分布。简单的说,泊松到达过程就是事件(例如地震,交通事故,电话等)按照一定的概率独立的发生。泊松模型因为指数分布的无记忆性也就是事件之间的非相关性而使其在应用上要比其他模型更加简单。然而,近年来对互联网络通信量的测量显示包到达的过程不是泊松过程。包到达的间断时间不仅不服从指数分布,而且不是独立分布的。大部分时候是多个包连续到达,即包的到达是有突发性的。很明显,泊松过程不足以精确地描述包的到达过程。造成这种非泊松结构的部分原因是数据传输所使用的协议。非泊松过程的现象迫使人们怀疑使用简单的泊松模型研究网络的可靠性,从而促进了网络通信量模型的研究。

1.4 网络通信量具有局域性

互联网流量的局域性包括时间局域性和空间局域性。用户在应用层对互联网的访问反映在包的时间和目的地址上,从而显示出基于时间的相关(时间局域性)和基于空间的相关(空间局域性)。

2 网络流量的测量

网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:

2.1 基于硬件的测量和基于软件的测量

基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。

2.2 主动测量和被动测量

被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。

2.3 在线分析和离线分析

有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。

2.4 协议级分类

对于不同的协议,例如以太网(Ethernet)、帧中继(Frame Relay)、异步传输模式(Asynchronous Transfer Mode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。

3 网络流量的监测技术

根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。

3.1 基于网络流量全镜像的监测技术

网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。

3.2 基于Netflow的流量监测技术

Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。

篇2

中图分类号:TP393 文献标识码:A 文章编号:1007-9599 (2012) 17-0000-02

随着网络规模的日益扩大和网络结构的日益复杂,导致计算机网络管理的难度越来越大,相应的要求也变得越来越高。各种网络活动都离不开网络流量,网络流量作为网络用户活动的主要载体,发挥着较为重要的作用。通过监测分析网络流量,可以完成容量规划、链路状态监测、异常监测、网络性能分析等,对于计算机网络的维护和运行都能够发挥重要作用。如netcounter是一款简单易用的网络流量监控软件。它可以分别显示手机网络和wifi当天、本周、本月和所有时间的流量统计。本文就计算机网络管理中网络流量监测进行研究。

1 网络流量的特征

1.1 大部分TCP会话是短期的。对于TCP会话而言,超过90%的会话时间都不会超过几秒,交换数据量一般都在5-10K字节,很少有能够10K字节的。虽然远程登陆和文件传输之类的TCP会话是长期的,但是百分之八十多的WWW文档传输大小都是小于10K字节,而目前这种WWW文档传输大幅度增加,从而导致大部分TCP会话是短期的。

1.2 数据流是双向的,但通常是非对称的。对于计算机网络而言,大部分互联网应用都不采用单向交换,而是双向交换数据,所以,网络流量也自然都是双向的。但通常这两个方向的数据率存在很大的差异,主要原因就在于:网站到客户端的数据量会由于网站下载而比客户端到网站的数据量多。

1.3 网络通信量具有局域性。对于网络流量而言,一般都包括两种局域性,分别是空间局域性和时间局域性。用户通过互联网应用层来对网络进行访问,主要是在包的目的地址和时间上进行体现,从而显示出空间局域性(基于空间相关)和时间局域性(基于时间相关)。

1.4 包的到达过程不是泊松过程。按照传统的通信网络设计和排队理论都假设泊松过程就是包的到达过程,也就是说,包到达的间断时间的分布是独立的指数分布。

例如电话、交通事故、地震等事件都是独立地、按照一定的概率来发生的,这也就是泊松到达过程。但是根据近年来测量互联网络通信量的显示结果表明,泊松过程已经不再是包到达的过程。包的到达具有有突发性,在很多时候都会有多个包连续到达,包到达的间断时间不是独立分布的,同时也不服从指数分布。包的到达过程已经不能被泊松过程来精确描述。造成这样的原因部分在于数据传输所使用的协议。这种非泊松结构使得人们在研究网络的可靠性时不再采用简单的泊松模型,从而使得网络通信量模型的研究大大促进。

2 计算机网络管理中网络流量监测的方法

在深入了解互联网通信特性之后,我们在监测网络流量的时候就可以采取相应的技术措施。从目前的实践经验来看,计算机网络管理中网络流量监测的方法主要有两种,分别是被动测量和主动测量。

2.1 主动测量。主动测量的工作原理就是通过测量设备来测量端到端的网络流量和网络特征,进而了解被测网络当前提供数据传输的能力和具体的运行状态。在主动测量网络流量的过程中,网络测量系统应当由四个部分构成,分别是分析服务器、中心数据库、中心服务器、测量节点。

主动测量网络流量的最大优点就在于三个方面,分别是灵活性、可控性、主动性都较好,而且还能够直观地统计端到端的性能。但是主动测量网络流量的方法也存在着不足之处,那就是实际情况与我们所获得的结果存在着一定的偏差,主要原因在于主动测量是主动对网络注入流量。

2.2 被动监测。被动测量其监测原理是通过部署一定的网络设备和监测点来被动地获取网络流量的数据和相关信息,这是一种典型的分布式网络监测技术。被动监测恰恰弥补了主动监测的缺点和不足,它不会对原有网络流量进行改变,自然也就不会如主动监测一样造成这样大的偏差,实践也证明了这一点。但是被动监测也存在着自身的不足,主要就是它采集数据和相关信息是从单个点或设备进行的,这种实时采集的方式很有可能会泄露数据,也很难有效分析网络端对端的性能看,采集信息数据量过大,但是总的来说,被动测量的优点是占主导地位的,所以被动测量比主动测量应用更为广泛,正在被大量地应用在对网络流量分布进行分析和测量中。

3 网络流量监测技术的具体应用

3.1 为网络出口互联链路的设置提供决策支持。通过有效地分析网络出口流向和流量,能够有效地掌握网络内部用户对于网络的访问情况,从而可以有效的决策,减少互联链路中的浪费现象,有效地节约开支。同时,通过网络流量监测与分析,能够为各种网络优化措施,如路由选择、重要链路带宽设置、多出口流量负载均衡等提供正确的数据依据。

3.2 网络流量监测可以对网络运行商提供大客户统计分析和重要应用的统计分析。通过对这些流量进行统计分析,可以有效地分析网络带宽成本,有助于在网络成本和网络服务质量二者之间取得最佳平衡点,既让大客户满意,又能够让网络运行商有较好的盈利。同时,通过监控分析大客户接入电路上的流量,能够有效地统计出通信数据量、通信时间、服务等级、业务类型等多个参数,为基于服务等级协议(SLA)和IP的计费应用的校验服务提供正确的数据依据。

3.3 通过对各个分支网络出入流量的监控,分析流量的大小、方向及内容组成,了解各分支网络占用带宽的情况,从而反映其占用的网络成本,作出价值评估。

3.4 掌握网络内部用户对其他运营商的网络访问情况。通过监控网络内部用户对其他运营商的网络访问情况,可以有效地掌握用户对于那些网站有兴趣,也可以准确地分析网络内部用户访问外网主要流量方向及业务特点,根据分析结果来有的放矢,找到广大网络用户感兴趣的热点信息,然后对自己的网络内容进行相应的补充和建设,减轻用户流失。同时,长期监控一些特定网络流量,有助于网络流量模型被网络管理人员所了解、所掌握,网络管理人员可以通过所掌握的基准数据来对网络使用状况进行正确的分析,在网络安全存在隐患的时候就能够及时异常警讯,采取相应的防御措施,从而使得整个网络的整体效能和整体质量都得到大幅度的提升。

4 结语

篇3

中图分类号:TN914 文献标识码:A 文章编号:1007-9416(2012)07-0026-02

P2P技术利用客户端的处理能力,实现了点到点的通信,可最大限度的共享P2P网络中的软硬件资源,极大的提高了用户获取网络资源的效率。然而,P2P技术和应用的无序性,对网络带宽占用的无度性,又缺乏有效监管与控制,使网络关键链路常处于拥塞状态,导致Web浏览、Email等基本网络业务,以及有关工作流程的关键网络业务无法正常使用。尤其是校园网用户多、应用广、学生用户思想活跃喜欢尝试各种P2P应用,即使不断增加出口带宽,升级设备,也无法应对P2P对带宽无休止的抢占。如何实现对P2P网络流量的有效监测与控制,保障校园网有限带宽合理使用,已成为校园网管理中必须要解决的问题。

1、P2P网络流量对校园网的影响

鉴于P2P技术自身“非中心化”、高速、海量、扩展性强、穿透性强、上下行流量对称等特性,P2P技术已应用到资源共享、文件下载、对等计算、即时通讯、流媒体、搜索引擎等方方面面。如能科学合理的运用P2P技术,必将为广大师生的学习、生活和工作提供更丰富的信息化手段。如对P2P技术不能进行有效的监测与控制,也正是由于P2P技术同样的特性,必将对校园网有限的带宽造成巨大的消耗,带来一系列负面的影响。

1.1 吞噬网络带宽

如图1所示为学院校园网在实施P2P网络流量控制前,其中70%的校园网网络带宽被P2P下裁、NetTV、Stream等P2P应用所吐噬,再加上网络蠕虫、病毒泛滥,Http、Emil以及有关工作流程的业务应用能正常使用的带宽就所剩无几了,造成网络运行速度变慢或时断时续,同时,网络带宽不足反过来也会影响P2P应用。

1.2 阻碍网站访问

因为P2P应用具上下行流量对称的特性,必将占用大量校园网上行流量,从而影响校园网对外服务,造成校外用户浏览学院网站变慢,或根本打不开,校内电子邮箱收不到校外邮件,进而影响学校对外宣传和交流。

1.3 增加安全隐患

P2P网络各节点可直接访问,资源共享,并且P2P应用还可穿透防火墙。从而更容易造成蠕虫、病毒相互传染、快速传播。P2P应用给用户带来更多的安全隐患。

2、P2P网络流量监测技术

2.1 关键节点监测

基于关键节点的P2P监测是一种传统报文监测手段。P2P网络中的关键节点就是在维护P2P网络健壮性、扩展性和连通性等方面具有重要作用的节点[2]。

由于所有的P2P用户都存在与关键节点的交互,因此监测关键节点,就能对该P2P应用进行监测。早期P2P网络中的关键节点相对固定和集中,但越来越多的P2P应用“泛化”关键节点,使得基于关键节点的监测方法越来越难以实现。

2.2 端口监测

基于协议端口的P2P监测也是一种传统报文监测手段。早期的P2P应用大多采用缺省协议端口实现P2P节点之间的通信。基于缺省协议端口就可监测到P2P应用中所有用户和节点之间交互过程。这种监测方式利用现有网络条件就可实现,不需要增加什么投资成本,对早期P2P应用的监控较为有效。

但是,越来越多的P2P应用采用随机生成端口号,或手工设定端口号,或自动改变端口号的方法,基于协议端口的P2P监测就无法实现了。

2.3 DPI技术监测

深度报文检测(Deep Packet Inspection,DPI)技术是相对于传统报文检测技术而提出的一种典型应用检测技术。DPI技术目前并没有一个较明确的定义,但普遍认为, DPI除了具备对报文头部信息、源/目的IP地址、源/目的协议端口和协议类型等进行监测分析等普通报文监测分析能力外,还可结合报文净荷(payload)及报文之间的关联性等因素进行监测,实现报文的“深度”识别[2]。

2.4 DFI技术监测

深度流行为检测(Deep Flow Inspection,DFI)技术也是一种典型应用检测技术。DFI主要是通过对网络流量状态、持续时间、流量速率、字节长度等参数分析统计来监测P2P应用类型和状态的。相对DPI技术,DFI可监测到未知的P2P流量,但监测精度没DPI高,容易出现误判。所以,DFI适合快速监测,DPI适合精确监测,各有千秋,在高端流量控制设备中一般都集成DFI和DPI两种监测技术,取长补短。

3、P2P网络流量监测控制实现

3.1 实现方式

篇4

全球规模最大的宽带互联网就是China Net,拥有超过40Tbit/s的骨干网流量,互联网每年都以60%速度增长,越来越重视互联网安全问题,逐渐凸显恶意流量网络安全问题,2013年,持续增加移动互联网恶意程序,传播恶意程序的互联网已经达到1296万次,互联网环境逐渐恶化,不完善的审核机制和能力差的检测技术,使恶意程序扩散,导致污染移动互联网上游环节,加速恶意程序发展速度,为了有效解决上述问题,本文主要分析了网络恶意流量检测技术。

1互联网恶意流量安全检测技术研究

1.1高效“僵木蠕”流量高速识别技术

1.1.1提取文件特征

分析的基本案例就是Android程序,一般来说,会对Android程序内部权限构成文件的特征向量进行提取,如,应用Android程序权限的时候,主要就是依据Android程序提出了134个划分权限列表特征,例如,读取手机短信、手机状态、读取通讯录、读取地理位置、读取通话记录、拦截普通短信、发送短信、修改系统设置、访问网络、结束后台程序、获得IMEI密码等。

1.1.2构造特征向量空间

构造特征向量空间的时候,可以把特征提出的Android程序描述串合理变为{0,1)取值向量。计算特征向量的时候,因为会占据很大空间,主要应用的形式是索引向量,如,依据特征索引方式来合理提取高危权限网络恶意程序特征。假设已知样本A,B以及病毒X提出特征数据结果分别是文件带有病毒X的提出特征描述串:

{READ_SMS,ACCESS_NETWORK_STATE,READ_CONTACTS,CALL_PHONE,WRITE_SMS):

提出B文件样本特征描述串:

{WRITE_EXTERNAL_STORAGE,READ_MSM,ACCESS_NETWORK_STATE,READ_CONTACTS,CALL_PHONE,WRITE_SMS);

提出A文件样本特征描述串:

{READ_PHONE_STATE,SEND_SMS,WRITE_EXTERNAL_STORAGE,READ_MSM,,WRITE_SMS)。病毒X和样本A,B向量基本形式为X00011111,B00111111,A11110001。病毒X以及样本A,B索引基本形式是X{3,4,5,6,7},B{2,3,4,5,6,7),A{0,1,2,3,7}。

1.1.3快速聚类分析

最邻近样本特征向量以及每个样本特征向量之间具备比较大概率的同类文件,所以,需要在已知聚类样本中对新增样本邻近查询,合理计算最近邻近样本和新增样本之间距离,如果具备超过定阀值的最短距离会在邻近聚类中归纳新增样本,反之就建立新聚类。构造特征向量空间的时候,一般都是对原始向量取值为{0,1),所以,建立快速聚类分析的时候主要应用臭氧散列函数,是随机选择的一组D维向量特征中K维自向量,依据实际索引情况进行适当索引,原始向量对应的结果中适当选取0或1,形成子向量。每次计算一种随机向量结果的时候,就会出现与之对应的子向量K,如果具备相同的2个向量结果,属于同一聚类。依据上述实际情况对病毒X和样本A,B随机选择L为4的索引作为子向量,索引{4,5,7,8},可以得到向量子集X是1111,向量子集B是1111,向量子集A是1001,可以发现X的最邻近是B,而不是A。因此,不再检测正常A文件,二次确认检查疑似恶意程序的B样本。

1.2自适应动态沙箱智能研判技术

国内外运行商首先提出处理网络疑似病毒的模型基于平行沙箱的智能研判模型,可以在一定程度上安全检测流量环境中的程序应用情况。基于此模型,建立了自然对数危险函数序列的深度等级量化智能研判技术,也就是说可以对安全等级进行判断,智能化分析未知恶意程序,计算未知恶意程序等级基本公式为:

K=Roundl{In[d×eα+w×eβ+j×eγ+a×eδ+m×eε])

其中,α是多维度特征运算扫描结果,γ是自适应动态沙箱运算结果;β是扫描未知病毒结果,ε是扫描敏感字结果,δ是动态沙箱Android运算结果。上述值都属于[0,10],四舍五入处理是Round{),保留1位小数。特征库映射以及计算恶意程危险函数序列之间关系如表1所示。

2互联网恶意流量安全检测技术应用

2.1系统设计架构

网络恶意流量检测系统包括集中管理模块、恶意程序处置模块、恶意程序分析模块、流量采集模块。设计系统结构的基本理念就是依据监测恶意程序引擎的方式来适当监测网络恶意流量,并以智能方式多重过滤和研究检测引擎依据上报恶意未知程序,健全网络流量恶意程序特征库,依据特征库实际情况建立恶意程序处理模块,CE路由器网络需要主动拦截以及预防恶意程序,系统可以研制和捕获典型网络恶意程序,统一和管理封堵,集中角度封堵资源等。设计此系统的时候,采集原始流量利用PI口,访问镜像用户互联网和流量数据的还原文件、重组报文等,检测恶意程序的时候合理应用恶意程序搜索引擎,对集中管理模块提供检测结果,系统核心就是集中管理模块,可以达到运行管理、恶意URL管理、警告管理、报表展示、管理特征库等功能,并且对处置模块输送合理的封堵策略。

2.2流量采集模块

流量采集模块根本作用就是可以收集网络中类似恶意程序的软件样本、传播地址源、行为特征以及受害用户信息,可以分析恶意软件。流量采集模块可以存在多种实现形式,包括检测业务平台异动方式、检测蜜罐被动方式、光路器选择方式、镜像方式、分光方式等。

2.3恶意程序分析模块

恶意程序分析模块应用根本作用实际上就是可以对镜像用户网络流量进行流量分析,获得RADIUS流量数据以及访问网络数据,合理连接集中管理模块,可以对结果进行上报,并且集中分配管理配置策略。

2.4恶意程序处置模块

恶意程序处置模块根本作用就是能够达到处置恶意程序的目的,依据查杀恶意执行程序的软件、阻断网络恶意软件传播源等方式阻断网络恶意传播行为和上下行流量网络恶意程序。处置恶意程序的时候需要单独应用物理接口,可以对管理信息进行传递。

2.5集中管理模块

篇5

【 中图分类号 】 TP309.05 【 文献标识码 】 A

1 引言

IP网络具有体系架构开放、信息共享灵活等优点,但是因其系统开放也极易遭受各种网络攻击的入侵。网络异常流量检测属于入侵检测方法的一种,它通过统计发现网络流量偏离正常行为的情形,及时检测发现网络中出现的攻击行为,为网络安全防护提供保障。在网络异常流量检测方法中,基于统计分析的检测方法通过分析网络参数生成网络正常行为轮廓,然后度量比较网络当前主体行为与正常行为轮廓的偏离程度,根据决策规则判定网络中是否存在异常流量,具有统计合理全面、检测准确率高等优点。基于相对熵的异常检测方法属于非参数统计分析方法,在检测过程中无须数据源的先验知识,可对样本分布特征进行假设检验,可在缺乏历史流量数据的情况下实现对网络异常行为的检测与发现。本文系统研究了模糊相对熵理论在网络异常流量检测中的应用,并搭建模拟实验环境对基于模糊相对熵的网络异常流量检测方法进行了测试验证。

2 基于模糊相对熵的多测度网络异常流量检测方法

2.1 模糊相对熵的概念

相对熵(Relative Entropy)又称为K-L距离(Kullback-Leibler divergence),常被用作网络异常流量的检测方法。本文引入模糊相对熵的概念,假定可用来度量两个概率分布P={p1,p2,...,...,pn}和Q={q1,q2,...,...,qn}的差别,其中,P、Q是描述同一随机过程的两个过程分布,P、Q的模糊相对熵定义为:

S(P,Q)=[Pi ln+(1-pi)ln] (1)

上式中qi可以接近0或1,这会造成部分分式分母为零,因此对(1)式重新定义:

S'(P,Q)=[Pi ln+(1-pi)ln](2)

模糊相对熵为两种模糊概率分布的偏差提供判断依据,值越小说明越一致,反之亦然。

2.2 多测度网络异常流量检测方法流程

基于模糊相对熵理论的多测度网络异常检测具体实施分为系统训练和实际检测两个阶段。系统训练阶段通过样本数据或监测网络正常状态流量获取测度的经验分布,实际检测阶段将实测数据获取的测度分布与正常测度分布计算模糊相对熵,并计算多个测度的加权模糊相对熵,根据阈值判定网络异常情况,方法流程如下:

Step1:获取网络特征正常流量的参数分布。通过样本数据或监测网络正常状态流量获取各测度的经验分布。

Step2:获取网络特征异常常流量的参数分布。对选取网络特征参数异常流量进行检测获取各种测度的概率分布。

Step3:依据公式(2)计算单测度正常流量和异常流量间模糊相对熵Si。

Step4:计算多测度加权模糊相对熵S。

S=α1S1+α2S2+…+αkSk (3)

式中αk表示第k个测度的权重系数,由测评数据集统计分析获得。

最终,根据S建立不同的等级阈值来表征网络异常情况。S越大,表示网络流量特征参数分布偏离正常状态越多,网络中出现异常流量的概率越大;S越小,表示网络流量特征参数分布与正常状态吻合度越好,网络中出现异常流量的概率越小。

3 测试验证

为测试方法的有效性,搭建如图1所示的实验环境,模拟接入层网络拓扑结构、流量类型和流量负载情况。测试环境流量按业务域类型分类,主要分为视频、语音、数据三种业务域,按每个业务单路带宽需求计算,总带宽需求约为2368kbps~3200kbps。

(1)检测系统接入交换机镜像端口,系统部署环境。

①硬件环境:Intel(R) Core(TM) 2 Duo CPU 2.00GHz,2.0G内存;②操作系统环境:Windows XP,.NET Framework 3.5;③数据库系统:Microsoft SQL Server 2005 9.00.1399.06 (Build 2600: Service Pack 3)。

测试环境交换机采用华为S3050C,用户主机接入点配置如表1所示。

测试网络正常流量状态方案配置。

①1号主机架设视频服务器模拟视频业务域,单路平均带宽需求2.59Mbps;②2、3号主机架设音频服务器模拟语音业务域,单路平均带宽需求128kbps;③4、5、6号主机采用应用层专用协议和传输UDP协议模拟发包程序模拟数据业务域,单路平均带宽需求64kbps。

按上述方案配置网络环境,交换机网络流量负载约为2.996Mbps。

3.1 测试用例设计

网络中的异常行为主要包括非法网络接入、合法用户的违规通信行为、网络攻击及未知的异常流量类型等,系统将其定义为四类:带宽占用、非法IP地址、非法IP会话、模糊相对熵异常四类异常事件,其中模糊相对熵异常可根据经验数据设定多个阈值等级。测试用例以网络正常流量为背景流量,根据测试目的添加异常流量事件。测试用例设计及实验测试过程如表2所示。

3.2 结果分析

测试用例持续监测网络两小时。根据模糊相对熵数据输出,绘制ROC曲线,检测率与误警率的关系如图2所示。通过ROC曲线,能够准确反映模糊相对熵异常流量检测方法检测率与误警率的关系。权衡检测率与误警率,选择合适的阈值。当模糊相对熵阈值设定为39.6时,系统检测率为84.36%,误警率为3.86%,表明检测系统对未知异常流量具有较好的检测效果。

4 结束语

基于模糊相对熵的网络异常流量检测方法可以在不具备网络历史流量信息的情况下,通过对网络流量特征进行假设检验,实现对网络异常行为的检测发现。实验测试结果表明,设定合理的模糊相对熵阈值,该方法的检测率可达84.36%。在下一步的工作中,将研究自学习式阈值设定方法,以及对模糊相对熵方法进一步优化,提升方法的准确性和效率。

参考文献

[1] 蒋建春,冯登国等.网络入侵检测原理与技术[M].北京: 国防工业出版社,2001.

[2] 蔡明,嵇海进.基于ISP网络的DDoS攻击防御方法研究[J].计算机工程与设计,2008, 29(7):1644-1646.

[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http://unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.,2011-05-16.

[4] 张亚玲,韩照国,任姣霞.基于相对熵理论的多测度网络异常检测方法[J].计算机应用,2010, 30(7):1771-1774.

[5] 李涵秋,马艳,雷磊.基于相对熵理论的网络Dos攻击检测方法[J].电讯技术, 2011, 51(3):89-92.

[6] 张登银,廖建飞.基于相对熵理论网络流量异常检测方法[J].南京邮电大学学报(自然科学版),2012, 32(5):26-31.

[7] 胡为,胡静涛.加权模糊相对熵在电机转子故障模糊识别中的应用[J].信息与控制,2009, 38(3):326-331.

作者简介:

篇6

中图分类号: TN915.07?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)07?0085?03

Network traffic anomaly detection based on time series analysis

LI Yan

(School of Information and Engineering, Jingdezhen Ceramic Institute, Jingdezhen 333403, China)

Abstract: A network traffic anomaly detection model based on time series analysis is proposed to detect the network traffic anomaly accurately and ensure the network normal operation. The wavelet analysis is used to decompose the network traffic according to the similarity of the network traffic data, so as to divide it into the components with smaller scale. And then the gray model and Markov model of the time series analysis method are used to perform the network traffic anomaly detection for the high?frequency component and low frequency component respectively, their results are fused with the wavelet analysis, and analyzed with the simulation experiment of the network traffic anomaly. The results show that the time series analysis model has simple working process, increased the detection rate of the network traffic anomaly, its false alarm rate is lower than that of other network traffic anomaly detection models, and can obtain better real?time performance of the network traffic anomaly detection.

Keywords: network system; traffic anomaly detection; gray model; wavelet analysis

0 引 言

随着计算机技术的不断发展和成熟,网络上的业务种类越来越多,如视频,图像等,网络成为了一种主要的通信载体[1]。由于数据的庞大性,对网络带宽和通信质量要求更高,网络受到木马、蠕虫、病毒等影响,网络安全问题越来越严重。当网络中出现不安全因素时,网络流量会发生相应的变化,出现异常现象,因此如何对网络流量异常进行准确检测,并做出相应的应对措施,对保证网络正常运行具有重要意义[2?3]。

最原始的网络流量异常检测是通过对网络数据进行分析,将网络流量特征分为基本特征和组合特征,基本特征主要指网络流量大小,数据包长度等;组合特征主要指平均包长、SYN包的个数,通常情况下,对网络流量基本特征进行训练,建立网络流量异常检测模型,将数据划分为正常或者异常,以应对网络上的各种攻击行为,该方法对小规模、简单网络流量异常检测效果好[4?5]。随着网络规模的增大,网络结构更加复杂,网络不安全概率增加,网络流量异常发生频繁,原始网络流量异常检测技术不能适应现代网络发展的要求[6]。为了适应现代网络发展的要求,克服原始检测技术的不足,近些年有学者提出基于现代统计学理论的网络流量异常检测模型[7],如采用信号处理与统计学理论相结合的异常行为检测[8],有学者提出基于数据挖掘技术的网络流量异常检测模型,从网络流量数据中发现异常行为[9]。并出现基于BP神经网络的网络流量异常检测模型,获得了较好的检测结果[10]。

为了准确检测出网络流量中的异常现象,提出基于时间序列分析的网络流量异常检测模型。首先采用小波分析[11]将网络流量划分为更小尺度的分量,然后采用灰色模型和自回归模型分别对高频分量和低频分量进行网络流量异常检测,并采用小波分析对它们的检测结果进行融合,最后仿真实验的结果表明,本文模型是一种网络流量异常检测率高的模型,具有较高的实际应用价值。

1 时间序列分析方法

1.1 灰色模型

灰色模型是一种经典的时间序列分析方法,它将所要解决的问题当作一个黑箱,根据灰色理论进行建模,具体为:

(1) 收集网络流量异常检测的原始数据,它们组合在一起形成一个序列:

[X(0)=x(0)(1),x(0)(2),…,x(0)(n)]

(2) 为了发现原始数据中隐藏的变化特点,对它们进行累加操作,得到:[X(1)=x(1)(1),x(1)(2),…,x(1)(n)],且有[X(1)(t)=][k=1tx(0)(k)]。

(3) 建立网络流量异常检测的矩阵[B]与向量[Yn,]即有:

[B=-x(0)(2)+x(0)(1)21 -x(0)(3)+x(0)(2)21 ? ? -x(0)(n)+x(0)(n-1)2 1 ] [Yn=x(0)(2),x(0)(3),…,x(0)(n)]

(4) 根据最小二乘算法对系数[a]进行计算,设白化方程为:[dx(1)dk+ax(1)=b],参数向量可以表示为:[a=ab],那么系数[a]的解为:[a=BTB-1BT?Yn]。

(5) 网络流量异常检测的响应函数为:

[x(1)(k+1)=x(0)(1)-ba?e-ak+ba] (1)

(6) 对[x(1)(k+1)]进行“累减”逆运算得到:

[x(0)(k+1)=x(1)(k+1)-x(1)(k)] (2)

1.2 马尔科夫模型

设[t=k]时刻的状态为[x(k),]那下一时刻的状态为:

[x(k+1)=x(k)?R(1)] (3)

式中[R(1)]为转移概率矩阵。

马尔科夫模型的工作过程为:

(1) 根据灰色模型可以得到网络流量的估计值为:

[x(0)(k+1)=x(1)(k+1)-x(1)(k)] (4)

(2) 对于期望值和估计值之间的相似性,将它们的比值[f]划分一些状态区间,即有:

[f=x(0)(k)x(0)(k)] (5)

[Fi=Fi1,Fi2, i=1,2,…,M] (6)

式中:[Fi1]和[Fi2]分别表示状态区间[i]内的最小值和最大值。

(3) 根据式(6)计算下一个状态的转移概率。

[pij(k)=nij(k)ni(k)] (7)

式中:[nij(k)]为状态[i]到[j]的次数;[ni(k)]表示状态转移的总次数。

(4) [S]是[f]的全部状态集合,若[S]的条件概率[pij(k)]与时刻[k]不相关,则表示该马尔科夫链为齐次的,齐次的[n]步转移概率矩阵[R(n)]的计算公式为:[R(n)=pn00 pn01…pn0lpn10 pn11…pn1l ????pnl0 pnl1…pnll] (8)

(5) 计算实测值与估计值的偏差[εi=xi-xi,]采用平均偏差[ε=1ni=1nε(i)]对结果进行修正。

(6) 后验差比值[C]和小误差概率[P]的计算公式为:

[C=S1S0] (9)

[P=ε(i)-εx(0)1

式中:[S0=i=1nx(0)(i)-x(0)2n;][ S1=i=1nε(i)-ε2n。]

2 基于时间序列分析的网络流量异常

2.1 小波分析

网络流量的数据为[X(t),][t=0,1,2,…,N-1,]对其进行小波分解,得到高频分量为:

[cj+1(t)=l=-∞+∞h(l)cj(t+2jl)] (11)

式中[h]表示低通滤波器。

网络流量的低频分量[dj]为:

[dj+1(l)=cj(t)-cj+1(t)] (12)

网络流量的[L]尺度小波分析结果为:

[D={d1,d2,…,dL,cL}] (13)

对低频分量和高频分量的重构结果为:

[X(t)=c0(t)=cL(t)+j=1Ldj(t)] (14)

2.2 时间序列分析的网络流量异常检测步骤

(1) 收集网络流量异常检测的历史数据,并剔除一些无用数据。

(2) 采用小波分析对网络流量异常数据进行分解。

(3) 采用灰色模型和马尔可夫模型对高频和低频分量进行建模。

(4) 采用小波重构对灰色模型和马尔可夫模型的结果进行融合,得到网络流量异常的检测结果。

本文模型的工作流程如图1所示。

3 结果与分析

收集大量网络流量数据如图2所示,为了加快网络流量异常检测的速度,对原始数据归一化处理,即:

[x(i)=x(i)-Exσx] (15)

式中:[Ex]和[σx]分别为均值和标准差。

采用小波分析对图2的数据进行多尺度分解,得到低频分量和和高频分量如图3所示,并采用灰色模型和马尔可夫模型对高频和低频分量进行建模,得到相应的检测值。

采用小波重构对灰色模型和马尔可夫模型的结果进行融合,得到网络流量异常的检测结果如图4所示。

榱私一步评价本文模型的网络异常流量检测结果的优越性,选择与当前经典网络异常流量检测模型[9?10]进行对比实验,统计它们的检测率和误检率,具体见表1。从表1可知,本文模型提高了网络流量异常检测率,误检率小于对比模型,能够更好地保证网络安全,具有显著的优越性。

4 结 语

网络流量异常检测一直是通信领域研究的热点,针对当前网络流量异常检测的局限性,提出基于时间序列分析的网络流量异常检测模型。通过仿真实验可知,通过小波分析对网络流量数据进行预处理,从中发现变化规律,有利于后续的网络流量异常检测建模,采用灰色模型和马尔可夫模型对网络流量异常行为进行检测,获得较优的网络流量异常检测结果,而且检测结果要明显于其他模型,在网络安全领域具有广泛的应用前景。

参考文献

[1] KIM S S, REDDY A L N, VANNUCCI M. Detecting traffic anomalies through aggregate analysis of packet header data [C]// Proceedings of 2004 International Conference on Research on Networking. Berlin: Springer, 2004: 1047?1059.

[2] 孙知信,唐益慰,程媛.基于改进CUSUM算法的路由器异常流量检测[J].软件学报,2005,16(12):2117?2123.

[3] 邓绯.基于瞬时频率快速算法的网络流量异常检测[J].科技通报,2013,29(7):170?173.

[4] 郑黎明,邹鹏,贾焰,等.网络流量异常检测中分类器的提取与训练方法研究[J].计算机学报,2012,35(4):719?729.

[5] 王欣,方滨兴.Hurst参数变化在网络流量异常检测中的应用[J].哈尔滨工业大学学报,2005,37(8):1046?1049.

[6] 温祥西,孟相如,马志强,等.基于局部投影降噪和FSVDD的网络流量异常检测[J].计算机应用研究,2013,30(5):1523?1526.

[7] 曹敏,程东年,张建辉,等.基于自适应闪值的网络流量异常检测算法[J].计算机工程,2009,35(19):164?166.

[8] 邹柏贤.一种网络异常实时检测方法[J].计算机学报,2003,26(8):940?947.

[9] 颜若愚,郑庆华,牛国林.自适应滤波实时网络流量异常检测方法[J].西安交通大学学报,2009,43(2):1?5.

篇7

中图分类号:TP393文献标识码:A 文章编号:1009-3044(2008)30-0576-02

Abnormal Network Traffic Detection based on Identification Mark of IP Packet

ZHOU Ming1, XU Yan2

(1.Anhui Electric Power, Hefei 230061, China ; 2.Mechanical & Electrical Department, Suzhou Institute of Trade & Commerce, Suzhou 215031, China)

Abstract: A new method of abnormal network traffic based on the distribution of IP packets' Identification is proposed in this paper because many of abnormal network traffics are generated by special mechanisms, which are different from the ordinary traffics created on the basic network protocols. The correctness of this method is proved by the results of IP packets detect with different time on CERNET.

Key words: identification mark; binomial distribution; abnormal traffic detection

1 引言

随着Internet的发展,网络流量急剧增长,由于网络的发展具有一定的规律性,可以通过对网络协议的分析和网络流量的预测定义网络流量的正常行为,当观测所得的流量行为偏离正常时,对网络流量的进一步分析可能发现异常的原因。目前基于网络主干和边界的异常流量检测研究主要集中在流矩阵,报文分析等方面,但由于基于网络的探测,入侵和攻击行为也变得越来越普遍和复杂,这些方法在测量规模和粒度上不能达到很好平衡。本文提出了一种基于IP报文Identification标识字段分布的异常流量识别方法,可以以较小的代价有效地识别网络中的

流量异常,适用于主干网络和边界网络,并通过实验验证了其可行性。

2 问题提出

目前Internet绝大部分使用TCP/IP协议簇进行网络传输,而IP协议是其中最重要也是最基本的协议。位于应用层的协议通过将服务内容切割成分片(fragment)的形式传递给TCP层协议,在TCP层加上相应的头部信息又传递给IP层。由于在接受端需要对分片进行重组获得完整的服务内容,而网络的延时、拥塞和报文本身的传输方式都可能导致分片的乱序,所以需要对IP报文进行标识。在IP协议[1]中Identification字段用于标识该报文而区别于来自相同源宿地址对使用同一个协议的其他报文。由于该字段被定义为16bit长,也就是说它所能表示最大数目为216即65536。为保证服务的正常,网络中必须确保来自同一IP地址使用相同协议的报文应当有其唯一的Identification标识(该标识值位于0-65535之间)。

在文献[1]中并没有给出Identification标识的具体取值方式,但由于规定了其取值范围,采用不同取值方式的主机所选取的初始Identification应当是一个位于0-65535之间的随机数且取值相互独立,而大部分服务被分解为若干个IP报文进行传送,在每个主机中都维护一个计数器(Counter),每发送一个IP报文该计数器加1。可以做出以下假设:

假设1 在较大规模网络中,从宏观的角度分析Identification标识的取值是近似均匀分布的。

经过大量实验证明,在绝大多数情况下,Identification标识是近似均匀分布的,有关实验的验证将在下节中具体介绍。在假设1的基础上,根据Identification标识的选取方式可以做出相关结论如下:

引理1 在较大规模的网络中用于正常服务的IP报文的Identification标识是近似服从参数为n,p的二项分布,其中n为65536,p为0.5。

证明:由于每个源主机所发送的Identification标识是随机或者采用一定的机制选取的,而每个源主机选取的方式是相互独立的。设每个IP报文所对应的Identification为随机取以下值之一:X1=0,X2=1,…,Xn=n-1(n为65536),它们的取值服从同一(0-1)分布,其分布率为:

已知X1+X2+……+Xn服从二项分布,那么比较容易证明X是近似服从参数为n,p的二项分布。

分异常IP报文,它们的主要来源之一是人为构造的攻击报文。这些异常IP报文和正常IP报文共同构成了网络中存在的IP报文。

引理2 在网络中实际观测到的IP报文Identification标识的分布应当是正常IP报文分布和异常IP报文分布的叠加。

因此,可以通过区分这两部分分布,有效地识别网络中可能存在的流量异常,为其他检测方法(如报文分析)提供预警,从而为网络行为分析、入侵检测等提供必要的依据。

3 基于标识字段的异常检测方法

本文基于IP报文Identification标识的角度将IP报文分为正常IP报文和异常IP报文,整个网络的流量也是由其分别对应的正常流量和异常流量构成的。从较大规模网络(主干网络和部分局域网)的角度分析,正常IP报文Identification标识的分布规律由引理1可知近似为二项分布,而异常报文的分布具有随机性和多样性,也就导致了其的不可预测性。但是根据引理2,可以通过绘制网络流量曲线并从中分离出正常流量,就可以得到目前网络中异常流量的曲线,然后对这些流量的进一步分析就可以获得或部分获得流量异常的原因。

将获取的所有IP报文不同Identification标识数量的非空有限集合定义为P, 则根据IP协议的定义可知:,其中隶属于正常IP报文的集合定义为 ,异常IP报文的集合为Pb,P=PaUPb。

根据引理1可知,在集合Pa中j应服从参数为(na,0.5)的二项分布,则集合中的元素pa(x)的值应当基本等于其均值。采用报文总数n乘以一个预定义的比例r来估计正常IP报文的数量,由于在非极端情况下,正常IP报文数量占报文总数量的绝大多数,所以r值的估计偏差比较小,还可以根据网络当前的状况动态地调整r的取值。这样就可以从IP报文集合里分离出正常IP报文集合,从而获得异常IP报文结合,然后根据异常IP报文集合中元素的分布状况给进一步分析提供依据。

对异常IP报文的分析,主要通过定义一个阈值(Fthreshold)来将可能存在的网络异常流量从其他原因所引起的噪声区别出来,这个阈值可以设定初始值然后根据识别结果动态修正。

基于IP报文Identification标识的异常流量发现算法

通过大量的实验证明,在一般情况下,异常IP报文的Identification集中在0附近,有时还出现个别标识的报文数量偏移平均值较远。

4 流量行为的实例分析

针对CERNET主干网络的长期观测结果显示,在大多数情况下,Identification标识的分布是十分均匀的,具有某个特定Identification值的IP报文数量均在基于标识的平均报文数量附近。从整个分布曲线来看,IP报文数是围绕平均值作平稳的小幅振动,这也证实了第2节所提出的假设1。

观测结果还发现,在所有观测时段中,Identification标识为0的IP报文数量远远高于平均值,这与文献[2]中实验观察结果相一致,这不符合正常IP报文均匀分布这个论断,所以在标识为0的IP报文中有可能大量存在非正常报文。对Identification标识为0的IP报文进行分析发现,有大量相同源宿IP和相同端口的IP报文在短时间内重复出现,所以导致了标识为0的IP报文数量大大超过平均值,在剔除了这些异常报文之后,所剩的IP报文数量非常接近于平均值。由此可见,标识为0的IP报文数量异常的主要原因是因为大量存在这些异常IP报文。对实验观测所得的其他标识的IP报文数量异常进行进一步分析,发现结果与此相类似。在实验中还发现相当数量的来自同一源IP和源端口对应不同宿IP的相同宿端口的IP报文,这是典型的扫描攻击的表现。

本文对不同时段在CERNET主干网采集的IP报文进行分析(每个时段持续10分钟),分析所得报文分布曲线如图1所示。

选取参数r=0.98, 获得各个时段对应正常报文集合Pa,并从总体IP报文集合中去除正常IP报文集合获得异常报文数量分布曲线如图2所示。

采用初始阀值Fthreshold=1,除去了可能存在的网络其他噪声后,可以得到在Identification标识为若干特定值的IP报文中可能存在相当数量的异常报文,从而为进一步的报文分析提供预警。实验数据显示,在2007年8月17日01:00和2007年8月21日22:00在网络中存在一定的流量异常。

5 结束语

本文提出了一种新型的基于IP报文Identification字段进行网络异常流量发现和分析方法,该方法的主要优点在于算法简单,所占用的系统资源较小,误报率低,可以较方便地嵌入到目前流量检测工具中和其他报文分析方法及工具结合使用等等。但是由于其观测的对象所限,该方法并不能有效地发现伪装成正常IP报文的异常流量,它必须和其他报文分析工具配合使用才能达到最佳的效果。

参考文献:

[1] DARPA Internet Program Protocol Specification.Internet Protocol. Information Sciences Institute University of Southern California.1981(RFC791).

[2] 程光.大规模高速IP网络流量抽样测量及行为分析研究[D],东南大学博士论文,2003(1):41-44.

[3] 程光,龚俭,丁伟.基于抽样测量的高速网络实时异常检测模型[J],软件学报,2003,14(3):594-599.

[4] 邹柏贤.一种网络异常实时检测方法[J],计算机学报,2003,26(8):940-947.

篇8

中图分类号:TP183 文献标志码:A 文章编号:1007-2683(2017)01-0086-05

0 引言

目前,火焰检测大多是通过使用点式光电感烟探测技术来执行的。这些方法在大的,开放空间和有固定延时的情况下检测效果不好,这是因为燃烧粒子所到达传感器所用时间的影响。文仅使用像素的颜色信息最为特征来检测。文中的检测方法使用傅里叶描述符来描述火焰的边界。在文中,使用小波分析来解决FFT执行时窗口的选择问题。这种方法依赖于小波能量,寻找小波能量最低且对噪声是敏感的点。文中,作者提出一种系统,这种系统建模火焰像素作为一种固定空间像素小波系数的隐马尔科夫模型,这种固定空间像素是在三中状态之间变化的变量。此外,他们使用边界区域光滑作为分类变量。这两个属性相结合作为一个弱分类器。在文中非烟区域使用背景估计和颜色信息进行滤波。然后,计算Lucas-Ka-nade光流并且使用流的统计信息来训练神经网络。

这些方法有一个共同点,就是不试图区分类独立的像素。本文为了检测火焰和烟雾,同样不去使用独立的像素,以利于与火焰、火灾烟雾颜色相近的实物的区分。基于该主要研究目的,提出了基于最优质量传输光流法的检测算法,并结合神经网络,对火焰和烟雾进行检测。

1 分类器特征选择

目前大多数的检测方法都是基于启发式模型,这种模型描绘火或者烟的大约特征,但这往往不是最优的。一个最基本的方法是从描述烟或者火的训练数据中学习,训练一个分类器如神经网络等。训练和测试的原理如图1所示。

计算一个图像序列的光流,而不是简单的帧差,这允许考虑成像过程所期望的属性;接下来会讨论原因,基于最优质量传输的光流被计算用于火的分类,Horn-Schunck光流用于烟雾区域的分类。

图1(a)通过人工标记样本图像序列创建训练数据。样本含有时空像素邻域,这个邻域被标记是否含有火,烟或者二者都没有。通过系数矩阵有限差分求解器来计算最优质量传输光流。特征矢量是由含有R、G、B颜色通道和光流速度形成的,且特征矢量通过一个反向传播神经网络分类器进行分类处理。

图1(b)在一个新的视频帧中使用训练的分类器权重为每个像素邻域创建特征适量测试分类器。最终的输出含有每个像素类成员的概率(烟、火都没有)。

1.1 最优质量传输

最优质量传输问题起初是由Gaspar Monge在1781年提出的,且关注寻找将一堆土从一个地点移动到另一个地点最优的方式,其意义在于最小化传输成本。这个问题在Kantorovich研究中被给出一种数学构造,这就是熟知的Monge-Kantorovich问题。

我们现在给出Monge-Kantorovich问题的构造。令Ω0和Ω1是Rd的两个子域,拥有光滑的边界,每个有一个正的密度函数,分别是μ0和μ1。我们假设

这项总的相同质量是与Ω0和Ω1有关的。我们认为微分同胚映射u是从(Ω0,μ0)到(Ω1,μ1),微分同胚映射的意义是映射一个密度到其他的密度

(1)

也许有许多这样的映射,并且从某种意义上来说我们想要选择一种最优的。因此,定义LPKantorovich-Wasserstein度量标准如下:

(2)

(3)式中|Hω|表示ω的海森行列式。

因此,Kantorovich-Wasserstein度量定义两个质量密度的距离,通过考虑式(2)给出的公式计算从一个域到另一个域最便宜的方式,最优传输映射在p=2是情况下,是某一种函数的梯度。这个结果的新颖之处在于,它像平面上的Riemann映射理论,这个过程指出一个特定的偏爱几何学的映射。

1.2 光流法

光流是一种计算方法来计算在很短时间差内一组图像间运动。主要的思想是每个图像的灰度值在两帧图像间是不变的。这导出光流约束方程

(4)

(5)

注意方程(5)的一个潜在的假设是亮度恒定。在这种假设下,一个物体的亮度从一帧到另一帧是恒定的。这个假设适用于一个朗伯表面刚性物体但不是用于气体和液体材料。在计算机视觉中,这些通过所谓的动态纹理建模。烟和火的典型的动态纹理具有内在动态,所以不能通过标准光流方法来进行捕获。同时,烟/火区域流的速度比周围地区的速度快的多,通过公式(5)给出的模型可能又会产生很多错误结果。

这篇文章的目耸腔竦酶好的光流场模型用于火和烟雾检测。这样做的一个方法是基于在这些过程中物理属性的光流。一个简单的属性是火和烟大约使亮度守恒作为一个广义质量并且以文中的最优方法进行移动。因此,一个恰当的数学上的光约束不是强度守恒而且质量守恒或者亮度守恒。这个模型被写为

(6)

理由如下:

这意味着区域强度的总的变化率仅通过一个光流表示(边界上进入或者出去的)。这是一个守恒定律。但是通过散度定理

这是一个精确无穷小亮度(质量)守恒条件。

下面是前面部分的解释,本文提出了用于动态纹理分割的光流:

第一项是优化问题,代表移动图像的总质量,第二项是质量守恒光流方程。

2 神经网络分类分类器

烟雾检测可以抽象为两种模型,其检测结果由给定的像素决定属于有烟的情况或是无烟的情况。神经网络的最小二乘计算模型满足贝叶斯判别式。输出的结果是关于一个像素属于某一特定类的概率,因此决定像素属于有烟情况或是无烟情况的阈值是使用者根据其期望设定的。根据贝叶斯定理,多个事件的后验概率公式可以写成如下形式:

(8)

上式中的x由Ck类满足判别式yk(x,w)具有最大值时确定。如果x属于Ck则目标值tk(x)=l,否则都为零。神经网络每次输出的误差如下式所示:

(9)

当样本数量趋近无限大时,在文中可以看出,反向传播算法最小化下面的式(10)来缩小由神经网络来产生的误差

(10)式中的n代表类的数量。上式表明当数据点的数量趋近与无穷时,输出的结果的判别式等价于后验概率中)yk(x,ω)≈P(Ck|x)。因此,把x指定给类Ck,也就是映射具有最大值的判别式函数,相当于把x指定为具有最大后验概率的这个类。

根据贝叶斯原理,确定判别式的形式。后验概率如下式:

(11)

将文中ak=ln(p(x|Ck)p(Ck))的替换,式(11)也称为softmax函数。此式恰恰是神经网络使用的激励函数。

假设类的条件概率密度p(x|Ck)属于分布的限制指数族,则采用下面的形式:

(12)

将上式的密度代入式(11),得到的等式是关于ak(x)与x成线性关系:

(13)

因此,判别式采用激励函数的形式,当非线性函数φ(x)的线性组合为变量时如下:

(14)式中f(・)为激励函数。

在神经网络中的非线性函数组成了隐藏单元,这些非线性函数是根据具体情况选择的,而且它们是关于输入的线性组合的函数。

(15)其中h(・)是一个柔性最大值(softmax)函数。本文所使用的神经网络是完全被连接的,并且由一个含有20个隐藏单元的单隐层构成的,这个隐藏单元在隐藏层和输出使用softmax非线性。

3 实验结果

为了获得如下结果,只需要6帧图片来训练神经网络分类器。包括手动描绘的有火、无火、有烟和无烟的区域。样本的数量要小并且出自同一视频中。通过提供更多明显的样本,例如来自不同的视频资源的有用和没用的数据样本。可以使分类器检测更多的视频。

神经网络分类器的输出结果为每个像素的后验概率p(Ck|x),这里的类Ck指的是有火或烟和无火或烟,x是给定像素的特征向量,图2中显示了分类器的一个样本输出中一帧图像的所有像素。根据阈值可以选择像素的类,图2显示的是烟,图3显示的是火。

对图2所示的图片进行特征向量提取和相邻时空像素最优质量传输光流速度值计算,并提供给神经网络分类器。输出的每个像素的概率属于烟的类。如图2(b)所示,这种选择是根据阈值概率做出的。可见白烟是从白墙中区分出来的。

篇9

中图分类号:TP393 文献标识码:A文章编号:1007-9599 (2010) 05-0000-02

Network Server Traffic Analysis

Zhu Ye

(TravelSky Technology Limited,Beijing100029,China)

Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.

KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control

一、前言

今天的数据网络给我们的生活、工作和人与人之间的沟通带来了极大的方便,网络业务日趋丰富,网络流量高速增长。同时,网络运营商之间的竞争也逐渐激烈,以高投资为特征,追求简单规模扩张的粗放型竞争模式已经不适应当前的形式。挖掘现有网络资源潜力,控制网络互联成本,提供有吸引力的增值业务,提高网络运维水平成为在激烈竞争中的制胜策而要实现这些,都离不开可靠、有效的网络流量监控的有力支撑。

二、网络流量监控和分析的意义

用户现有的网络管理系统在长期的网络流量分析方面存在不足。主要表现在如下方面:

(一)长期的网络和应用问题分析能力不足

现有的网络管理系统无法长期的纪录网络和应用的运行状态,无法长期的保存网络流量信息,在出现网络或应用问题时,不能为网络技术人员提供有效的信息依据,问题往往是依靠网络技术人员通过推断来分析,这样网络问题的分析效率很低,同时很难得到确实的分析结论。

(二)缺乏对网络和应用间歇性问题的分析能力

网络或应用可能出现间歇性故障,这种故障的出现一般很难判断,在出现后很难分析其产生原因,而再次出现的时间无法确定,因此难以解决,好像网络中存在一个不定时的炸弹,使用户网络和应用时刻处于危险之中。

(三)对网络安全问题的分析能力不足

在发生网络安全问题时,缺乏有效的监控分析手段,导致网络的安全性降低,例如蠕虫病毒的爆发,应该能够对蠕虫病毒的传播情况进行有效的分析。

三、网络流量分析内容

流量分析系统主要从带宽的网络流量分析、网络协议流量分析、基于网段的业务流量分析、网络异常流量分析、应用服务异常流量分析等五个方面对网络系统进行综合流量分析。

(一)带宽的网络流量分析

复杂的网络系统上面,不同的应用占用不同的带宽,重要的应用是否得到了最佳的带宽?它占的比例是多少?队列设置和网络优化是否生效?通过基于带宽的网络流量分析会使其更加明确。工具主要有MRTG等,它是一个监控网络链路流量负载的工具软件, 它通过snmp协议从设备得到设备的流量信息,并将流量负载以包含PNG格式的图形的HTML 文档方式显示给用户,以非常直观的形式显示流量负载。

(二)网络协议流量分析

对网络流量进行协议划分,真对不同的协议我们进行流量监控和分析,如果某一个协议在一个时间段内出现超常暴涨,就有可能是攻击流量或蠕虫病毒出现。Cisco NetFlow V5可以根据不同的协议对网络流量进行划分,对不同协议流量进行分别汇总。

(三)基于网段的业务流量分析

流量分析系统可以针对不同的VLAN来进行网络流量监控,大多数组织,都是不同的业务系统通过VLAN来进行逻辑隔离的,所以可以通过流量分析系统针对不同的VLAN 来对不同的业务系统的业务流量进行监控。Cisco NetFlow V5可以针对不同的VLAN进行流量监控。

(四)网络异常流量分析

异常流量分析系统,支持异常流量发现和报警,能够通过对一个时间窗内历史数据的自动学习,获取包括总体网络流量水平、流量波动、流量跳变等在内的多种网络流量测度,并自动建立当前流量的置信度区间作为流量异常监测的基础。能把焦点放在组织的核心业务上。通过积极主动鉴定和防止针对网络的安全威胁,保证了服务水平协议(SLA)并且改进顾客服务, 从而为组织节约成本。异常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平台、PeakFlow Traffic流量管理平台等。

(五)应用服务异常流量分析

当应用层出现异常流量时,通过IDS&IPS的协议分析、协议识别技术可以对应用层进行深层的流量分析,并通过IPS的安全防护技术进行反击。

四、网络流量控制解决方案建议

对于目前运营商对网络流量控制的需要,论文推荐的流量控制解决方案构架是:全网集中监视+重点控制。全网集中监视反映的是对整个网络的性能监视和分析。重点控制是在网络中的关键位置部署监控探针,在网络中心设置管理系统,以实现运营商在远程对重点地区进行更加细致的监视和控制作用。

(一)监控探针的放置点建议

国际出口、网络互联端口、骨干网的重要中继、重要城市的城域网出口等位置。

(二)全网集中监视主要实现的功能

实时监测网络状况。能实时获得网络的当前运行状况,减轻运维人员工作负担。能在网络出现故障或拥塞时自动告警,在网络即将出现瓶颈前给出分析和预测。

合理规划和优化网络。通过对网络流量的监视、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议协分布特性,为网络规划、路由策略、资源和容量升级提供依据。

引导提供网络增值业务。通过对业务占用带宽的分布、业务会话的统计分析,能够了解和分析网络特性和用户使用偏好,引导开发和规划新的网络应用和业务平台,进行增值业务的拓展和市场宣传,引导用户需求。

灵活的资费标准。通过对用户上网时长、上网流量、网络业务以及目的网站的数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的资费标准。

(三)重点控制实现的功能包括

提供主动的控制功能。不仅仅局限于对网络流量状况的获得,还能够提供基于网络流量监测系统GATE 1000硬件平台和业界领先算法的流量控制功能,主动改进网络服务。

满足重点监控需要。可以提供丰富的监控特征参数,可以进行灵活的复合设定,全面满足运营商需要,也可以通过定制来实现特定要求。

降低互联互通成本。获得重点出口中继链路的利用率、用户和协议分布、源和目的网段间的流量分布和趋势,提供运营和互联成本分析。为网络互通、租用中继以及选择商业战略伙伴决策时提供科学依据,降低成本。

实现区分服务,保证服务质量。流量监控获得的数据,可进行高低优先级客户的网络资源占用率分析、服务质量的监测。通过资费政策的调节、业务等级的区分、在中继线路上实施流量控制,优先保证高优先客户的服务质量。

网络安全和抵御DOS攻击。通过连接会话数的跟踪,源目的地址对的分析,TCP流的分析,能够及时发现网络中的异常流量和异常连接,侦测和定位网络潜在的安全问题和攻击行为,保障网络安全。

五、IPFIX与PSAMP标准

IPFIX(IP Flow Information Export,IP流动信息输出)是IETF的技术人员2004年才制订的一项规范,使得网络中流量统计信息的格式趋于标准化。该协议工作于任何厂商的路由器和管理系统平台之上,并用于输出基于路由器的流量统计信息。

IPFIX定义的格式为Cisco的NetFlow Version 9数据输出格式作为基础,可使IP流量信息从一个输出器(路由器或交换机)传送到另一个收集器。因为IPFIX具有很强的可扩展性,因此网络管理员们可以自由地添加或更改域(特定的参数和协议),以便更方便地监控IP流量信息。使用模板的方便之处在于网管和厂商不必为了用户能够查看流量统计信息,而每次都要更换软件

为了完整地输出数据,路由器一般以七个关键域来表示每股网络流量:源IP地址、目的地IP地址、源端口、目的端口、三层协议类型、服务类型字节、输入逻辑接口。如果不同的包中所有的七个关键域都匹配,那么所有这些包都将被视为属于同一股流量。此外,一些系统中还有为了网络统计进行跟踪而附加的非关键域,包括源IP掩码、目的地IP掩码、源地址自治系统(autonomous system)、目的地自治系统、TCP flag、目的地接口以及IP next-hop等。按照IPFIX标准,如果网络操作人员想以附加的非关键域来描述包,那么基于模板的格式会在输出包的报头之后插入一个新域,并新增新的模板记录。

六、网络监测系统框架

采用不同的检测方法,通过分布式监测方式对通过高速IP网络的数据包进行统计和分析。采集服务器搜集的数据包及统计数据被传送到综合服务器,经合并处理后存入数据库,并进行进一步的分析处理。在这个过程中,可应用Netflow v9、IPFIX以及PSAMP等标准和协议,实现对采集数据的编码与传输。与通常的SNMP、Netflow及其它网管标准不同的是,该框架采取了PSAMP标准及技术,在不降低监测与分析效果的情况下,尽量减少检测数据量。

整个框架从总体看,可分为网络流量数据采集和网络数据分析两大部分。

网络流量数据采集:为适应不断发展的高速网络应用,框架中采用了分布式网络流量数据采集方案,IP流数据可从不同的设备以不同的方法来获取。利用路由器/交换机的数据流量采集功能或是从其他IPFIX/PSAMP数据采集设备,也可直接从网络接口卡等网络数据包摄入设备来得到网络数据,然后再以不同的标准,最终由网络流量数据采集服务器将所有传来的不同格式的数据集中。

为体现现代计算机应用中的兼容性,框架中对网络硬件接口的应用方面,突出了其应用多样性。这样,在原有硬件设备的基础上,如普通的网卡(NIC)、基于硬件时间戳的Endace DAG卡或者其它的专用FPGA网络接口设备,都可以在libpcap、winpcap等库的支持下,由BPF虚拟处理器作为缺省的包捕获工具。在包捕获的软件实现上,采用了多线程机制,使用不同形式的数据队列和数据缓冲设备,以应对突发的大量数据包。

接下来对捕获的数据包,分别交由两种方法和途径进行处理:在Netflow标准支持下,同步完成记帐业务。在这种操作模式下,传送的总的数据量可以被统计下来。数据分析模块利用PSAMP协议,根据不同的具体需求采取不同的取样算法,对数据包进行过滤和抽取以进行分析处理。这样就可以根据实际的需要来进行选择,以减少传输和分析处理的数据量。

网络数据分析:对采集来的网络流量数据,根据不用的应用要进行详细的分析处理。框架中这个部分的设计采用以SQL数据库为中心的分布式数据集中和分析的方法。

以DBMS为中心的操作可以获得更好的分析样本以及统计粒度。此外,为便于网络管理人员的操作,框架中应用基于Web的直观的、图形化的管理界面,所有数据输出都以脚本语言(XML)的形式,直接在Web页面中显示。管理人员可以实时观察网络运行状况,还可以对历史数据进行浏览、分析,同时还可这些实时数据传送到其他应用系统,如分布式入侵检测系统、网络跟踪等。

七、结束语

总的来说,在网络设备上配置网络流量监控系统,对网络流量进行分析和监控,好处还是显而易见的。特别是对于网络流量负荷比较大的网络。可以有效的节省网络带宽和处理资源。也可以作为计费或者流量控制或者网络规划的参考。

参考文献

篇10

一、引言

随着配电网生产、管理及营销的信息集成度越来越高,众多相互关联的因素都会影响到业务的质量,任何一个环境都可能造成业务质量的下降,孤立的去监控某个元素无法保证整个端到端的传输质量。因此我们需要从网络的角度,实时监控、分析整个业务的流程,及时把握实际环境中各因素对业务质量的影响,从科学的角度去规划、优化网络与业务系统。网络流量监测是网络管理的基础,如何在高速网络中完整、准确、实时地采集和处理网络流量数据是流量监测研究的重点课题。

二、电力网j监测系统现状分析

通过对全国大部分省市的监测系统进行调研发现,目前大部分省市采用的监测系统存在以下问题:

2.1故障定位与分析困难

当网络故障发生后,管理员通常只能单纯根据网络故障的表面现象,凭借现有的工具和个人的经验,通过不断的尝试对问题作出判断,由于缺乏有力的信息支撑,往往在网络故障产生后很难迅速定位网络故障点,解决网络故障耗时耗力,效率低。

2.2网络应用流量成分分析不深入

虽然借助当前的网络工具能够获得某个交换机端口的网络流量类型数据,但无法掌握长期的网络应用流量成份数据,并且无法对发生在过去的未定义应用进行分析,特别是在未知流量与异常流量发生后,难以追踪造成流量异常的IP主机与应用端口。

2.3缺乏对对网络与应用性能的整体监测手段

当终端用户访问业务系统的应用时延增大,网管人员需要了解具体响应时延的数据,根据历史数据进行分析判断是否与网络因素有关,还是与业务的应用系统的性能有关,进而采取相应措施,而目前大部分电力网络监测系统缺乏对对网络与应用性能的整体监测手段。

为了解决上述问题,我们需要研制一套监测方案,能够对各节点的各种网络设备和重要链路进行实时和长期的监控,以便进行故障预防和故障排除,并且为网络规划和网络运行管理提供依据。

三、网络流量监测分类及关键技术

网络流量监测主要是为了对网络数据进行连续采集,通过对网络数据进行连续采集,获得并存储网络及其主要成分的性能指标。下面重点介绍几种重要的网络流量监测技术。

3.1基于流量镜像协议分析

流量镜像协议分析方式是把网络设备的某个端口(链路)流量镜像给协议分析仪,通过7层协议解码对网络流量进行监测,缺点是流量镜像(在线TAP)协议分析方式只针对单条链路,不适合全网监测。

3.2基于SNMP/RMON的流量监测技术

SNMP,是基于TCP/IP协议的各种互联网络的管理协议,提供从网络设备收集网络管理信息的方法,并为设备提供了向网络管理站报告故障和错误的途径。

此类检测技术的优点是具有普遍适应性。一般而言,所有的网络设备都提供标准的SNMP功能,能够满足一般的端口链路流量监视的要求;不足是功能单一,信息量少,不支持历史数据的存储,实时流量的分析性能差,不能进行故障分析、网络协议解码等功能的实现。

3.3基于NetFlow/sFlow流量监测技术

NetFlow集成在Cisco的各类路由器和交换机内,是Cisco公司开发的专用流交换技术,同时也可用于记录流量统计信息。sFlow也是一种嵌入在路由器或交换机内的基于抽样的流量监测技术,sFlow的目标是实现高速网络中多设备、多端口的基于应用的流量测量。主要缺点是:特定于厂商的设备、价格昂贵、实时性较差等。

3.4基于数据采集探针的监测技术

数据采集探针是专门用于获取网络链路流量数据的硬件设备。使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,一个硬件探针监视一个子网(通常是一条链路)的流量信息。全网流量的监测需要采用分布式方案,在每条链路部署一个探针,再通过后台服务器和数据库,收集所有探针的数据,做全网的流量分析和长期报告。基于硬件探针的最大特点就是能够提供丰富的从物理层到应用层的详细信息,但是部署相对复杂,费用也较高。

综上所述,四种监测技术各有优缺点,其中基于数据采集探针的监测技术,可以获得详细信息,可为故障分析、网络优化、网络规划提供实时的、历史的重要数据。但是部署相对复杂,下文将具体细述部署方案。

四、系统部署方案

下文以某市电网系统为原型介绍部署方案。

4.1部署千兆硬件探针

部署硬件探针是为了实现对访问IDC服务器群的流量以及关键业务系统间的交互的流量进行网络与应用性能分析。

下表是各网络层级对应的数据源、需求、网络性能参数:

在IDC中心机房的核心交换机上连接一台硬件探针,在核心交换机上配置端口镜像,将访问“服务器群区”、及“关键业务系统间交互数据”的流量镜像到所连接的端口。

千兆硬件设备采用双进程体系结构:Probe实时分析进程和流量记录与分析进程。

4.2部署管理服务器

部署管理服务器,对探针进行远程管理,并存放探针的分析统计结果,提供实时监控分析、数据包捕获解码、自动报告生成和集中告警功能。管理服务器同时能够获取路由器与交换机的SNMP MIB数据,对网络设备各端口的流量大小进行长期监控并生成所有链路的流量基准。

五、系统功能设计

基于硬件探针的电力综合数据网监测系统可实现下列九大功能:

网络性能分析和优化

问题分析和主动管理

报表系统

异常流量分析

响应时间监控

数据捕获和协议分析

链路监控分析

网络监控分析

应用监控分析

六、结论

本文对电力系统的综合数据网监测方案进行分析,提出了一种基于网络探针的检测管理系统,通过对该系统的总体构架和关键技术进行研究,实现并部署了一套系统在广东电网某供电局成功使用,效果良好。

篇11

网络流量性能测量与分析涉及许多关键技术,如单向测量中的时钟同步问题,主动测量与被动测量的抽样算法研究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋势预测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)研究其自相似特征,测量与分析结果的可视化,以及由测量所引起的安全性问题等等。

1.在IP网络中采用网络性能监测技术,可以实现

1.1 合理规划和优化网络性能

为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。

1.2 基于流量的计费

现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。

1.3 网络应用状况监测与分析

了解网络的应用状况,对研究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,研究者可以据此研究新的协议与应用,网络提供者也可以据此更好的规划网络。

1.4 实时监测网络状况

针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和预测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决问题。

1.5 网络用户行为监测与分析

这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到:

1)某一段时间有多少用户在访问我的网络。

2)访问我的网络最多的用户是哪些。

3)这些用户停留了多长时间。

4)他们来自什么地方。

5)他们到过我的网络的哪些部分。

通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。

2.网络流量测量有5个要素:

测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。

2.1 连接性

连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。

2.2 延迟

对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步问题。

2.3 丢包率

为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。

2.4 带宽

带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。

2.5 流量参数

ITU-T提出两种流量参数作为参考:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量:用传输成功的IP包中总字节数除以时间间隔。

3.测量方法

Internet流量数据有三种形式:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络研究人员用来分析指定网络路径的流量行为。

3.1 主动测量

主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如Web Server的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。

3.2 被动测量

被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术遇到的另一个重要问题是目前提出的要求确保隐私和安全问题。

3.3 网络流量抽样测量技术