学文网网络监测系统篇1
1研究现状
舆情监测工作由来已久，最早的网络舆情监测手段也是基于传统的手工模式。通过雇佣大量工作人员对指定的监测页面进行监测，使用人工方式，对某些重点监测词汇进行频率统计来寻找舆情动向。然而随着互联网的蓬勃发展，传统的方式已经落伍，要对网络舆情进行监测，就必然要依托于一个功能强大的互联网舆情监测系统进行。伴随着网络的发展，国内外已有一系列的网络舆情监测系统正式投入使用，这些系统通常是依托于***府部门、学术机构以及企业媒体建设的，分别基于不同的需求（行***决策的、学术研究的、商业开发的），从不同的角度对网络舆情进行监测。最早的相关研究始于TDT（TopicDetectionandTracking）项目［2］，它是美国国防高级研究计划局主导的，旨在从新闻网页中找到未知话题并对话题进行追踪。该项目历经多年发展演变，其核心研究内容分为报道切分、话题追踪、话题监测、首次话题报告以及关联监测这5个方面的内容［3］。在我国，由于中西文在文本挖掘、分词方面的巨大差异，以及社会经济等方面的差异，基于汉语的网络舆情监测研究起步较晚［4］。目前，学院型的舆情研究机构主要有北京大学中国国情研究中心、中国人民大学舆论研究所、上海交通大学舆情研究实验室等［5］。
2网络舆情监测系统框架
从过程上看，网络舆情监测的本质是从网络上获取数据、分析数据以及按用户需求呈现分析结果的过程，因此在系统实现时，从数据流向的角度，可以把一个网络舆情监测系统划分为数据获取模块、数据预处理模块、数据分析模块以及结果呈现模块，整个系统的结构如***1所示。
2．1数据获取模块
数据获取模块的主要功能是全天候的、自动的从整个网络上，或者某些特定网络上获取进行舆情分析的原始数据。在自动获取数据的过程中，有两方面的要求。一方面，是获取的相关舆情数据相对于整个数据的覆盖率的要求，即要尽可能地获取尽量全面的原始数据；另一方面，则是对数据准确率的要求，即所需数据要尽可能贴近用户关心的舆情热点。只有在覆盖率和准确率全部达标的情况下，才能更好地对网络舆情进行分析预测。目前，常见的数据获取方式有两种：（1）网络爬虫方式。互联网的一项基本协议是HTML协议，基于该协议，网络中大量资源以统一资源定位符（URL）相互联系，构成一个有机整体。网络爬虫从一个预先定义好的URL列表开始，依次访问该列表上的所有页面进行数据抓取，并分析当前访问页面中的其他URL，选择符合要求的URL加入待访问队列，试***以深度或者广度的方式对限定范围的网络进行遍历式的访问，以获取该网络的所有信息。（2）元搜索采集技术。搜索引擎是大多数网民访问网络的入口，目前有众多的搜索引擎服务提供商，其检索过程有不同的侧重方向，检索结果也各不相同。可以在若干不同的搜索引擎上部署元搜索引擎，通过对下层引擎的调用返回多个搜索结果，并基于一定的算法对不同结果进行选择。使用该方法能够有效地提高数据获取的覆盖率和准确率，且系统构建较为简单。
2．2数据预处理模块
Web页面的数据有其自身特点，它是一种半结构化的数据，整个数据包括内容和描述两个部分，且两者混杂在一起。直接通过数据获取模块抓取的页面内容复杂，存在大量噪音，文本内容非结构化，无法直接进行下一步的分析工作，对这些原始页面必须进行一次数据预处理。预处理的过程大体上分为两步：（1）进行网页内容提取。将用户关心的内容（例如新闻的内容、对主题的讨论等）从噪音（如页面上的广告、导航以及其他超链接）中找出。将页面转化为一个HTML标签树，根据已有知识建立提取规则，最后依据规则对页面内容进行提取。如何建立一个合适的规则是提取工作的核心，可以针对某类特定的网站建立专属规则，也可以针对一般页面的结构特点建立一些通用规则。（2）进行中文文本分词。自然语言中，词是最小的***活动的语言成分。要对页面提取获得的非结构化连续文本进行处理，首要的工作就是对其进行分词。分词是将输入的一段文本分解为符合逻辑的一组单词的过程，例如输入“羽毛球拍”时，依照某种分词算法就可以初步将其分解为羽毛、羽毛球、球拍3个单词。最简单的分词算法以词典为基础，通过对字符串匹配完成初步工作，之后辅以少量词法、语法和语义规则；另一种思路是基于统计进行分词，统计文本中相邻字同时出现的频率，频率越高就越可能构成一个词；还有一些基于规则的分词算法，通过模拟人对句子的理解过程，对当前句子的语法、句法、词法进行分析推理，能够自动补全未登录词条。
2．3数据分析模块
数据分析模块是整个网络舆情监测系统的智能核心，在本质上是一个数据挖掘的过程。它负责将前期获得的网页内容进行深度挖掘，发现新的舆情热点，并对原有的舆情趋势进行分析。一个典型的系统应具备以下几方面的功能：（1）主题聚类。聚类可以很直观地从海量数据中发现新的主题。将处理过后的网页内容归一化到某个特征空间中，在这个特征空间中以某种方式，将特征接近的页面内容划分为不同的类别，相应类别的聚类中心就可以认为是新的主题。（2）热点发现。在当今网络时代，每天产生的舆情主题众多，其中有些主题能够迅速成为当下的舆情热点，舆情监测系统需要将这些舆情热点从众多主题中筛选出来，推送给舆情分析人员。筛选的时候应该注意“热点”一词不同方面的含义，最直观的含义就是某主题在某段时间内出现的频次；再有一方面的含义就是某主题除频次以外的权重，例如该主题来源页面的影响力、该主题的发展速度等。（3）话题追踪。网络话题的生命周期从最初的事件主题开始，经过一段时间的发展演化成为舆情热点，又经历一段时间的发展变化逐渐热度降低，最后消散。还有，在这个过程中话题的变异分支过程，都是在基于网络舆情进行决策分析时可以纳入考虑的影响因素。在分析大量话题生命周期后，可以从中总结一定的规律，对当前某话题的下个阶段进行一定的预测。（4）情感识别。网络话题除了对某个发生事件的客观描述外，还有一定的情感倾向，尤其是在网民对该话题的回复中，这种情感倾向会更加明显地体现出来。从整体上看，这种情感倾向会分为赞成、反对以及中立这3种大的方向。将人们对某个舆情热点的情感倾向进行直观体现，有助于更好地进行分析决策。这种分析不光要对舆情的当前状态进行情感识别，还要对该话题的发展过程中某个阶段的情感同时进行分析，以掌握舆论对该话题情感倾向的变化过程。
2．4结果呈现模块
网络舆情分析的目的是为相关的决策提供支撑依据，其分析结果需要简单直观地提供给决策分析人员，并在初步分析的基础上对整个结果进行二次挖掘。这就需要结果呈现模块能够动态***形化地展示分析结果，并对某些舆情热点、舆情的重大拐点进行主动推送警告。根据一般化的网络舆情分析需求，必须实现的功能有：（1）针对所有主题的查询。（2）新主题的推送。（3）舆情热点、拐点的警告。（4）舆情发展态势***。
3总结展望
总的来说，一个舆情监测系统，无论具体实现细节上有多大差异，其运转流程总是按照数据获取、预处理、数据分析、结果呈现这4个步骤进行。在***性技术手段出现之前，要对系统进行进一步的提高和完善，就需要从两个方面开展工作。一方面在数据采集部分，需要扩充监控网页的类型，如加入论坛、社区网页的搜集，或采用多种形式搜集策略相结合的方式，如聚焦爬虫、网站监控等策略，收集最广泛专业的舆情基础数据；另一方面在舆情的智能分析决策方面，以自然语言处理技术与数据挖掘技术为基础，融入包括智能检索、自动摘要、热点事件自动发现、热点词发现等高级需求，对舆情报警以及统计报表等功能进行扩展。
作者：李振江 单位：甘肃***法学院
网络监测系统篇2
流量监测是网络管理的基础。从网络体系架构来说，网络流量是一切研究的基础；它能直接反映网络性能的好坏；更能帮助判断网络故障及网络安全等状况。本文介绍了WSDM标准的产生背景、组成及特点等基础知识：并依据该标准设计了一个局域网流量监测系统的实施方案。
1 WSDM标准
面向服务架构(SOA)将应用程序的不同功能单元包装成“服务(Service)”，通过这些服务之间定义良好的接口和协议联系起来。接口采用中立的方式定义，***于具体实现服务的硬件平台、操作系统和编程语言，使得构建在各种这样系统中的服务可以使用统一和通用的方式进行通信。这种具有中立接口定义的特征称为服务之间的松耦合。面向服务架构是一种软件体系结构的思想，它需要依赖具体的实现技术。本文采用Web服务分布式管理(WSDM)标准来支持面向服务架构的实现。
为了解决网络环境下管理系统和基础设施的协同工作以及管理集成问题，OASIS组织在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服务分布式管理(Web services distributed manage-ment，WSDM)标准，对Web Service管理提供标准化的支持，通过使用Web Service来实现对不同平台的管理。
WSDM是一个用于描述特定设备、应用程序或者组件的管理信息和功能的标准。所有描述都是通过Web服务描述语言进行的。WSDM标准实际上是由两个不同的标准组成的，WSDM-MUWS标准以及WS-DM-MOWS标准。
***1是WSDM的工作模式，可管理用户发现这个Web Service端点，然后，通过与端点交换消息，从而获取信息、定制事件以及控制与端点相关联的可管理资源。WSDM规范侧重于提供对可管理资源的访问。管理是资源的一个可能具有的特性，可管理资源的实现是通过Web Service端点提供一组管理功能。WSDM架构不限制可管理资源的实现策略，实现方式包括直接访问资源、用非方法、用管理等，实现细节对于管理消费者来说都是透明的。
WSDM作为一种功能强大的分布式系统集成解决方案，其主要特点如下：
(1)面向资源。WSDM的关注点是资源，因为一个资源就代表了多个Web服务，因此在该标准中，对资源属性和功能的详细描述显得尤为重要。为此，WSDM采用了专门的Web标准(如WS-Resource)对资源相关信息进行定义。
(2)实现分离。由于采用与实现操作无关的WSDL语言定义接口，使得接口与服务实现了分离，所以无论Web服务其内在实现细节如何改变都不会对客户端的操作方式有任何影响。这样做不但较好地封装了管理方法的实现细节，而且实现了对已有资源的重用。
(3)服务的可组合性。WSDM能随着应用环境规模的变化而变化，首先，WSDM标准的自身实现只需定义较少的属性和操作，使得其在小规模的系统中可以得到稳定的应用：其次，对于大规模应用环境而言，WSDM可以随着应用需求的变化灵活地添加某些服务。从而在使用者和部署人员之间起很好的协调作用。
(4)模型的兼容性。主要表现在WSDM能描述和封装任何资源模型(如cIM、***-NP、SID等)，并为其提供相应的Web服务接口。
2 系统设计方案
网络流量采集使用了三种技术：
(1)基于网管设备MIB的SNMP模式；
(2)基于网络探针技术的IP流量数据捕获模式；
(3)基于NetFlow技术的数据流捕获模式。
针对基于SNMP模式，实现基于WSDM的SNMP网关，通过该网关收集SNMP设备上的MIB信息；针对基于网络探针技术模式，可实现基于WSDM的网络探针服务；针对基于NetFlow技术模式，流量数据是通过NetFlow的主动式数据推送机制获得的，网络设备中的NetFlow是通过规范的报文格式将流量数据送往指定主机，WSDM服务提供了接收和传输NetFlow流量数据的功能。
2.1 系统架构
流量监测系统结构可划分为三个层次，即资源层、管理服务层、展示层，如***2所示。
(1)资源层
资源层由提供流量采集服务的分布式流量采集器(WSDM Agent)组成，它们通过调用管理服务层的WSDM Agent注册服务实行自主注册，具备向管理服务层主动汇报、自主管理和主动服务等功能。
(2)管理服务层
管理服务层包括应用组件、服务组件、管理平台以及数据库。其中应用组件是对展示层提供支持的各种
管理服务，包括策略管理模块、WSDM Agent管理模块、流量数据管理模块以及流量分析模块等系统功能实现的模块。服务组件是对资源层的各种WSDMAgent资源的支持，包括安全审计、日志服务、异常服务、自主管理等，主要是管理服务器自主实现的一些功能。数据库部分是应用组件中各模块对应的数据存储。中间层的管理平台是管理服务层的核心，是对应用组件、服务组件以及数据库的支持，包括Web服务、WSDM服务的引擎和API等。
(3)展示层
展示层实现流量状态显示。可以从流量数据库中取得所要查询的网络流量历史信息，也可以调用管理服务层提供的服务触发流量信息更新采集实时的流量数据，还可以通过服务将合法用户的操作信息送到管理服务层。根据用户需求采用***形用户界面将流量态势分析的结果展示出来。可提供多种格式的流量报表。
2.2 流量分析系统设计
流量分析系统是整个流量监测系统的核心。如***3所示，该系统分为五个模块：流量采集模块、数据接收模块、数据传输模块、流量分析模块、数据存储与管理模块。对照流量监测系统架构，流量分析系统结构中的这五个功能模块分别位于总体架构的各个层次。
位于资源层中的流量采集模块和数据接收模块，通过网络数据流采集技术实现分布式的网络流量数据采集，构成流量采集器；然后由数据传输模块将流量采集器采集到的原始流量数据传送到管理服务层；由流量分析模块对这些分布式的网络流量数据进行全网络的OD流的计算，之后对OD流进行进一步地统计和分析判定。提供包括确定网络关键链路、瓶颈节点，识别网络中的大象流及判定异常流等功能，并将得到的这些分析统计结果保存至流量数据库；流量数据库由数据存储与管理模块进行维护，该模块设计存储网络实时流量和历史流量数据以及统计分析结果数据，由流量数据管理模块将资源层发送上来的经过预处理的原始流量数据保存至该模块设计的原始流量数据当中。
3 结束语
设计网络流量监测系统，可以帮助我们在局域网中实现确定网络关键链路、确定网络瓶颈节点、识别大象流和判定异常流的流量分析等功能，从而使网络管理者更清楚地了解和掌握局域网的运行状况，并根据监测数据对网络进行及时地维护和管理，确保网络稳定、高效地运行。然而，进一步地获取实验数据和进行实际应用是我们今后努力工作的目标。
网络监测系统篇3
【摘要】本文对信令监测在实时监视等方面的独特优势基础上挖掘出的新功能及新业务进行了研究，同时对TD网络监测系统进行了一些探讨。
【关键词】信令监测；TD网络监测
【中***分类号】TN929.5 【文献标识码】A 【文章编号】1672—5158（2012）08—0091-02
随着中国移动网络规模的不断扩大以及各种通信业务的迅速增长，作为现代网络通信的神经枢纽，信令网在移动通信中发挥的作用越来越大，对信令网的管理和维护的要求也非常高，而且信令协议承载着业务网络运行的所有信息，是非常宝贵的信息资源。信令监测系统不同于信令网管系统，网管系统是针对STP的管理，实现信令网的性能管理、告警及故障管理、配置管理等，着重宏观的管理，而信令监测系统平台在协议、网络、业务等的深层次的分析和实时性监视方面具有更强大的功能，是信令网集中维护和管理、话务网网管、网络优化、网间服务质量监视分析和网间结算核查、业务话务模型分析、网络规划、故障快速定位和排除等的有效的支撑手段之一。
为了能将中国移动TD-SCDMA网络尽快调整为高质量网络，保障网络高质量运行、为客户提供满意服务，需要借助信令监测系统来发现、分析网络中的不同设备商之间信令不兼容、信令消息不规范、参数设置不正确、局数据错误等问题，重点辅助业务开通测试、网络故障排查、客户投诉处理等项工作。
此外TD-SCDMA网络支持业务种类丰富、业务质量机制复杂，通过信令监测系统可实现精细化的网络和业务分析，更详细掌握业务实际运行质量、业务分布和发展趋势，从而合理规划、调配网络资源。在与2G网络长期共存的复杂环境下，信令监测系统将是保障网络高质量运行、快速响应用户投诉的有力支撑。
信令监测系统是通信网络运行维护的重要支撑系统之一。信令监测系统以不影响网络运行的高阻跨接、端口镜像、能量分配等方式采集各类信令和协议数据，进行信令协议解码，合成CDR，再现业务接续全过程，进行网络和业务各类指标统计，从而帮助网络维护和分析人员掌握分析网络与业务运行情况。
信令监测系统是在全网部署、全天候监测的“大仪表”，其最基本、最核心功能是协议分析、呼叫跟踪，此外提供网络告警和预警，精细化的网络分析、业务分析和用户分析等功能，并可为新业务实施提供一定支撑。信令监测系统重点考虑对网内薄弱环节以及与外网互联互通环节的监测，是新业务开通测试、处理用户投诉时诊断网络故障的有力工具，是网络和业务运行质量精细化分析的有力工具，同时也是获得网络和业务KPI指标的数据源之一。
GoS是3G测试的关键。软交换的核心思想就是把媒体和承载相分离。首先，在3G核心网采用的接口为百兆或者千兆以太网口，为信令监测同时带来了有利和不利的双重影响，有利因素表现在，现在通过以太网交换机很容易做端口镜像或TAP复制，容易对软交换的信令进行统一监测，使得用于监测的探针的投入数量减少，节约资源。不利因素表现在由于协议数据的流量会非常大，在实际监测中，信令任务聚合起来以后将达到几十兆甚至上百兆的流量，捕获大容量的信令流将是个难点。
TD-SCDMA作为中国自主研发的3G标准，经过几年的发展日趋成熟，目前正在为大规模商用作最后的准备和验证工作。虽然TD-SCDMA技术和产品正在不断成熟，但是一方面，由于TD—SCDMA相对传统的G***，网络接口和协议更加复杂、在物理层和网络层运用了多项有特色的技术，比如联合检测、低码片速率，切换技术和动态信道分配DCA技术等等，这些新技术的应用必然会给网络建设和运营带来新的挑战；正是由于这些复杂性，3G业务走向市场还面临着许多问题，最根本的问题是如何达到3G标准所设定的服务质量目标。
我们知道，经过10多年的不断完善，2G的G***网络的服务质量才达到了较完美的状态。当3G网络建设完成以后、面对3G终端用户的时候，服务质量问题的解决就变得特别具有挑战性。如何尽快地缩短这两者之间的差距，并在网络运营成本和服务质量之间寻求有效的平衡是所有3G运营商都需要面对的课题。解决这些问题的一个关键因素就是如何完善3G测试技术，并建立一套相应的故障检测和网络优化技术体系。
和传统的G***移动通信网相比，TD-SCDMA通信网有如下不同：
1、接口类型不同。
2、接口流量不同。我们知道，传统的E1传输流量是2Mbit/s，但是FE/GE的流量一般也有几十Mbit/s，STM-1/STM-4则会有上百Mbit/s。
3、接口协议不同。
由于以上接口的复杂性，给网络测试带来了巨大的困难。如果使用测试仪表或者不同类型的信令监测系统对网络进行测试，实际上只能对局部或者部分网络和业务进行测试，达不到全城全网全业务测试的目的，非常不利于全网的故障定位和运营水平的提高。因此提供一种能够针对不同接口、不同协议（业务）的综合测试平台，是解决3G网络运行问题的关键。
中心站负责CDR记录数据的收集、储存、统计、应用等，提供web界面。数据储存部分，即数据库服务器和磁阵之间，用2台光纤交换机组成SAN，保证了数据的有效性和稳定性。中心站一般是维护和应用的中心，利用储存的各种形式CDR/TDR数据，组成统一的数据平台，支持各种业务的统计分析和应用。同时中心站还可以利用远端站储存的原始信令，对各种业务进行全程全网的实时关联分析，解决网络故障，提高运营水平。
针对TD-SCDMA接口复杂的问题，监测系统遇到最大的问题是如何统一远端站信令采集设备，如果使用单独的信令监测系统（如G***信令监测系统、GPRS信令监测系统、软交换信令监测系统、UMTS信令监测系统等）的设备，那么就很难做到全程全网的实时关联，同时各种监测系统的采集设备不同，给系统维护和系统稳定性都带来了很大的问题。需专门研发信令采集统一平台，结合分布式部署的信令处理机，组成统一的信令处理平台，从而提供了一套完整的统一解决方案。
信令监测系统中包含着丰富的信息，可以提供广泛的增值应用，并产生效益。其信息资源就如同一座金矿，挖掘越深、开发越多就越能体现出系统的价值。
转载请注明出处学文网 » 网络监测系统范文精选