学文网摘要：审计是通过跟踪客户访问内容和访问方式来定位系统的安全问题，以便制定相应的安全措施，以弥补现有出现的漏洞问题。系统架构的基础上，系统需求分析结果表明，设计的目标和原则，同时也进一步提出了物理架构和系统的总体架构。通常来说位置的物理架构系统物理环境条件下，一般来说系统的体系结构，包括完成整个系统的这些功能模块。本课题探究的是日志审计系统基于Spar大数据平台，这里有着比较高速度以及较为良好的可扩展性和处理大量的数据，处理结果比较好，对目前日志审计系统的分析和研究做出了有益的尝试。
关键词：信息安全；大数据；日志审计；云计算
中***分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）15-0010-02
1基于Spark大数据平台日志审计系统架构设计
1.1系统设计目标和原则
本课题中日志审计系统通过对杂志收集监测设备采集模块，并且日志记录用户访问记录，系统运行日志以及整个系统运行状态信息。这里实现的是基于火花大数据平台日志审计系统的设计目标和原则主要表现在传统日志审计系统的基本功能和依赖大数据技术为整个扩展传统的日志审计系统。这里我们知道日志信息收集后解析XML日志将大量的数据和格式变量复杂源日志信息标准化伪日志信息的规范，一般来说在合并后单位时间函数在同一IP和报警分析等处理，同时这个日志集中管理存储在我们的一个存储系统中，能够有比较丰富的日志数据，实现我们的一整个全面的IT环境的审计日志。
本文探究的集中管理平台，能够较好地提供视***显示和操作更为方便的实现原理。通常来说对于集中管理平台通过***表清晰直观地显示实时分析的结果分析模块。我们能够对这份报告总结了历史时期的安全状况。同时，具体来说集中管理平台提供的管理系统，如日志收集管理或者是我们的安全管理，还有整个用户管理等等，在利用维持整个系统的管理功能。一般来说在对大数据技术来完成一些基本的日志审计系统的这样一个要求。并且在对我们的日志进行一个采集系统来取代传统的模块。一般来说我们的日志采集系统高可用性、同时还有比较好的一个可伸缩性和可以接受各种优秀的源格式；使用大数据平台的分析引擎日志审计系统，能够完成我们的这个上游的日志收集日志信息标准化。
1.2系统技术架构设计
本课题中我们知道对于审计系统，一般来说关键就是探究由大数据平台，同时集中管理平台，作为一个Mysql服务器主机。具体来看大数据平台上运行的一组服务器。另外在利用我们的大数据平台上运行的服务器日志信息标准化以及完成我们的分析，同时能够将整个结果存储在数据库中。通常来看我们数据库只保留一天的日志信息，同时这些所有的日志信息存储在分布式文件系统的大数据平台。其中一些数据在数据库中为方便安全管理人员查询日志信息，并且我们的这个报告信息和设置。具体来看我们大数据平台本身包含了分布式文件系统可以用作持久性存储。倘若我们在这个查询太古代历史日志信息或者需要探索分析报告***表的信息，一般来说也是需要完成的Spark大数据平台。
安全管理审计系统通过个人电脑连接，通常看看当前操作系统的日志信息，分析，同时还有具体报告只需要查询的数据可以保存在一个Mysql数据库。通常来说这样不仅有利于保护数据持久性，同时已经被证明是更长一段时间所有的数据挖掘，并防止频繁的影响信息查询日志分析的大数据平台。并且我们在集中管理平台提供了一个WEB服务，能够利用我们的网络查询系统分析结果，最后完成整个的操作和管理系统等基本信息。
2系统功能架构
2.1 系统功能组成
2.1.1日志采集
本课题探究的基于Spark大数据平台日志收集日志审计系统关键就在于这个可伸缩性和可用性。同时因为我们IT的现实工作环境会改变的可能性，并且一般来说不是改变更复杂的也可能是流线型的，通常来说这个具体日志收集应该根据实际监测网络的大小，从而来以确保你占用物理资源的大小，同时利用具体增加的方便和灵活的采集能力或释放多余的资源。一般来看我们的日志标准化基于标准化规范匹配所有的日志文件和日志信息是唯一可识别的格式。另外整个的日志标准化后的分析工作的前提下，仅仅是在实现了所有的标准化可以有效分析日志的日志格式。通常来说我们的可用性是反映在日志收集能够接收各种各样的方式，而不是说处理现在常见的发展云计算的企业环境。收购后的日志需要标准化日志。
2.1.2集中管理平台
集中管理平台提供了一个有效的访问接口，也就是说被视为视觉层，这里也得到了最后的整个分析结果。通常来说我们的安全管理员是能够实现审计日志的基本信息查询，同时还可以完成我们的查询统计查询等功能。另外，我们是可以利用整个基本的配置，来完成终端管理，完成整个系统的某些配置信息的管理。
2.1.3日志分析
日志分析是在大数据平台上来实现的。通常来说我们的这个日志分析主要有三种方法的分析：第一部分，也就是一个具体日志信息信息匹配分析；其次，我们的这个单位时间日志频率分析；第三，有关于多个日志的这样一个关联分析。
3集中管理平台
集中管理平台作为日志审计系统的外部接口，课题中是对本身需要的安全保证。一般来说，我们的这个集中管理平台安全部分作为一个关键在这一节中描述。使每个角色，从而能够更好确保其业务案例系统中最小权限的功能。另外课题系统分别建立了三个角色，分别是这个安全管理员还有我们的审计管理员，以及我们的系统管理员。一般来看，对于这个传统的双因素登录作为保证，能够较好集中管理平台使用SparkSecurity安全框架，以确保他们的安全。而且还能较好根据三权分立的思想设计的不同的角色不同的权限。并且我们的系统管理员负责系统配置相关业务，审计经理负责审计系统操作日志用户的内部审计制度。
本课题中探究了集中管理平台系统中非常关键的这样一个作用，并且我们的集中管理平台负责显示整个系统的运行结果，通常情况下配置管理系统，同时在与其他功能，并且可以再具体外部系统的性能。一般来说集中管理平台的主要部分资产管理、用户管理、规则、管理、安全中心，日志语句。报道的集合可以配置配置文件，检查报告已经操作日志。通常具体在安全中心是环境安全审计结果的监测系统的总体性能，并实时审计结果显示日志审计系统。一般情况下，对于管理这些资产可以输入或删除日志审计系统来管理资产信息，同时具体的资产配置日志文件标准化；以及在我们用户管理的操作用户管理平台，同时还需要能够保证平台的安全；一组规则，课题中对于规则管理是一个管理系统；同时多模块用于实现Spring框架，Spring框架是其中一个最流行的Web框架，；另外具体相关论文不再是一些信息，因此我们这里不将集中管理平台的实现模块被描述为主要内容之一。
后设置不同角色的权限需要限制用户的这样一个集中管理平台能够访问的内容是不同的，同时还不可以完成这个访问超出他们能力的内容，一般来说是使用直接访问URL。同时还有里利用这个Springsecurity框架，以确保我们的这个授权。通常情况下我们的Springsecurity除了授权和身份验证功能，主要就是我们的这个身份验证是识别用户和角色信息。能够较好地完成整个访问控制也可以称为资源访问控制，并且还可以较为直观是控制的表达一个URL访问请求权限。Springsecurity当一个URL请求许可的URL和用户身份验证的作用之下，倘若说能够较好符合要求离开，另外如果不符合拦截请求。通常情况下Springsecurity身份验证和访问控制需要通过XML配置信息。另外在这个身份验证是指用户身份认证，具体是验证用户登录时的用户名和密码，验证后的用户名、密码，角色和状态的信息，如认证信息，用户会话的认证信息已经被Sparksecurity保存存在。挺且我们的使用者在进行这个身份验证、会话管理，除了登录可用于访问控制。
访问控制的主要功能和主要步骤有：Springsecurity负荷数据库中的数据资源，一般来看是相应的资源数据和角色关系，同时这里的这个具体操作在以下loadResourceDefine（）原来来达到目的，通常情况下我们的系统第一次运行时调用这个方法需要URL和角色的键-值对的形式存储记忆。另外当这个具体访问请求送达是，这里的URL和用户角色和资源数据对应关系能不能符合我们的角色。
4结语
网络安全已成为全球性的这样一个问题，目前已经是全世界各界都在关注。对于这个隐藏的安全威胁，一般来说消除系统通常采用加密、安全措施，如这个身份验证、授权和审计，同时来达到我们的这个网络的安全性。并且通常来看是在详细设计的基础上，另外我们在描述了具体的实现和测试工作内容的一部分。对于我们的水槽的采集模块配置文件，一般这里的分析主要功能模块的代码和我们整个系统运行情况等。同时基于火花大数据平台，我们的具体日志审计系统的应用做了简单的介绍，并进行了最后的这个总结，课题中完成大数据平台日志审计系统的发展进行了探讨。另外对于详细设计包括总体结构设计、模块设计和数据库设计。这里完成了整个设计的结构分为横向和纵向两个方面的设计。同时对于数据库设计了数据库的总体结构设计。
参考文献：
[1] 朱宏.安全日志统一收集平台的数据架构设计与实现[J].计算机安全，2010（10）.
[2] 郝漩.基于Apache Flume的分布式日志收集系统设计与实现[J].软件导刊，2014（7）.
[3] 王倩，陆展，龚俭.一种基于规则的安全日志范式分析模型[J].计算机工程，1999（S1）：53-55
[4] 陈世强，蔡超.审计系统中基于数据挖掘的关联规则自动发现技术研究[J].计算机应用与软件，2007（1）.
[5] 刘芳，肖铁***.XML应用的基石：XML解析技术[J].计算机工程与设计，2005（10）.
[6] 韦成府，吴旭，张华.网络行为安全审计系统Web应用的设计与实现[J].现代***书情报技术，2009（2）.
[7] 王伟钊，李承，李家滨.网络安全审计系统的实现方法田[J].计算机应用与软件，2002（11）.
[8] 陈玮.网络信息安全审计系统关键技术研究[J].计算机与现代化，2009（3）.
转载请注明出处学文网 » 基于Spark大数据平台日志审计系统的设计与实现