数据管理系统篇1
关系数据库系统作为软件企业核心的数据处理系统,不仅在我国取得了十分广泛的应用,而且对我国信息化建设发展具有重要的作用与意义。而数据字典系统作为保证关系数据库系统正常运行的最基础软件,在很大程度上影响着关系数据库系统的运行状况具有重要影响。而本文笔者将对关系数据库系统的数据字典系统进行深入的分析与研究。
【关键词】关系数据库 管理系统 数据字典 研究
作为关系数据库系统功能实现的最核心软件,数据字典系统的设计与实现是十分重要的。只有做好数据字典系统的设计,才能有效的保障关系数据库系统的正常、稳定运行。本文将对关系数据库系统中的数据字典系统进行分析与研究。
1 数据字典物理存储
1.1 数据字典的定义
数据字典的一个重要作用就是提供最终用户数据库所有的信息,在物理存储上就采用跟其他用户表一样的实现,提供统一的接口。而数据字典的主要作用还是提供给DBMS自身使用,在实现上还跟整个数据库的结构功能相关。
1.2 数据字典的逻辑功能
具体来说,关系数据库中的所有数据信息与关联都与数据字典有着十分紧密的联系。数据字典具有着对关系数据库中的所有对象进行定义的逻辑功能,除此之外,数据字典还可以对关系数据库中的序列值进行默认、对数据库中的各种信息进行约束、对数据库中的用户信息进行存储和统计、对数据库中的用户权限进行分辨,并且还可以对数据库中的各种信息的定义以及它们之间的关联进行操作与辨别。
由于关系数据库之中的各个对象之间存在着较强的关联性,当用户对某一对象进行删除操作时,往往会由于该对象与其它对象之间的关联程度与类型不同而产生一定的影响。例如数据库用户在PRLMARY KEY上建立起一个unique index文件,而这个unique index文件的主要功能就是帮助PRLMARY KEY实现其自身的功能任务。而由于PRLMARY KEY是依附在一个数据表中的,当删除表或是表中的相关信息有所变动时,依附于这个表存在的PRLMARY KEY中的unique index里的信息也会相应的被删除或有所变动。而数据字典负责的功能就是将关系数据库中发生的这些关联信息与操作完整的记录和保存下来。通常来说,关系数据库中的所有这些关联对数据库的用户都是公开透明的,而另一种情况就是数据库用户为了方便自己的操作或是其它因素,在对数据库中的对象进行删除操作时需要加上由用户自己设定的关系语句才能实现删除操作,当此删除操作实现时,与该对象有着密切关联的其它信息也会一并被删除。
1.3 物理记录的存储格式
关系数据库中的数据字典与用户数据都是以表的形式被记录保存在关系数据库的物理文件中的,并且关系数据库管理系统中有着多种物理存储格式,每一种物理存储格式都有着各自不同的特点,相互之间具有较大的差别,而这都是由于关系数据库管理系统中并发模式类型的不同造成的。现阶段,我国的数据库管理系统将加锁模型与多版本模型作为最为主要的两种并发模型。其中加锁式并发模型的特点是记录格式简单、无需版本信息就能实现,如SQL Server并发模型。而多版本并发模型主要有Oracle数据块并发模型。该种并发模型不仅需要用到物理记录来对数据库中的版本信息进行记录,而且还需要物理格式的帮助来实现对数据库系统的并发控制及相关的事务处理,比较复杂。
2 数据字典内存表示
2.1 CACHE作用
关系数据库管理系统能够通过对数据字典中的信息数据进行读取来获得数据用户以及数据库中的对象与存储信息,当数据库用户需要对某些数据进行查询和相关的操作时都需要利用其所发出的SQL语句来对数据字典中的信息进行查询,查询频率非常高。现阶段,我国的数据库管理系统主要由两部分组成,即CACHE与RELCACHE。其中CACHE主要负责的是对数据库管理系统中的表进行存放。在该部分中,一个系统表能够利用ID查询、NAME查询与主键查询中的任意一种方式进行查询,除此之外,用户也可以通过部分键对该系统表进行查询。当查询操作完成后,关系数据库系统会根据数据字典的分析最终弹出用户需要寻找的表格。
而RELCACHE部分的每一项都是一个RELATION结构,该结构对此结构中的所有数据信息与关联进行了记录与保存。并且此结构能够将关系数据库系统中的所有与需要查询事件相关联的描述信息进行联合构造,以更好的满足数据库用户的需求,提高关系数据库管理的质量与水平。
2.2 数据库的启动与CACHE的初始化
使关系数据库能够启动并发挥其应有的作用,操作人员至少要做好以下三个步骤,即将一个实例启动,之后对数据库系统进行装配操作,第三,将数据库系统打开。使数据库的CACHE系统得以初始化的方式有两种:第一种,在数据库系统建立时进行CACHE的初始化,主要负责对数据库系统的内存进行分配;第二种,数据库系统已经建立完成后在启动时进行初始化操作,此时,内存已经分配完毕,用户只要正常进行启动操作就可以完成CACHE的初始化。
3 结束语
本文主要对关系数据库管理系统的数据字典程序进行了分析介绍与研究,希望能够进一步推动我国关系数据库系统的管理质量,促进关系数据库系统的进步。
参考文献
[1] 程阳.关系数据库管理系统的一种简易的数据存储与查询模块的设计与实现[D].华中科技大学(硕士学位论文),2012.
[2] 冯玉才,李东,王元珍,曹忠升.一种移动数据库管理系统的体系结构[J].计算机研究与发展,2011,38(5): 620-625.
[3]何新贵,唐常杰,李霖.特种数据库技术――数据库技术丛书之一[M].北京:科学出版社,2010.
数据管理系统篇2
1.1MVC模式
1.1.1MVC结构MVC模式主要包含模型(Model)、视***(View)和控制器(Controller)等三个部分内容,它明确规定了三个对象怎样迸行交互。其中模型的作用是存储内容,视***的作用是显示内容,控制器的作用是处理用户输入。下面简述MVC体系各部分作用:1)模型(Model)模型表示业务规则的制定、业务流程及状态的处理。模型的功能是维护数据,一般给出访问与修改数据的方法,当模型发生变化时,模型将事件发送到已登记的视***,而视***按照模型的改变来调整自己。模型层是MVC模式的关键之处,属于企业应用中的业务层。模型层一般先处理源数据,然后把处理后的信息传递给视***层呈现,并往往使用封装对数据库中的相关信息执行查询,体现了运用抽象数据库类的优势。2)视***(View)视***表示用户与系统的交互界面,对于Web应用系统,视***能够包含HTML页面、JSP、XML等内容。Web系统能够按照需要选用不同的视***,MVC模式对于视***的操作仅限于对数据的输入与输出处理,而不包含业务流程的处理。3)控制器(Controller)控制器的本质属于分发器,它不对数据进行任何的操作,是连接视***层和模型层之间的桥梁。控制器接收到用户的操作请求后,会选用合适的业务模型,决定调用合适的视***,显示模型层返回的执行结果数据。1.1.2MVC优点MVC的优点体现在以下几方面:1)能够为一个模型在运行的同时创建与运用多个视***。变化传播机制能够保证所有相关的视***及时获得模型数据变化,因而做到所有关联的视***与控制器行为保持同步。2)持有多个视***对应一个模型的能力。由于用户需求不断调整,可能有多种措施访问应用系统的要求。一个模型能够对多个视***进行操作,这样减少了程序代码的维护量,如果模型发生调整,也便于维护。3)一个企业应用被分割成三层,所以有时只修改其中一层就能应对应用的变化。4)模型返回的数据不附带显示方面的要求,从而模型能直接应用在接口。5)模型便于移植。模型***于视***,所以能够将一个模型单独安装、配置到新的平台进行工作。6)有助于软件工程化管理。因为模型、视***、控制器等三层各司其职,每一层组件具备一些共同的特点,有助于利用工程化、工具化创建业务组件代码。总之,MVC模式利用对应用系统的分层,使得在应用系统研发时结构清晰,缩短了系统研发的周期,提升了系统的可维护性及可扩展性。
1.2J2EE平台
J2EE是一种运用JAVA2平台来精简企业应用系统的研发、安装与管理有关较为复杂问题的体系结构,最终目的就是降低系统开发人员的负担,削减系统开发所需时间。J2EE运用多层次的分布式应用模型,应用逻辑根据功能的不同,划分成不同的组件,每个应用组件按照它们所在的层部署在不同的机器上。J2EE的多层次模型克服了传统的C/S两层模型(Client/Server)的缺陷,即客户端由于承担了太多的角色而显得相对臃肿,系统难以扩展、维护,业务组件不便于复用。J2EE把两层模型划分为多层,系统中每一项服务对应一个单独的层,J2EE的经典四层模型,由客户端、表示层、业务逻辑层及企业信息系统层构成。下面分别简述各层结构:1.2.1客户端(Client)客户端部分用于完成企业级应用系统的操作界面及显示层,它能够是基于Web应用的,也能够是基于传统措施的。基于传统措施的客户端是***的应用程序,直接同业务逻辑层进行交互。在通常的Web应用中,典型的客户端就是IE、Firefox等浏览器。对于基于Web的J2EE应用,用户的浏览器是在客户层上运行,并从Web服务器中***静态HTML页面或者由JSP、Servlet产生的动态HTML页面。不管访问是来自因特网的Web浏览器,还是来自企业局域网运行的瘦客户端,J2EE都具备了良好的支持。1.2.2表示层(PresentationLogic)表示层为企业给出Web服务,主要实现同用户交互的功能,表示层生成表示逻辑,并且接受来自客户端的用户反馈。在一个典型J2EE的Web应用中,表示层主要利用JSP或Servlet组件。表示层可能包含一个JavaBeans类来管理用户的输入内容,并把输入传递给业务逻辑层EnterpriseBeans类处理。运行在表示层的Web组件凭借容器来支持譬如客户请求与响应以及EnterpriseBeans查询等。1.2.3业务逻辑层(BusinessLogic)业务逻辑层也叫E***(EnterpriseJavaBean)层或应用层,它由E***服务器与E***组件构成,用于处理关键业务逻辑。通常情况下,许多开发商将Web服务器同E***服务器产品绑定在一起,称作应用服务器。业务逻辑层用于实施具体的业务逻辑,这是企业级应用的关键,由运行于业务层上E***类来承担。一个Bean类对象从客户端接收数据、执行处理,而后将数据送给企业信息系统层保存起来。同样,一个Bean类对象也能够从企业信息系统数据库取出数据,发送给客户端。业务逻辑层给出了事务处理、资源连接、安全性等多方面服务,该层创建在一个功能非常强大的计算模式上,而且属于分布式计算模式。为了实现企业计算,运用该模式进行研发时,E***把商务逻辑进行封装,所以该模式研发E***时仅需要关注商务逻辑的实施上,不需思考数据库底层工作,譬如组件通信、事务处理等技术。1.2.4企业信息系统层(EnterpriseInformationSystem,EIS)企业信息系统层为企业应用系统提供服务,包含数据库系统、事务处理系统、企业资源计划系统、企业应用遗留系统等。EIS层是J2EE企业应用同非J2EE企业应用或遗留系统集成的连接点。大多企业都有部分已存在的系统、数据库系统、文件系统等,通常这些系统会包括在企业信息系统层中,J2EE对这些系统的访问也是有多种措施能够利用的,譬如对数据库的访问利用JDBC技术等。J2EE给出了中间层框架来实现企业应用的易扩展性、易维护性、高可用性等需求。借助标准统一的研发平台,J2EE简化了在研发多层企业应用的开发步骤,并非常支持E***,与现有的企业应用程序能够很好的集成。在实际研发中,能够按照实际应用灵活使用J2EE定义的四层模型。在通常的Web应用中,往往利用四层模型。基于桌面应用通常利用三层模型,不需要表示层。多层次的企业应用便于业务组件按照所在的层分布在不同的机器上,确保软件研发、维护和扩展的简易与可行。
1.3Struts2框架
MVC设计模式非常明了的划定了程序员和设计者的角色界限,也就是讲,从商业逻辑角度划分了数据逻辑。该模式有助于设计人员集中于考虑企业应用程序的展现内容,而开发人员则专注于编写企业应用的功能部件。MVC模式在J2EE机制中有几种表现,但是它们都是基于同样的基础结构,企业应用的数据模型、内容显示与程序控制逻辑等三方面是相互分离的,然而这些部件可进行相互通信,Struts2则是基于MVC模式一个坚固、成熟的框架。Struts2是在Struts与WebWork的技术基础上合并而来的全新框架。Struts2的体系结构同Strutsl的体系结构的差别巨大,由于Struts2运用了WebWork的设计精髓,而不是Strutsl的设计精髓。Struts2以WebWork框架为核心,利用拦截器的机制执行用户请求,这种设计便于业务逻辑控制器同ServletAPI完全脱离开,因此Struts2能够理解成WebWork的升级产品。由于Struts2与Strutsl有着太多的变化,然而与WebWork比较,Struts2仅有较少的变化。Struts2框架主要由核心控制器FilterDispatcher、业务控制器与用户实施的业务组件等三个部分构成,它给出了核心控制器部分的功能,而业务控制器与业务组件则需要程序开发者完成。Struts2中大量运用拦截器执行用户请求,因而有利于业务逻辑控制器同ServletAPI分离。
2总结
数据管理系统篇3
科学工作流中的任务之间的依赖既包含控制依赖,也包含数据依赖。连接两个任务(t1-t2)的边表示任务t1的输出作为任务t2的输入,工作流中的每个任务可能读入一个或多个输入文件,然后写入一个或多个输出文件。在工作流层,文件可以分为3种类型:输入文件、中间文件和输出文件。不同类型的文件具有不同的生命周期。(1)输入文件。输入文件不由工作流中的任务产生,文件通常驻留在用户存储服务器上。在运行时,可以从一个存储服务器传送到另一个存储服务器,然后在这里被检索,也可以在存储服务器上直接检索。***1中的F-input就是一个输入文件[10]。(2)中间文件。在工作流运行过程中产生但无需长期保存的文件称为中间文件,将在所有使用它的任务结束后被立即删除。***1中的f-t1-o1、f-t1-o2、f-t2-o1、f-t2-o2都是中间文件。(3)输出文件,由工作流产生,对用户有用并且在工作流结束后需要永久保存的文件。在工作流执行过程中,这些文件通常被转移到常驻存储中。***1中的F-output就是工作流的输出文件。值得注意的是,输出文件不一定必须是工作流中最后任务的输出,也可能是中间环节任务的输出数据。
2云计算环境下工作流执行模型
科学工作流由工作流管理系统提交和管理,工作流管理系统驻留在提交主机,协调调度工作的流执行。工作流管理系统将工作流中的任务分配到虚拟机的工作节点,任务的执行所需要的数据可以从一个或多个输入数据存储点输入。中间文件在工作流执行期间驻留在数据暂存站点。当工作流结束时,工作流管理系统删除中间数据,同时将输出文件从暂存站点转存到输出站点,然后永久性保存。根据工作流管理系统和目标执行环境的不同,多个数据站点可以协同工作。例如,在输入数据已经驻留在计算节点的情况下,该计算节点和输入点是相同的。***2显示了具有两个任务的工作流,来说明工作流所需的文件是如何在逻辑上***的站点之间移动的。
3对象存储应用于科学工作流中的数据管理
对象存储系统主要包括存储服务器、元数据服务器、客户端等组成部分,其核心思想是将数据的读和写与元数据存储分离,如***3所示。存储服务器主要负责数据存储、智能的数据分布以及每个对象元数据的管理;元数据服务器主要提供对象存储访问、文件和目录访问管理以及客户端缓存的一致性管理等功能。为了提供可扩展的可靠服务,对象存储器的内部结构非常复杂。例如,亚马逊的简单存储服务(S3)[12]通过REST(RepresentationalStateTransfer)、SOAP(SimpleObjectAccessProtocol)和APIs(ApplicationProgrammingInterfaces)提供检索和删除操作;它将一个对象的多个副本布局在存储服务器上以提供错误情况下的冗余。很多网格存储服务和为数据密集型应用设计的协议可以认为是对象存储,这种架构对构建来自不同的执行环境的数据管理模式而言具有重要的借鉴意义。针对面向大数据工作流,利用对象存储的优点,本文提出两个方案:一是工作流中的3类数据文件都使用远程的对象存储;二是在计算节点上使用共享文件系统作为数据暂存点来存储中间数据。
3.1单独使用对象存储
在这种情况下,所有的数据都存储在对象存储系统中,工作流管理系统需要从对象存储中无缝检索数据,为本地工作流任务使用。在这样的设置中,工作流管理系统从对象存储中检索输入文件和中间文件,然后,工作流中的任务对本地的POSIX文件系统做必要的输入/输出设置,任务完成时,工作流管理系统能够将中间数据和输出数据存储到对象存储中。这样,即使工作流被部署在分布的资源上,科学应用只需要对POSIX做常规的输入/输出设置,就能完成工作流的执行。工作流管理系统与对象存储的多次交互增加了工作流执行的开销,而该开销与分布资源上的计算相比并不算大。对象存储中既有输入数据也有中间数据,只要工作流系统与对象存储能够无缝检索和存储,那么任务执行可以在任何地方。如***4中,任务t1可以在校园计算机集群上完成,而属于同一工作流的任务t2可以在亚马逊的EC2上完成,t1、t2使用亚马逊的S3对象存储作为中间数据文件的暂存。总之,数据存储和执行环境的分离,使得工作流在分布资源上的执行更为容易。一个常见的情况是,当计算需求超过本地或校园计算所提供的资源时,将使用云资源。***4也说明了工作流的数据移动情况。在这里,文件F-i被传送到云中的高性能计算集群工作节点的本地文件系统。任务t1从该节点开始,读入输入文件F-i,然后写入本地文件系统的中间文件F-t,F-t被传回到作为数据暂存点的对象存储中。F-t文件将从对象存储中被检索进入到EC2节点的本地文件系统。任务t2启动后读取F-t文件(该文件是由t1创建),然后将F-o写到本地磁盘,再传送到对象存储中。以上所有的数据传输工作都由工作流管理系统完成。科学工作流中单独使用对象存储的明显不足之处是,数据重复传输会引起在大数据处理过程中的延迟。工作流中的多个任务使用相同的文件,所以重复传输是显而易见的[13][14]。对象存储将对同一资源的重复请求认为是不同的请求,对象存储通常以其良好的扩展性减轻这种重复对工作流性能造成的影响。另外,工作流系统可能在本地节点选择缓存文件,或者利用集群中的共享文件系统来减轻此问题。延迟是整个工作流性能应该关注的问题,云对象存储的设计提供了很高的带宽,但对单个检索或对象操作可能需要数秒钟的延迟。对具有大量文件的数据密集型的科学工作流而言,这种延迟显著增加了工作流运行的时间开销。大型工作流中的另一个问题是多数中间文件需要被传输到对象存储中由相关后续任务检索并使用。由于商业对象存储提供以GB为单位的存储,并按迁移、存储和检索的请求数付费,所以重复传输也就意味着费用的增加。
3.2共享文件系统作为数据暂存
解决由数据重复迁移造成的延迟问题的方法之一,是工作流管理系统将中间文件暂存在POSIX兼容系统中,由多个计算节点文件系统共享,然后在一个资源节点上运行所有的计算。文件共享系统保存了工作流管理系统中所有任务的中间数据,在这种情况下,只有输入输出文件存储在对象存储中。由于中间文件不需要在对象存储与计算节点之间传送,从而可降低使用商业云对象存储的费用。如***5所示,是一个具有文件共享系统的高性能计算环境下具有2个任务的简单工作流。文件F-i被工作流管理系统传送到集群文件共享文件系统。任务t1在计算节点1上启动,从共享文件系统中读入文件F-i,然后将中间文件F-i-t写入到共享文件系统中,任务t2在计算节点2上启动,从文件共享系统中读入F-i-t(由任务t1创建),然后将其输出写入到F-o,F-o由工作流管理系统送到对象存储中,这种方法的优点在传统的有高速并行超级计算环境中尤为显著。例如,XSEDE(ExtremeScienceandEngineeringDiscoveryEnvironment)节点对多数科学工作流点有极大扩展性[15]。值得注意的是,如果第一个计算节点忙而需要将计算溢出到另一个节点时,这种随数据布局任务的方法,损失了布局计算的灵活性。以上两种方法各有所长,选择使用哪种方法取决于工作流的类型和工作流执行的目标环境,这就要求工作流管理系统的开发具有弹性的数据管理方案,允许科学家有效使用对他们有用的基础设施。工作流中的数据管理方案应该具有如下特征:首先,科学工作流管理系统允许任务和数据后绑定,任务依据资源的可用性映射到计算资源上,任务在执行时能够发现资源,并从众多存储中选择数据暂存位置;其次,在科学家只有一个计算资源可用的情况下,允许任务和数据的静态绑定;再次,支持使用不同协议和不同安全机制访问对象存储。
4相关工作
工作流管理系统处理数据的方法很多,Swift[16]采用与本文所描述的第二种模式类似,使用本地文件系统或共享文件系统作为数据缓存,提交主机扮演数据暂存的角色。系统首先选择一个计算站点来运行一个任务,然后将数据从提交主机推向该站点的文件系统,任务执行后,输入的文件被回传给提交主机,中间文件被留在共享文件系统中以便后续任务的执行。相对而言,本文将数据文件(包括输入、输出、中间文件)与提交主机分离,并使用不同的协议,具有更好的灵活性。其他工作流管理系统如Kepler[17],Triana[18]和Taverna[19]关注的是流式工作流中任务的调度和其他Web资源的调用,这些工作流具有***形化的用户界面,允许用户搭建具有不同部件的工作流,但通常没有涉及访问大量数据集的问题。这些工作流中的数据管理很大程度上依赖于用户,数据管理自动化非常有限。Kepler[20]引入了一个MapReduce执行器,允许执行采用MapReduce算法的混合工作流。Hadoop平台通常用来运行数据密集型的科学应用,它所提供的文件操作与POSIX类似,允许随机读,但不允许随机写。在这种情况下,Hadoop平台负责将输入文件切片并分布在各个数据节点。而本文提出的方法主要针对工作流运行在多个不同的执行环境中,代码不能MapReduce的情况。在XSEDE中,任务利用分布式文件系统如GPFS-WAN[21](GeneralParallelFileSystem-WAN)来访问数据,分布式文件系统支持POSIX操作,可以对输入和输出文件进行远程访问。研究表明[22],将大型数据集布局在本地计算节点会更好,但这一策略也会带来新的问题,如不同类型工作流的融合以及数据布局策略算法等。
5总结
数据管理系统篇4
关键词:;SCADA;模板;数据管理系统;WEB
目前,华东成品油管网已运行的成品油管道有3条,包括苏北管道、苏南管道和浙苏管道,这3条管道共有3个首站、13个中间站和末站,总长1205km,其自控系统采用先进的SCADA系统和罗克韦尔PLC控制器,用于全线的生产调度及主要参数(包括管道流量、压力、温度、密度和罐液位等)的监控。SCADA系统不仅可以用于生产调度,还可以实时保存生产中的数据,以供各部门调用。各部门管理员通过对SCADA所保存的数据进行统计和分析,最终形成各类报表,以改进成品油管输的生产工艺,优化工艺安排,从而有效地降低运营成本并大大降低运行风险。但是,SCADA系统的监控数据非常多,管理员所需要的数据只是其中的一小部分,因此,如何从大量数据中提取所需的数据,怎么对这些数据进行统计分析,以及如何设计网页并将这些数据到网页上就成为成品油管网生产数据管理系统研发的难点。
1国内外研究现状
由于成品油管输的特殊性,其生产数据的统计分析大都依托人工处理,至今还没有有效的WEB管理系统。人工处理不仅费时费力,还经常会出现一些错误,包括:①人工统计工作量大,容易产生误差,有时甚至会造成错误;②公司多个部门重复提取报表,可能由于提取路径不一致而出现数据偏差;③对生产数据的管理水平较低;④对数据缺乏分析,不能有效服务生产[1]。为了有效解决以上问题,通过开发SCADA自带的模板功能实时获取所需的数据,利用软件对这些数据进行统计和分析,并根据用户的需求将这些数据呈现于WEB网页上,以供用户浏览和***,方便管理人员查询生产经营的情况。该系统具有信息量大,数据全面、准确等优点,大大减轻了人工统计的工作量。该系统提供了大量的数据分析,有助于管理人员改进生产工艺、优化运营方式、提高管理水平和降低运营成本[2-3]。
2系统架构及组成
华东成品油管网生产系统需要有极高的稳定性,以保证生产运行不受影响,因此,在生产网和其他网络之间设置了单向网闸,数据的传输只出不进,这样才能有效地阻止病毒的入侵,保证生产运行的安全。因此,该系统需在SCADA生产服务器上设计模板,以实时获取生产数据,并将数据传输给WEB服务器。客户端通过WEB对WEB服务器进行访问,以读取相关数据或***报表(***1)[4-5]。该系统包括生产数据统计与分析及管网参数两部分内容,其中,生产数据统计与分析包括日报表、月报表、批次统计表、设备运行时间统计表、混油情况表和输油量同比表等;管网参数包括管道参数、设备参数、联锁保护参数和运行经验参数等。
3报表设计
SCADA系统自带模板使用GetArgValue语句来获取某一个生产数据,其格式如下:GetArgValue("A.7.1213.170610.PI2112")。其中,各字段意义如下:字段1:取值的表格,A:秒表;B:分表;C:时表;D:日表;E:自定义表。字段2:取值日期,0:今天;1:昨天;2:前24h;3:本周;4:上周;5:本月;6:上月;7:今年。字段3:当字段2取值为0|1|2时,此字段无意义;当字段2取值为3|4时,此字段取值范围为0~6,分别代表星期日~星期六;当自动2取值为5|6时,此字段1~31,分别代表1号~31号;当字段2取值为7时,此字段为一个4位数,前两位代表月,后两位代表日;如果此字段为3位数,则前一位代表月,后两位代表日。字段4:取值时间,格式为HHMMSS,例如:030905代表03:09:05。字段5:物理量的fieldID。例如:GetArgValue("C.0.0.060000.C2SNX012FT511MTL93")代表的意义为:获取今天早上06:00:00时刻93#汽油流量计的读数[4-5]。
3.1综合日报表设计
日报表是各类报表的基础,其可以为月报表、年报表提供基础数据,因此,日报表数据的准确性在该系统中显得尤为重要。当日***量、当日库存量、当日空容量及混油量均是成品油管输的重要数据,而各个***站的这些数据又可以为统计和分析提供重要的依据,因此,日报表必须包含各个站场的这些主要数据。综合日报表单元格需要进行计算公式编写,且须与本站场对应的油品数值一致。例如:由于该SCADA系统开发时苏南还是***90#和93#汽油,后续90#和93#汽油均改成92#汽油,因此南京站92#汽油当日***量应该是当天早上06:00:00时3路流量计所***的93#和90#汽油总量与昨天上午06:00:00时3路流量计所***的93#和90#汽油总量之差。
3.2综合月报表设计
综合月报表数据来源于综合日报表,但又不局限于日报表的数据。对经营管理者来说,当月输油量是其做月末盘点的主要数据;但是对于生产管理者来说,除了当月输油量之外,还必须了解当月混油切割量及回掺量,以便优化下个月的生产工艺,避免由于混油过多而影响生产。3.3批次统计表批次运行表将每个批次运行的相关数据均统计到表里,以供管理人员对这些数据进行对比。包括:批次号、启输时间、停输时间、输送时长,各站场***油品质量、耗电量和各站混油切割量等。通过对比这些数据,管理人员就可以了解近期生产存在的问题,然后制定相关对策,优化运行方案。
3.4设备运行时间统计表
对长输管道来说,最重要的设备就是输油泵,输油泵的好坏与维护保养有一定的相关性,而泵的维护保养又与其运行情况相关,因此分析泵的运行时间和使用率,就可以制定相应的维护保养方案。设备运行时间统计表主要是对泵的运行时间和使用率进行统计分析,以供管理人员做好泵的维护保养方案。
3.5混油情况表
当前对混油的处理方式主要有回炼和回掺。回掺需要及时掌握混油的切割量、回掺量及混油罐的库存液位,否则,很容易因为混油罐库存液位较高,导致无法切割。混油情况表主要对每个月每个站的混油切割量、回掺量及库存液位进行统计,包括:年度混油累计、富柴富汽切割回掺情况、各管道切割回掺情况和百吨回掺情况。3.6输油量同比表输油量是衡量一条管道运行情况及效益情况的一项重要指标。该系统将每条管道每个月的输油量统计到一张表中(表1),并用***表的形式将各月管输量表示出来,这样,管理人员就可以清楚地看出各管道各月的输油量情况。
4WEB设计及开发
该系统采用(基于C#)软件进行WEB设计。生产数据管理系统主要是对数据进行统计和分析,因此,对Gridview控件进行开发,以便将所统计和分析的数据结果显示到WEB网页上。该系统设计了一个Calendar日历控件,以供用户能够直观地选择所需要的日期,以调取其对应的数据。为了方便用户的使用,该系统还专门利用.NET的母版页功能,使用户在任何时候均能轻松地点击所需要的链接。对于Button的设计,该系统专门利用Photoshop软件对几个Button进行了艺术设计,以增强网页的艺术效果(***2)[6-8]。在WEB系统中,最大的难点就是***功能的实现。如何才能使文件***完整、如何防止出现乱码的问题,以及如何在***过程中让用户直观看到***的进程等均是设计难点,而其中最重要的是数据***的完整性和准确性。程序的开发过程中,对***数据长度与缓冲区大小进行对比,如果两者相等,则直接将缓冲区数据写入,如果数据长度小于缓冲区大小,则重新定义缓冲区大小[9-10]。
5调试及结果
系统的调试所占用的时间可能比设计开发的时间还长,特别是对于程序量大的系统。该系统也不例外,由于每张报表所涉及的数据量特别大,调试时也就出现了各种各样的问题,如数据的问题、功能模块的问题或者系统问题。通过长时间的调试及修改,该系统最终顺利通过并应用于实际生产当中(表2、***3)。
6结束语
数据管理系统篇5
构件仓库;
数据挖掘;
反馈;
决策树 作者简介:陈文,23岁,男,四川南充人,软件工程师,重庆西南大学计算机与信息科学学院2005级硕士研究生,研究方向:软件测试,软件复用。 1 引言 软件构件技术是软件复用的一种重要手段,是近年来软件复用研究的热点,目前出现了大量的基于构件的应用软件开发,取得了良好的效果。要使用基于构件的软件开发技术,发挥构件在软件重用方面的优势,就必须要有支持整个软件生命周期并包含有大量可用构件的构件库系统,有效的构件管理和高效的构件查询是构件库系统成功的关键。本文研究的重点是将数据仓库,数据挖掘技术应用到构件库系统中,为构件库管理员提供切实有效的构件管理方法和为用户提供高效的构件查找方法和构件选择的辅助决策支持。2 数据仓库与数据挖掘技术2.1 数据仓库技术 著名的数据仓库专家W.H.Inmo在其著作《Building Data WareHouse》一书中给出了如下的数据仓库的定义:数据仓库是面向主题的(Subject-Oriented),集成的(Interated),时变的(Time-Variant),非违约的(Non-volatile)一系列用于管理和决策制定的数据集。 面向主题是数据仓的重要特征,这是与传统数据库面向应用相对应的。主题是一个在较高层次将数据归类的标准。基于主题组织的数据,被划分为各自***的领域,每一个领域有自己的逻辑内涵,互不交叉,数据只是为具体处理而组织在一起。传统的E-R型数据模式能较好的执行联机事务处理(OLTP),但不适应决策支持分析,而数据仓库则是为决策管理提供支持信息,根据业务需求从用户的角度基于主题来组织数据,并形成相应的数据视***,汇总表等,因此适于联机分析处理(OLAP)。 数据仓库的第二个特点是集成化,数据从面向应用的操作环境中,提取到数据仓库中时,都要经过集成化,统一原始数据中的所有矛盾如命名冲突,数据结构转换等,最终达到:一致的命名,变量度量,编码结构,物理属性等。 数据仓库的另一个特点是非违约性。因为数据仓库中的数据是历史数据,数据经集成进入数据仓库后,一般不需要改变。针对数据进行的基本操作只是装数据和访问数据,因此不存在传统数据库中的数据恢复,数据同步,修复死锁等复杂问题.2.2 数据挖掘技术概述 数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的非平凡过程,这些信息的表现形式为:规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据,并从中发现隐藏的关系和模式,进而预测未来可能发生的行为。3 当前构件库系统应用中的困难 随着构件库系统的发展,当构件数目逐渐增多时,用户在查询和选取构件时会碰到以下一些困难: (1)在查询的过程中,可能有多个满足用户查询条件的构件,如何快速有效地从众多的候选构件中,准确的判断并选取所需的构件,这是一个复杂的决策过程,一般都依赖于用户的复用经验,以及对构件的理解和主观判断。 (2)通常用户都是通过刻面、属性、关键词、关系等表达式, 根据所需构件的特征,进行构件的查询。然而访问构件的用户具有不同的层次,可能不熟悉构件的刻面分类模式,对构件的理解比较困难。 (3)用户查询前并没有一个明确的目标,只是想通过查询构件库,找到能够利用和复用的构件,因而,如何通过构件的复用历史和其它用户的览胜经验,为用户提供一定程度的复用帮助是很必要的。 (4)对需求规约、设计、模式、测试计划等文档知识的构件复用属于间接复用,需要复用者首先进行分析和理解。在大多数复用情况下,对构件的复用是白盒复用,也是就根据构件复用者的反馈,对构件进行适应性修改。如何跟踪软件复用的经验和构件的使用历史,辅助用户选取相应的分析,设计及改动最小的构件是关键。 综上所述,由于当前的构件描述多是基于构件某一方面特征,如构件接口、构件属性、运行环境等进行描述,而缺乏对构件的功能及非功能属性的精确的,形式化的语义描述,这将导致某一候选构件与需求构件在构件的描述匹配中完全一致,但该构件并不一定能完成需求的功能。例如,用户试***寻找一个计算两数相加输出和的加法构件,但候选的是一个计算两相乘输出积的乘法构件,需求构件与候构件在构件接口参数描述、环境依赖等方面完全匹配,但功能上却大相径庭。因为缺乏非功能属性上描述,当前的构件匹配也存在着即使候选构件与需求构件在功能上一致但由于在非功能属性上不合要求仍不能完成用户需求的问题。特别是当用户应用程序在总体的非功能属性上,例如用户界面、程序安全性、适时性、可靠性等,有特殊要求时,构件的非功能属性一致性就更加重要。 构件描述必须具有完全性、完备性、易解理性。构件描述完全性指能够描述构件各个方面的特性,不存在构件的某一特性不能描述的情况,完备性是指所有的构件都能描述,不存在某一构件不能描述的情况。理论的构件描述方法是语义描述,即以形式化手段描述构件的功能或行为语义,系统可以通过定理证明及基于知识的推理过程来寻找语义上等价或相近的构件。遗憾的是这种基于语义的描述方法涉及许多人工智能难题,目前难于支持大型构件库工程实现。当前基于不同构件模型的较为成功的构件描述语言CORBA IDL,DCOM IDL和E*** IDL以及被认为是最好的通用构件描述语言XML,它们都能够描述构件多方面的特性,并且具备编译和浏览工具的支持,但是在描述构件接口语义和构件间复杂的交互协议方面缺乏进一步的支持,因此都不能很好的满足构件描述的完全性、完备性、易理解性三个方面的要求。例如CORBA IDL不能描述符合CORBA标准以外的构件,也不能精确的描述构件的功能及非功能性特点。因此基于当前的各类构件描述语言,它们的描述只能让用户获得构件某些方面的,抽象的认识,尚不能让用户对整个构件有全面清楚的认识,故势必影响构件选取,构件复用。而构件的复用历史,早期用户对构件的使用结果,使用评价,修改意件等复用经验会对后期用户对构件的认识,选取决策起到重要的辅助作用。因此有效的管理构件的复用历史记录,先期用户的复用反馈信息非常重要。4 基于数据仓库技术的构件管理 传统的基于联机事处理理(OLTP)的E-R数据库并不适于历史数据的长期存放与管理,而数据仓库技术正是用于存放历史数据信息,并对用户提供决策支持的系统,适宜于联机事务分析(OLAP),故建立基于数据仓库技术的用户反馈信息库以支持构件的存储和检索是可行的。在用户反馈信息库中,对反馈信息进行一定程序的量化处理,主要包括七个维度:时间维度Time,制作者维度Provider,用户维Userinfo,组装维Compositeinfo,测试维Testinfo,描述维Descripinfo,评价维Valuatinoinfo;
两类反馈事实:细节事实Freedbackfact,聚集事实AggregrateFact。其多维模式如***1所示: Feedback Fact ***1 用户反馈为数据模式 用户反馈通过收集工具捕获用户提交的反馈信息,并对用户反馈信息进行筛选、分类,集成存入数据仓库。由于用户反馈库采用多维数据模式,当需要查询和分析的主题不断增加时,可以通过为新增的主题建立相应的事实表和维表(可以共享原来的很多维表),数据库结构不变,集成到原来的信息库中,逐步完善软件企业信息仓库。这是符合数据仓库开发的原则,即先从某一主题入手不断加以完善。5 基于决策树的分类发现在软件构件查询中的应用 数据挖掘所能发现的知识有如下几种:广义型知识,反映同类事物共同性质的知识;
特征型知识,反映事物各方面的特征知识;
差异型知识,反映不同事物之间属性差别的知识;
关联型知识,反映事物之间依赖或关联的知识;
预测型知识,根据历史的和当前的数据推测未来数据;
偏离型知识,揭示事物偏离常规的异常现象。所有这些知识都可以在不同的概念层次上被发现,随着概念树的提升,从微观到中观再到宏观,以满足不同用户、不同层次决策的需要。至于发现工具和方法,常用的有分类、聚类、减维、模式识别、可视化、决策树、遗传算法、不确定性处理等。本文在基于前述建立的构件仓库上,使用决策树分类法对构件进行检索。
5.1 决策树分类方法 分类在数据挖掘中是一项非常重要的任务,目前在商业上应用最多。分类的目的是学会一个分类函数或分类模型(也常常称作分类器),该模型能把数据库中的数据项映射到给定类别中的某一个。给出一个数据集中的一些属性,分类器可以预测出某一个特定的属性。被预测的属性叫做标签(label),用于预测的其他属性叫做描述属性(descriptive attributes)。在生成分类器后,则可以利用它来对数据集中不包含标签属性的记录进行分类,标签的值可以用分类器来预测。要构造分类器,需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成,每个元组是一个由有关字段(又称属性或特征)值组成的特征向量,此外,训练样本还有一个类别标记。一个具体样本的形式可为:(v1,v2,...,vn;
c);
vi表示字段值,c表示类别。从训练集中自动地构造出分类器的算法叫做生成器(inducer),在生成分类器后,可以利用它来对数据集中不包含标签属性的记录进行分类,标签属性的值也可以用分类器来预测。 决策树分类方法属于分类方法的一种,该方法的输入是一组带有类别标记的数据,构造的结果是一棵二叉树或多叉树。二叉树的内部节点(非叶子节点)一般表示为一个逻辑判断,如形为(ai=vi),基中ai 是属性,vi是该属性的某个属性值;
树的边是逻辑判断的分支结果;
多叉树(ID3)的内部节结点是属性,边是该属性的所有取值,有几个属性值,就有几条边,树的叶子节点都是类别标记。5.2 决策树方法与构件分类检索 决策树分类算法通常包括两部分:一是树的生成,开始时所有数据都在根结点,然后根据设定的标准选择测试属性,用不同的测试属性递归的进行数据分割;
二是树的修剪,就是去掉一些可能是噪音或者异常的数据。构造一棵决策树就是形成一个训练集的分类,在分类过程中完成对目标的获取策略与规则提取。 构件仓库中构件信息包构件描述信息,复用历史信息及用户反馈信息。构件描述信息如下表1所示,复用历史信息如表2所示,用户反馈信息如表3所示。 表1 构件描述信息表 构件号入库时间提供者功能描述非功能描述应用领域其它0012006-1-1微软XP升级视窗界面PC用户。。。0022006-1-2瑞星杀毒安全性好PC用户。。。0032006-1-2金算盘财务结算计算精度高金融领域。。。0042006-1-5创业软件CT机控制适时性好医疗领域 。。。。。。。。。。。。。。。。。。。。。 。。。 表2 复用历史信息表 构件号复用时间复用者复用结果复用领域其它0012006-11-7张三成功PC用户。。。0012006-10-2李四成功PC用户。。。0032006-7-2金软d 411 金达软件 失败财务软件公司。。。0042006-9-19创业软件部分成功医疗软件公司 。。。。。。。。。。。。。。。。。。 。。。 表3用户反馈信息表 构件号反馈时间反馈者复用结果复用评价修改意件其它0012006-11-9张三成功良好需要更好的易操作性。。。0012006-10-3李四成功优升级时间更短。。。0032006-7-12金软d 411 金达软件 失败差需更高计算精度及安全性。。。0042006-9-20创业软件部分成功一般更快的响应时间 。。。。。。。。。。。。。。。。。。。。。 。。。 构件分类模型
***2 分类模型
数据管理系统篇6
将集成系统中的多个子系统划分成不同的用户群,用户群的划分以业务职能域划分为依据。数据集中/分布管理的特点:1)对两个以上用户群使用的数据进行集中管理,对单个用户群使用的数据进行分布管理。2)对综合统计数据进行集中管理,对事实数据进行分散管理。综合信息系统集成平台由多个子系统组成,这多个子系统之间既相互***又相互联系。根据学校信息系统建设的历程,先有若干个子系统问世,然后根据信息需求的不断增加,才考虑建设综合集成信息系统。同时,各业务子系统要求自己管理自己的数据。根据学校的行业特点综合上面的考虑,在集成中我们采用松散耦合的分布式信息系统集成方式,在数据管理中我们选择了数据集中/分布管理的数据管理布署方式。各子系统分别管理各自的私有数据,而对共享数据则集成到综合信息系统集成平台中,在系统集成平台下实行集中统一的管理。
2数据集中/分布管理的实现
分布式数据库是指分散位于相同或不同地点的多个数据库服务器,合作共同完成一个大的数据库管理系统的数据存储及运算功能。通俗地说,是物理上分散而逻辑上集中的数据库系统。分布式数据库具有以下特点1)物理分布性:分布式数据库系统中的数据不是存储在一个站点上,而是分散存储在由计算机网络联结起来的多个站点上。2)逻辑整体性:分布式数据库系统中的数据物理上是分散在各个站点中,但这些分散的数据逻辑上却是一个整体,它们被分布式数据库系统的所有用户(全局用户)共享,并由一个分布式数据库管理系统统一管理。分布式数据库中全局数据库由全局数据库管理系统进行管理,局部数据库由局部数据库管理系统进行管理。3)站点自治性:也称场地自治性,各站点的数据有本地的DBMS管理,具有自治处理能力,完成本站点的应用(局部应用)。4)数据***性:包括数据的逻辑***性、物理***性和分布***性。分布***性也称分布透明性(DistributionTransparency)。5)集中与自治相结合的控制机制:各局部的DBMS可以***地管理局部数据库,具有自治的功能;同时,系统又设有集中控制机制,协调各局部DBMS的工作,执行全局管理功能。6)适当增加数据冗余度。7)事务管理的分布性:数据的分布性造成事务执行和管理的分布性。分布式数据库中数据分布的主要形式分布式数据库中数据分布的4种主要形式:集中式、分割式、复制式和混合式。各种数据分布形式的特点和缺陷如表1所示。
3学校系统集成平台数据共享策略
数据管理系统篇7
【关键词】人力资源管理系统;数据质量;提升方法
我国电网公司朝向精益化、规范化的方向发展,电网公司运营的业务逐渐增多,尤其是人力资源管理数据,为了实现统一、准确的管理,就要积极提升数据质量,完善人力资源管理系统的运用。因为人力资源管理系统支撑着电网人资数据的运行,有利于提高人力资源分配的水平,所以提升人力资源管理系统数据,是一项非常重要的工作。
1人力资源管理系统数据的运行现状
电网公司内,人力资源职务较多,且不同职务都涉及到人力资源管理,由此对应数据管理的压力大。的数据说明,人力资源管理系统数据,面临着复杂的管理现状。本文结合上述电网公司人资系统的认知,分析数据运行现状中,表现出来的几点问题,如下:
1.1实用性
低电网公司的人力资源管理数据缺乏实用性,无法准确的应用。人力资源管理数据在输入、转换的过程中,也会出现低质量的数据信息,影响了数据信息的实践应用。
1.2完整性
差人力资源管理系统数据不完整,数据录入到系统内,在修改、传输等环节中,有数据丢失的情况,无法保障人力资源管理系统内各项数据的完整性。
2人力资源管理系统数据质量提升方法
2.1整合管理
电网人力资源管理系统中的数据比较零散,其会影响到数据的使用,降低了人资数据的质量。在提升数据质量时,采取整合管理的措施,根据人资系统的运行状态,先整合系统中的数据,再规划数据的应用。例如:南方电网公司,提升人力资源管理系统数据质量时,采用“6+1”企业级信息系统建设方法,预先归类、整合了人资数据,还要整改原有的系统数据,整合岗位、用工、干部、考评等多个模块数据,保障人资数据的整体性,提高系统数据的服务能力。
2.2精细化操作
数据质量是评估人力资源管理系统的一项指标,提升数据质量时,提倡精细化管理。电网系统的人力资源管理系统内,数据类型较多,数据总量大,采用精细化的管理方法,便于推广人力资源管理系统的建设。例如:海南电网公司的人力资源管理系统,新旧系统替换,存在大量历史数据,在数据迁移过程中,对历史数据精分、细化,分模块、类型进行迁移,同时编写整改脚本,用于定期检测数据质量。
2.3优化决策
现代电网企业具有智能化、数字化的特征,人力资源管理系统是电网运营的基础,本文采取优化决策的方法,是指在人资系统的数据处理方面,提供决策手段,直接对人资系统中的数据优化进行决策,及时删除冗余的数据,确保系统内数据都是可用的,保障人资数据的高效性和质量水平。
3提升人力资源管理系统数据质量的效益
3.1成果
本文以电网企业案例为研究对象,企业在2017年1月1日正式运用上述方法,分析人力资源管理系统数据质量提升方法实施前、后的对比。2016年,人资数据质量中,基础数据完整率≥95%、基础数据准确率≥95%、基础数据规范性≥98%、基础数据一致性≥98%,而2017年,截止数据统计,各项指标均为100%。
3.2价值
人力资源管理系统的数据质量,得到了明显的提升。电网企业在人力资源管理系统内,可以利用筛选、搜索的功能,快速的找到对应的人资数据,例如:岗位分配上,人资系统内,录入了所有职工的数据,根据人资系统内,职工的数据信息,如资历、学历、技能等,组织岗位分配工作,清查在职人员的信息,一方面能及时发现问题数据并做整改完善,并且做补录处理;另一方面,可以根据完整、准确的数据及时、正确的做出决策。
3.3建议
在人力资源管理系统数据质量提升维护中,建议设立业务项目岗位,专门实时关注并跟踪系统中的数据,避免出现异常数据,针对已经出现的异常数据,要实行优化处理;同时由人资业务部门牵头定期召开人力资源管理数据质量会议,收集企业在生产、经营过程涉及的数据反馈,及时协调企业资源确保数据提升工作的顺利开展,不断的提高数据质量。
4结束语
当下人力资源管理系统数据在企业已经变成战略资产,提升其数据质量加强数据管理已成为企业提升管理能力的重要任务。应该根据不同企业的需求,针对性的选择提升人力资源管理系统数据质量的方法,以便完善人资数据的应用,避免影响人力资源的数据效果,充分发挥人力资源管理系统的有效作用,确保系统内各项数据的质量。
参考文献
[1]许冬梅.加强信息化建设提升人力资源管理[J].中国石化,2015(05):49-50.
[2]仝方平.人力资源管理信息系统数据质量治理研究[J].信息化建设,2016(01):226+228.
[3]王宣承.人力资源管理信息系统数据质量治理研究[J].中国人力资源开发,2013(09):54-56+69.
数据管理系统篇8
关键词:计量检定;数据管理;应用探究
我国市场经济的不断发展和电力企业改革的不断深入,人们计量工作的要求越来越高,它的准确可靠性对电力市场的公平、公正有重要的影响。越来越多的多样化电能表应用到电力系统中,对日常的检定和考核工作带来更大的挑战。为了完善企业的计量管理工作,提升服务质量,加快企业电能计量管理的现代化进程,探讨企业电能计量检定数据管理系统的建设和开发,实现电能计量数据管理的一体化。
1 检定数据管理的现状
随着我国电力行业的不断发展和推广,供电公司的电能表检定工作量不断增加,检定数据量不断增加。在现在的电力行业,实时的检定数据基本上分布各自的校验台计算机里面,这也造成了现在校验数据管理的诸多问题。包括以下三个方面。
1.1 手动输入,工作量大
对于目前还有很多器具类型没有开发自动检定系统,还存在很多手工检定的情况。所以这类器具的检定数据基本是靠检定人员手工录入的,导致了巨大的检定工作量。
1.2 数据分散,不便统一管理
基于大部分的检定原始数据都分布在不同的校验台计算机里的现状,造成了数据综合查询处理的诸多不方便,尤其是以在抽查原始检定数据记录的时候,分散在不同校验台计算机的数据对于抽查造成了极大的不便。同时导致了数据整合的困难,因此使得日常的统计工作如制作统计报表、统计合格率以及汇总输出等操作显得十分繁琐,而且比较容易出现错误。除此之外,因为一个校表员可能在多个台体上进行校表的工作,这样也给校表员的工作量统计造成了很大不便。
1.3 数据管理安全性能较差
储存在校验台计算机里面的原始数据有很大的安全隐患,会由于程序的更新、计算机的维护,以及突然断电、程序出错等外界因素造成数据库的损坏和丢失,这种情况下,数据很难被恢复,这也对检定数据管理造成了困扰。
2 电能计量检定数据管理系统的原理
为了解决目前电能计量数据管理存在的问题,需要建立电能计量检定数据管理系统,系统需要具备数据集中存储管理、集中查询打印以及各种数据统计和数据分析能力。而且还能保证数据的安全性,对系统进行密码口令管理进一步确保安全。
2.1 系统原理
系统将把.NET框架作为基础的平台,采用浏览器/服务器和客户端/服务器结构并存的方式,在满足不同用户不同地点访问和操作的需求,保护检定数据平台和管理访问权限的同时。另一方面,又能确保设备通信、控制和数据采集的实时性和可靠性。系统采用逻辑分层设计模式,也可以提高系统的安全性。简单来说,可以为计量检定数据中心配备一台性能良好的电脑,并对网线进行修改,保证服务器可以实现联网。此外,还可以配备稳定的操作系统和杀毒软件等配套软件。
2.2 系统功能介绍
电能计量检定数据管理系统是在规范管理电能计量环境下产生的数据管理系统,其有明显的网路技术和计算机技术气息,其主要包含数据传输、数据整理、数据管理等三个功能模块,能够涵盖了电能计量检定数据管理所有的工作内容。
2.2.1 数据传输方便。系统采用“数据集中存放和数据多级管理”的模式,运行简便灵活,结构清晰易懂,共享性能优良、界面互动性良好,操作便捷性优良。
2.2.2 数据整理方便。系统的计算机管理包括计量中心的电能计量检定数据,所以可以实现数据集中存储、查询、打印,可以提供日常工作中的各种统计和分析,也解决了数据存储在校验台计算机的不安全问题。
2.2.3 计量中心数据一体化。系统的数据管理拓展到了计量中心的各个分部,可以完成分部电能计量检定工作与本部同步管理。能够加强对电能检定数据的监控能力,实现计量中心电能计量检定数据的一体化管理。
3 电能计量检定数据管理系统的优势
3.1 校验数据汇总存储容量巨大
系统的客户端采用的是EMCS校表程序,校表结束之后不需要经过任何处理,直接完成数据到电能计量检定数据管理系统的传输,操作方便、快捷。首先,可以实现将原始数据实时的存储到原始数据服务器上,校验数据上传到电力系统后,与此同时,原始数据也将上传到原始数据服务器中。其次,上传数据的多少完全由服务器硬盘的容量决定,所以服务器可以储存年数较久远的校验数据,还可以将以前的数据拷贝到其他的电脑上,为服务器提供更多的储存空间。此外,对于日常工作中的抽样调查,电能计量检定数据管理系统可以提供专门的抽样数据库,只要在抽样的范围,系统内的程序会自动将数据传入到抽样数据库,为校验数据带来了极大的方便。
3.2 校验数据查询、统计快捷,便于汇总处理
在电能计量检定数据管理系统中支持多种条件的校验数据查询,可以按照日期、编号、校表员、结论进行查询操作;同时还可以完成日常的统计工作,如校表工作量、被检表合格率、统计合格率、统计校验误差情况、半年首检情况等;此外还可以对条件查询结果进行进一步的处理,如按照特定格式导出数据库,根据指定要求进行数据的定期备份、恢复以及对汇总数据进行增添、删除等操作。
3.3 汇总数据可以直接导入电力系统
汇总数据可以按特定的条件进行查询,同时将查询结果传到电力系统网络中,其数据和直接从校表台上传的数据一样,这将在电力系统发生故障时,发挥重大的作用。
3.4 密码权限管理安全可靠
考虑到系统功能的要求和实际需求,程序可以为不同的权限提供不同的功能,拥有一般权限的用户,只能查看数据,不能对数据进行任何其他的操作;管理员权限则可以用更丰富的功能,如数据的修改、删除等;而对于没有任何权限的人将不能登录电能计量检定数据管理系统。
3.5 程序具有较强的复制性
在任何一个装有EMCS校表程序的电脑里都可以使用电能计量检定数据管理系统程序,如果没有程序,经过安装也可以立即使用。如果绑定服务器,那么电能计量检定数据管理系统不需要任何额外配置就可以访问系统的后台数据,EMCS系统也不需要其他配置就可以实现数据转移到后台数据库的操作。
3.6 数据保存安全性能好
电能计量检定数据管理系统后天采用的是大型关系型数据库,能够确保数据操作的高效性。加之前台程序有密码口令和操作人员的实时管理,能够很好地避免连用权限导致数据丢失损坏的现象。而且本系统具有数据自动备份功能以及数据导出功能,这也进一步提高了数据安全性能。
3.7 抽样数据的集中查询和处理
系统可以完成***地对抽样库的查询,此外,还可以实现首检数据和抽样数据的互换操作,简单来说,就是同一批表的首检数据可以作为抽样数据进行统计,操作十分方便快捷。
4 结束语
电能计量检定数据管理系统不仅方便了校表数据管理工作,还能够对错误数据进行及时的修改,很大程度上提高了工作效率。文章从目前数据管理的现状情况出发,为解决现状问题,阐述了电能计量检定数据管理系统的工作原理和功能介绍,并且研究了电能计量检定数据管理系统的优势特点,系统储存空间巨大、安全性能优良、数据查询处理方便快捷等优点为电能计量检定数据管理系统的应用提供了可能。虽然在实际的应用过程中会有不足的地方,所以还需要不断的挖掘、完善系统的功能,提高系统的实用性。希望文章可以为广大相关工作者提供一定的参考。
数据管理系统篇9
【关键词】ERP系统 财务数据质 质量监控
一、前言
现在在我国的企业管理过程中经常会遇到各种问题,而随着国际化的深入ERP系统也逐渐的应用到财务数据质量监控管理之中,利用这种系统能够有效的保障企业管理运行的稳定性同时确保财务数据的准确性,而且这个系统已经超越了会计电算软件而且其在数据的管理和监控过程中包括更加全面的功能,同时提供方对上下游链接需要的管理进而对企业内部各个部门之间的协调合作起到了积极的作用,进而为企业的发展和促进起到了积极的作用。
二、ERP为财务系统带来的特征
ERP财务管理系统可以对各项业务进行规范化计量并自动生成相应的凭证,保证了会计信息的规范性和可靠性,保障了财务管理所需信息的质量。
ERP突出了财务管理的整体性,获取信息的时效性和信息服务规范性。在ERP环境下,财务管理由静态走向动态,实现了实时跟踪功能,每一笔整体业务的发生都能够立刻反映出来。经过处理的会计信息能同步反映企业物流、信息流的动态,为物流监控提供迅速、规范的信息依据,方便企业管理者制定决策。并保证财务部门与供应链的相关部门都能迅速得到所需的规范化信息,保持良好沟通。
ERP系统还能提供多种管理性报表和查询功能。使用财务分析模块,能够更全面地提供财务管理信息,为战略决策和业务操作等各层次的管理活动提供服务。它将财务会计、管理会计的思想与业务流程集成到一体,从而实现了管理会计与财务会计的一体化以及财务业务的一体化。ERP本质上是一个模拟系统,财务数据进入ERP系统之后,很容易计算出各种变化的影响。差异或有问题的项目一旦出现就能被分离出来,并可采取措施去纠正。这就大大缩短了企业进行决策的时间。借助于ERP财务系统,模拟企业在不同的利润率、成本影响下,分析企业资金流与物流发生的变化后,再慎重地做出决策,有利于提高企业适应力与竞争力。
ERP系统的优越性就在于它能够提供企业经营管理者需要的各种营运信息,使管理者能适时做出最好的决策,有效地适应市场变化的需要,为公司获取丰厚的利润。
三、ERP系统加强财务管理的措施
利用这项系统加强对企业财务数据的管理能够起到更好的效果,企业财务数据繁多而且在分析和管理不城中存在很多的问题,ERP系统能够针对其中的问题有效的解决。
(一)统一企业的财务数据标准
在集团企业运营的过程中进行财会的统计是必不可少的,而在这个过程中财务数据管理的基础不够统一、会计管理不够统一而且会计***策的执行也不统一,这些问题造成企业管理过程中产生不协调的状况,而这种情况会对财务管理造成诸多的困难甚至影响到企业的决策进而给企业的运行和发展造成不良的影响。所以对于财务数据质量的监控来说应该加强对财务数据标准的统一,首先在ERP系统之中应该对会计财务的数据进行统一的核算,同时明确并同意会计科目和各项内容,整个集团的企业在财务管理的方面要对其中的主要数据在总部进行统一的管理,另外可以针对财务的权限进行控制集团和下属企业对同一种主数据的差别进行管理;另外集团的内部对会计核算的规则进行统一而下属的企业同样需要按照统一的规则进行财务的管理。除此之外在企业之中存在一些数据不完全存在于ERP系统,有些数据是由企业的外部系统提供的而这些数据通过接口程序导入到ERP系统之中,所以集团的会计管理部门就需要对会计核算的数据接口规定统一的标准,而外部系统需要按照这些规定和要求提供准确完整的数据从而进一步加强企业财务数据的管理。
(二)保证财务数据及时录入及数据的完整性
对于我国的企业管理而言加强财务数据信息的管理就能够有效的提高企业内发展速度同时为企业的决策提供可靠的科学数据,所以在对企业内部的财务数据信息进行录入的过程中需要保证其完整性和及时性,而想要对这两个方面进行加强就必须对数据信息进行严格的监控,所以在应用ERP系统的过程中要对不同的数据输入点建立相关的审核流程,而对于会计人员录入的会计凭证必须要有专门的主管人员进行审核,而在进行相关的审核过程中后要有工作人员凭借相关的凭证进行复核。进行企业的财务管理过程中有部分的企业通过数据的接口将财务数据自动导入到ERP系统之中,采用这种方式能够有效的提高系统的批量输入能力,但是如果数据接口设计不够完善或者其中存在缺陷很有可能造成数据的导入错误,而这种批量的数据导入更加有可能造成批量的数据错误。所以这些来自数据接口的外部系统数据就需要进一步加强外部数据的审核流程,制定合理的制度和措施对外部系统的财务会计核算进行加强,而如果发现其中的问题要及时的交给有关部门进行处理。
(三)完善财务数据录入的规范制度
企业的财务管理相关的数据录入要保证及时性和完整性不仅需要严密的数据监控,另一方面对于数据录入的规范制度也必须要完善,企业的财会部门需要根据数据录入的制度进行财务数据的管理,而在企业的财务管理之中包含了各种不同的财务类型,所以在制定数据信息录入规范的过程中需要根据业务的类型和需要建立不同的录入规范。
(四)业务流程的控制和奖惩措施的建立
在运行ERP系统之后需要针对系统进行业务流程的重组工作而这项工作在财务数据管理和控制的过程中对业务流程进行重组并且精简一些不必要的环节也能够在很大的程度上加强对财务数据的管理和监控。因为在ERP系统的运行过程中只有保证各个环节都在控制的范围之内才能够对财务的数据进行有效的管理。在这项系统之中包含一次录入多方共享的功能,在系y中只要有一次数据输入错误那么后续的数据输入都会发生错误这个时候在哪个环节发生的问题就会很容易的找出来进而找出相关的责任承担者。利用这项系统的初期阶段很多的工作人员在适应新型的系统过程中难免会有不熟悉的感觉,而此时在对财务的数据信息进行录入就会发生错误,所以有必要建立奖惩措施进行数据的监控。
三、结束语
我国企业现阶段发展非常迅速而且企业在发展的过程中遇到的问题也很多,尤其是在我国的经济市场之中各个企业的竞争也非常的激烈,而加强企业财务数据的监控和管理是提高企业竞争优势的有效措施,ERP系统的接入让企业在财务数据的管理方面得到了加强而且发挥出了巨大的作用。
参考文献
数据管理系统篇10
一、医疗保险管理信息系统中的数据传输设计方案
医疗保险管理信息系统中的数据传输设计方案可以分为这两大类型:第一类是需要及时传输的数据信息,这些数据信息主要包括参保人员个人医疗保险基本信息,住院基本状态及开设的账户信息;第二类是固定的急需要传输的数据信息,主要包括参保人员住院费用支出明细信息、参保人员在医院中的整个费用具体信息、社保局在医疗中的报销比例、报销限额、报销范围等各种***策。针对医疗管理信息系统的特点和传输数据的特殊性不难看出,采用这个系统进行医疗保险管理系统进行数据传输要实现整个各个医院中的医疗信息和社保局各项管理信息及时进行相互传输,如下***所述,在这个医疗保险管理信息系统中,整个医院必须及时地将参保人员在医院中的各种账户信息传输到医疗保险管理信息中心,从而在社保信息中心对参保人员的费用进行计算,参保人员在医院看病时,医院会将参保人员的最新个人基本信息在电子卡中进行更新,医院将定时地向社保局医疗保险管理系统中传输参保人员的住院具体消费情况,该系统设计方案的主要优点在于,医疗保险管理信息中心能够及时地快速掌握到每一个参保人员在医院期间的消费明细和整个医院在参保人员医疗保险管理中心产生的各种费用。
二、在医疗保险管理信息系统根据实际情况决定数据传输
医院和医疗保险管理中心要进行数据的及时传输,以免在数据的传输中出现各种问题,由于参保人员的医疗保险在固定的时间内才能收到医疗保险管理中心的补助,这些参保人员的个人账户中的具体补助信息将在整个医疗保险管理中心的数据管理库中相应的账户下发生着变化,这些参保人员的个人医疗保险卡中没有这些数据的信息,要及时依据刷卡站点数据实时上传中心,中心计算后立即返回结算数据这一流程进行规范操作。当参保人员在各大医疗机构就诊时,整个医疗保险管理信息系统中的数据传输系统将会自动的实现参保人员个人医疗保险信息的一个传输。该传输过程主要是,参保人员在医疗机构中使用个人医保信息卡,整个医保信息系统将会判断出此张卡的具体情况,从而决定如何计算费用,医保刷卡信息都是实时上传,医疗机构在患者刷卡的过程中,可以通过医疗保险管理信息系统中实时传过来的数据对参保人员的所有信息即可掌握。
三、医疗保险管理信息系统采用FTP编码的程序来实现数据传输
面对医疗保险管理中心和医疗机构中需要及时传输数据时,整个医疗保险管理信息系统将会采用FTP编码的程序来实现数据的传输,该系统在数据的传输过程中需要的数据都是由医疗保险数据中心来完成整个数据的整体性传输过程,参保人员的个人医保信息在指定的医疗机构进行数据传输成功后,系统将整个医疗保险中的参保人员的信息情况***到定点的医疗保险机构中去,整个系统中采用FTP的编码实现数据的传输过程主要表现为:医疗保险管理中间将医疗机构需要传输的参保人员医保情况数据进行整体打包后,在经过数据加密后,存放到相对应的文件夹目录中去,这些数据包通过整个网络系统的整体运输,将整个数据包传输到相应的医疗机构规定的文件夹中,医疗机构在自己运行的程序中收到数据后将数据的文件夹进行解压后,在进行数据的具体修改然后存放到自己系统中的文件夹数据中,在这个医疗保险管理信息系统中采用FTP编码进行数据传输的一个设计,主要是方便于医疗保险指定的医疗机构在参保人员医保的使用情况中产生的数据的一个传输过程,有利于在数据传输中产生的不必要麻烦的减少,方便医疗机构及时掌握到参保人员的医保具体情况,为医疗机构的工作带来了许多的便捷之处。
结束语