【 摘 要 】 本文介绍了山东能源龙矿集团通过制定统一数据交换规范,详细规划各业务系统之间数据的对接、共享及数据整合等问题,利用中间数据库实现了各业务系统重要数据统一抽取存放,以满足各业务系统的信息共享需求,消除信息孤岛。
【 关键词 】 中间数据库;数据交换机制;J2EE;信息孤岛
1 引言
1.1 研究的背景
随着山东能源龙口矿业集团企业信息化的发展,业务系统逐渐增多,数据库技术、数据标准不统一,业务平台的复杂化,业务流程和管理制度的不完善等原因,造成了大量的信息系统间数据无法共享,导致严重的“信息孤岛”情况。
由于没有统一的数据标准,相同的数据分析处理模块在很多应用中被重复地撰写,各个系统的数据源只能散乱孤立地存在。因此,有必要建立一个通用的、分布式的数据集成平台,用以解决基于异构数据平台上的数据无法进行有效共享交换的问题,从而降低数据交换成本,实现数据共享。
为解决这一问题,龙矿集团进行了统一数据交换机制研究,提出数据交换机制规范和各业务信息系统数据标准来建设和管理数据交换机制。
1.2 所做的工作
1.2.1制订统一数据交换规范
制订统一数据交换规范,对涉及的业务、数据、数据流向进行分类归纳,分析各业务系统间数据不一致的原因,提出了数据交换技术一致性要求,建立标准化管理模式,从而提高共享业务数据的准确性、完整性、时效性。
1.2.2建设统一数据交换平台
主要是在异构系统之间进行信息交换,建立一套较为通用的数据交换机制。以Web服务的方式给各业务系统,包含了调用WebService发送“数据已汇报”的通知和接收“中间库已有目标数据”的通知;并且还包含了较为通用的预览数据、汇报数据的可视化界面。
随着以后龙矿集团的业务扩充(如新并购煤矿),可能会有新业务系统的数据需要进行交换,数据交换平台可以通过配置新指标,由各业务系统自行配置汇报指标数据,但要求业务系统的汇总数据符合规范的格式。
2 中间库系统实现
2.1 中间库管理平台结构及原理
统一数据管理平台采用中间库的方式对各系统共享数据进行统一分配和管理。
各个业务系统需要从其它业务系统抽取数据,一般都是经过汇总的数据。为统一管理,要求各业务系统把能够给其它系统提供的数据统一上传至中间库,各业务子系统也从中间库***所需的数据。
中间数据库提供数据转储和数据仓库功能。采集和交换过程中的数据可以转储到中间库,并在转储过程中提供数据的正确性和一致性校验功能,保证了数据权威性;中间库还为传统应用程序提供了一个全局的关系数据共享视***,利用本地数据库连接工具可进行复杂关系数据的批量检索、统计查询和数据管理。基于中间库还可提供数据挖掘、分析、比较等功能,提供决策辅助信息。
2.2.1中间数据库管理平台结构
中间数据库结构说明:
1)源数据系统服务器:是指提供数据的系统。
通过WebService实现源数据向中间库服务端通知数据已插入或已更新。数据系统接口根据预定的要求,从本地数据库进行查询统计,向中间库插入或更新数据。
2)中间库服务器:提供管理中间库的界面和支持接收数据插入成功的通知,并向目标数据系统服务器发送取数据通知。
WebService服务端:接收客户端数据写入功能的通知。
WebService客户端:向目标数据系统服务端发送取数据通知。
中间库管理平台:提供管理中间库的指标、数据、日志等数据查询、维护的界面平台。
3)目标数据系统服务器:是指接收数据的系统。
WebService服务端:接收中间库客户的取数据通知。
数据接口:从中间库中取数据,保存到自己系统中合理的表结构中。
4)中间库数据库服务器:保存中间数据的数据库及服务器。
2.2.2中间数据库工作原理及流程
M1写入源数据:源数据系统接口生产符合要求的数据,写入中间库指定表结构中,并获取成功状态。
M2通知数据写成功:源数据系统接口的WebService客户端根据预定的协议通知服务端源数据已写成功。
M3通知取数据:中间库“得知”某项源数据已保存成功后,WebService的客户端向目标数据系统发送取数据的通知。
M4取数据:目标数据系统收到取数据通知后,及时到中间库指定表结构中取数据。
M5中间库管理:由专人对中间库进行管理,包括:管理数据的配置、接口管理配置、业务数据维护。
2.3 统一数据交换规范
为了降低业务系统与中间库的接口维护的难度,龙矿集团建立了统一的数据交换规范,要求各个业务系统中建立相应的接口表结构,表名必须符合规定,并且含有规定的列,但可根据需要扩充表结构。
1)基础数据配置 制定基础数据(如指标、单位等)的结构,在中间库建立表。并开发了对基础数据的维护功能界面,实现基础数据的可配置。
2)数据抽取 开发数据定时抽取程序,根据指标针对业务系统的连接配置、表名、列名把数据读取过来保存,在数据表中插入一条记录。在插入之前先以指标、时间周期、单位为条件查询记录是否已经存在,如果存在则进行更新。
3)数据修改 开发数据修改程序,抽取过来的数据,都可以使用该程序进行查看和修改,如果网络中断了,可以直接录入数据。
数据的抽取和修改以“后来居上”的原则为准,即:先抽取后修改就以修改的为准,先录入后重复抽取就以重复抽取的为准。
3 结束语
山东能源龙矿集团利用中间库为企业搭建了一个统一的数据交换管理平台,将各项重要信息指标统一存储,实现了数据汇总、统计与分析功能,能够及时汇总分析每年、每月、每周甚至当天的信息以提供给各个业务管理系统使用,能够客观反应企业的经营状况,为决策者提供了有价值的信息。
参考文献
[1] 李爱***,郭学俊.基于Web服务的异构数据交换方案设计与实现.计算机技术与发展,2006年07期.
[2] 蔡月茹,柳西玲.Web Service基础教程.清华大学出版社,2005.
[3] 罗尼(KevinLoney)等.Oracle Database 11g完全参考手册.清华大学出版社,2010.
作者简介:
刘振国(1972-),山东龙口人,男,汉族,山东能源集团信息中心,曾任山东能源龙矿集团信息中心副主任,高级工程师。
转载请注明出处学文网 » 利用中间数据库实现多系统数据共享