利用中间数据库实现多系统数据共享

【 摘 要 】 本文介绍了山东能源龙矿集团通过制定统一数据交换规范,详细规划各业务系统之间数据的对接、共享及数据整合等问题,利用中间数据库实现了各业务系统重要数据统一抽取存放,以满足各业务系统的信息共享需求,消除信息孤岛。

【 关键词 】 中间数据库;数据交换机制;J2EE;信息孤岛

1 引言

1.1 研究的背景

随着山东能源龙口矿业集团企业信息化的发展,业务系统逐渐增多,数据库技术、数据标准不统一,业务平台的复杂化,业务流程和管理制度的不完善等原因,造成了大量的信息系统间数据无法共享,导致严重的“信息孤岛”情况。

由于没有统一的数据标准,相同的数据分析处理模块在很多应用中被重复地撰写,各个系统的数据源只能散乱孤立地存在。因此,有必要建立一个通用的、分布式的数据集成平台,用以解决基于异构数据平台上的数据无法进行有效共享交换的问题,从而降低数据交换成本,实现数据共享。

为解决这一问题,龙矿集团进行了统一数据交换机制研究,提出数据交换机制规范和各业务信息系统数据标准来建设和管理数据交换机制。

1.2 所做的工作

1.2.1制订统一数据交换规范

制订统一数据交换规范,对涉及的业务、数据、数据流向进行分类归纳,分析各业务系统间数据不一致的原因,提出了数据交换技术一致性要求,建立标准化管理模式,从而提高共享业务数据的准确性、完整性、时效性。

1.2.2建设统一数据交换平台

主要是在异构系统之间进行信息交换,建立一套较为通用的数据交换机制。以Web服务的方式给各业务系统,包含了调用WebService发送“数据已汇报”的通知和接收“中间库已有目标数据”的通知;并且还包含了较为通用的预览数据、汇报数据的可视化界面。

随着以后龙矿集团的业务扩充(如新并购煤矿),可能会有新业务系统的数据需要进行交换,数据交换平台可以通过配置新指标,由各业务系统自行配置汇报指标数据,但要求业务系统的汇总数据符合规范的格式。

2 中间库系统实现

2.1 中间库管理平台结构及原理

统一数据管理平台采用中间库的方式对各系统共享数据进行统一分配和管理。

各个业务系统需要从其它业务系统抽取数据,一般都是经过汇总的数据。为统一管理,要求各业务系统把能够给其它系统提供的数据统一上传至中间库,各业务子系统也从中间库***所需的数据。

中间数据库提供数据转储和数据仓库功能。采集和交换过程中的数据可以转储到中间库,并在转储过程中提供数据的正确性和一致性校验功能,保证了数据权威性;中间库还为传统应用程序提供了一个全局的关系数据共享视***,利用本地数据库连接工具可进行复杂关系数据的批量检索、统计查询和数据管理。基于中间库还可提供数据挖掘、分析、比较等功能,提供决策辅助信息。

2.2.1中间数据库管理平台结构

中间数据库结构说明:

1)源数据系统服务器:是指提供数据的系统。

通过WebService实现源数据向中间库服务端通知数据已插入或已更新。数据系统接口根据预定的要求,从本地数据库进行查询统计,向中间库插入或更新数据。

2)中间库服务器:提供管理中间库的界面和支持接收数据插入成功的通知,并向目标数据系统服务器发送取数据通知。

WebService服务端:接收客户端数据写入功能的通知。

WebService客户端:向目标数据系统服务端发送取数据通知。

中间库管理平台:提供管理中间库的指标、数据、日志等数据查询、维护的界面平台。

3)目标数据系统服务器:是指接收数据的系统。

WebService服务端:接收中间库客户的取数据通知。

数据接口:从中间库中取数据,保存到自己系统中合理的表结构中。

4)中间库数据库服务器:保存中间数据的数据库及服务器。

2.2.2中间数据库工作原理及流程

M1写入源数据:源数据系统接口生产符合要求的数据,写入中间库指定表结构中,并获取成功状态。

M2通知数据写成功:源数据系统接口的WebService客户端根据预定的协议通知服务端源数据已写成功。

M3通知取数据:中间库“得知”某项源数据已保存成功后,WebService的客户端向目标数据系统发送取数据的通知。

M4取数据:目标数据系统收到取数据通知后,及时到中间库指定表结构中取数据。

M5中间库管理:由专人对中间库进行管理,包括:管理数据的配置、接口管理配置、业务数据维护。

2.3 统一数据交换规范

为了降低业务系统与中间库的接口维护的难度,龙矿集团建立了统一的数据交换规范,要求各个业务系统中建立相应的接口表结构,表名必须符合规定,并且含有规定的列,但可根据需要扩充表结构。

1)基础数据配置 制定基础数据(如指标、单位等)的结构,在中间库建立表。并开发了对基础数据的维护功能界面,实现基础数据的可配置。

2)数据抽取 开发数据定时抽取程序,根据指标针对业务系统的连接配置、表名、列名把数据读取过来保存,在数据表中插入一条记录。在插入之前先以指标、时间周期、单位为条件查询记录是否已经存在,如果存在则进行更新。

3)数据修改 开发数据修改程序,抽取过来的数据,都可以使用该程序进行查看和修改,如果网络中断了,可以直接录入数据。

数据的抽取和修改以“后来居上”的原则为准,即:先抽取后修改就以修改的为准,先录入后重复抽取就以重复抽取的为准。

3 结束语

山东能源龙矿集团利用中间库为企业搭建了一个统一的数据交换管理平台,将各项重要信息指标统一存储,实现了数据汇总、统计与分析功能,能够及时汇总分析每年、每月、每周甚至当天的信息以提供给各个业务管理系统使用,能够客观反应企业的经营状况,为决策者提供了有价值的信息。

参考文献

[1] 李爱***,郭学俊.基于Web服务的异构数据交换方案设计与实现.计算机技术与发展,2006年07期.

[2] 蔡月茹,柳西玲.Web Service基础教程.清华大学出版社,2005.

[3] 罗尼(KevinLoney)等.Oracle Database 11g完全参考手册.清华大学出版社,2010.

作者简介:

刘振国(1972-),山东龙口人,男,汉族,山东能源集团信息中心,曾任山东能源龙矿集团信息中心副主任,高级工程师。

转载请注明出处学文网 » 利用中间数据库实现多系统数据共享

学习

要想不伤身,这酒该怎么喝

阅读(31)

本文为您介绍要想不伤身,这酒该怎么喝,内容包括酒喝多伤身,酒喝多少不伤身。春节将至,不少人又开始马不停蹄地聚会赶场。觥筹交错间,本是助兴的美酒常常变成盛宴主角,因贪恋杯中物乐极生悲的事情也时有发生。医生说,酒是入血脉的,能让神经末

学习

积累的含义

阅读(23)

写作文讲究构思技巧,我们总是希望从别人的构思过程中得到写好作文的方法。不错,我们确实能从别人的构思过程中学到一点什么,借鉴到一点什么,但学习作文和学习其他知识一样,切不可本末倒置。能从别人的作文过程中得到方法和技巧的启示固然很好

学习

惰性,人性中最可怕的敌人

阅读(29)

斯马尔兹说:“国家的前进在于人的勤奋、奋发、向上,而国家的衰落由于人的懒惰、自私、堕落。”我想作为个体的人更是如此。只要我们克制并征服惰性,做到勤奋、奋发、向上,释放出自身超强的正能量,相信我们都能有所作为,成为自己命运的主人,达到

学习

书摘10则

阅读(38)

本文为您介绍书摘10则,内容包括书摘精选段落100句,书摘文章大全100篇。我们都是孤独的刺猬,只有频率相同的人,才能看见彼此内心深处不为人知的优雅。我相信这世上一定有一个能感受到自己的人,那人未必是恋人,他可能是任何人,就像电影中的忘年

学习

《群鬼》的挑衅之刃

阅读(23)

易卜生的《群鬼》是他的代表作之一。其中的丰满的人物形象和紧凑的情节设置体现了易卜生高超的戏剧艺术。但《群鬼》表现的思想却又让易卜生受到了群众的攻击。本文将通过对《群鬼》中人物和情节的分析来探讨《群鬼》所体现的艺术成就和

学习

《指南》指引下的幼儿美工区游戏

阅读(28)

我园是一所现代化乡镇幼儿园,结合当地环境,积极打造“环保手工”教育特色,坚持以此“激趣、启智、冶操、育人”,我们认识到:美工区游戏,融思维、操作、艺术、创造等为一体,如何有效推进幼儿美工区游戏,值得我们关注与思考。关键词:《指南》美工区

学习

那些年少的时光

阅读(26)

我师简介黄忠,浙江温州乐清白象中学语文教师,乐清作协会员,曾在《意林》《幸福》等报刊发表文章,曾获“新新文学奖”“乐清市优秀教师”“温州市第三届师德楷模奖”等荣誉,曾担任中国校园文学社团联盟常务理事。2010年出版师生作品集《爱若琉

学习

解析牛黄清心丸

阅读(38)

“牛黄清心丸”为清心解毒、祛风化痰之品,既能调和营卫气血,又能清心解热,配伍精妙、温凉协调、不寒不热、清中有补、补中有清。无论虚实之人,体质强弱者,皆可服用。从养生的角度讲,夏日最需要养心。现在懂一点中医的人,家里都会常备着牛黄清心

学习

剩女时代的爱情迷局

阅读(29)

善于挖掘女性题材的导演兼编剧马俪文曾用温情的《世界上最疼我的那个人去了》《我叫刘跃进》来牵动我们的爱。《桃花运》里,她再次以细腻的情感叙事拉开了故事的讲述。一、剩女们的爱情梦想影片集结了五种情感类型:富家女与大厨的美味情缘

学习

高速线材轧机工艺要求及应用

阅读(25)

本文所介绍的高速线材精轧机组采用了摩根第五代10机架布置形式;该线的工艺特点和轧制速度轧辊辊缝的设定、调整原则,成品精度目前已达到国标C级精度要求。关键词:高速线材轧机工艺应用1、绪论:高速线材生产线其预精轧机、精轧机、夹送辊和

学习

抑郁的孩子,快走出你的“孤独城堡”

阅读(24)

导语:天津某中学的初三学生张潇艺在网吧连续玩游戏36小时。被父亲斥责后,便从24层楼跳楼自杀了,给父母留下终身的遗憾。心理辅导员沈老师说:“现在,孩子面临空前的升学和竞争压力,自身的耐挫能力很差。受到心理挫折时往往选择躲避到网络虚拟世

学习

专家解密“癌中之王

阅读(24)

“与天斗,与地斗,与姚静斗,其乐无穷啊!”提起这句经典台词,人们就不由自主地想起了电视剧《媳妇的美好时代》旦的搞怪婆婆曹心梅。她的扮演者,中国国家话剧院的一级演员柏寒运用自己丰富的表演经验,将曹心梅这个角色演绎得栩栩如生。不車的是,

学习

请勿错过韦斯·安德森

阅读(28)

泛黄的褐色法兰绒套装,搭配白衬衫与一条深色领带,身上揣着铅笔头、橡皮擦的小部件儿,偶尔会再给你摆个不屑的PokerFace―韦斯・安德森就像从自己电影走出来的角色―闷骚中带点脱线。这份透着古怪天真的形象如今成了影迷心水,一以贯之的姿态,

学习

乐居老村传统彝族民居建筑材料研究

阅读(56)

本文通过对乐居老村的实地调查研究得出,乐居老村的民居建筑材料有石材、木材、土、砖瓦、油漆,都为当地建筑材料,体现出彝族传统民居建筑的生态性和地域性。关键词:乐居老村;彝族民居;建筑材料0引言乐居老村是一个传统彝族村落,位于云南省昆明

学习

数据价值如何彰显

阅读(24)

数据是新型经济的货币,其数量不曾如此之多,亦不曾如此之重要。应用程序、设备与数据类型等不断地增加,再加上物联网(IoT)的应用,现在人们创造与复制的数据量每两年增加一倍。此外,今年年初HGST的一项调查结果显示,86%的首席信息官与IT决策者认为

学习

统计数据质量的重要性及提高措施的探讨

阅读(37)

统计数据质量是统计工作的生命。统计数据质量如何,直接关系到统计职能作用的发抨,甚至影响统计白身的发展。因此,在如今信息爆炸的时代,加强统计数据质量控制,确保统计数据信息质量,对促进统计自身发展十分重要。关键词:统计数据质量由于统计数

学习

IT系统数据信息安全解决方案解析

阅读(25)

随着市场竞争的日益激烈,客户资料、生产分析数据、公司内部文件等各类信息已成为企业的核心资产,近年来各公司敏感数据泄漏安全事件频频发生,不仅对企业自身的核心机密、同行业竞争力和市场声誉造成了严重影响,同时也对公司客户的隐私和个人

学习

欧美国家DNA数据库的建设及应用前景

阅读(23)

[摘要]DNA数据库在打击犯罪方面的发挥着巨大作用,因而受到世界各国的普遍重视。近十年来,欧美等一些发达国家相继建成了以PCR-STR分型技术为基础的罪犯DNA数据库,并且也已制定了相关的法律法规以规范数据库的整个运作过程。西方发达国家的

学习

走进汽车大数据

阅读(21)

本文为您介绍走进汽车大数据,内容包括汽车大数据应用价值,汽车大数据。大数据既是一个热门的话题,同时也是一个重要的课题,整个汽车产业链金融都需要庞大的数据库作为支撑。众调网创始人郑鑫博士强调要让数据说话,打造能与人形成沟通和交流

学习

数据管理上上策

阅读(29)

在数据增长的早期就减少数据的存储量,同时利用先进的技术提高资源利用率,是企业进行数据管理之上策。美国“次贷危机”给全球金融带来的影响正愈演愈烈,也影响着中国各行业的经济秩序。面对此次的国际金融危机,中国IT产业的发展也面临着巨大

学习

点亮大数据时代的营销智慧

阅读(22)

现在已经到了让企业多年信息化布局积累的用户数据发挥价值的时候了,我们需要用大数据来分析用户,还需要用大数据来分析竞争对手,实现智慧营销!数字的本质是人,数据挖掘就是在分析人类族群自身。因此在大数据的背景之下,问题的关键已经不仅包括

学习

数据加工范文精选

阅读(23)

本文为您介绍数据加工范文精选,内容包括数据处理实习日记范文40篇,数据分析结果范文。数据加工篇1在这个信息爆炸的时代,互联网上丰富的信息给我们带来了无数机遇,同时也带来了挑战:如何从浩如烟海的数据中找到真正有用的信息?如何为企业用