异构的数据映射技术

【摘要】 通过研究结构化数据模型之间的数据映射技术,以及从Excel数据表到结构化数据模型,和从结构化数据模型到Excel数据表的数据映射技术,探讨异构的数据模型之间的数据映射技术。

【关键词】 异构 数据映射 结构化数据模型 Excel

为解决数据集成中数据异构问题,可以采用数据映射的方法。数据映射技术的应用在当前企业中已经十分成熟、广泛。

数据映射(Data-Mapping)主要指的是在两个不同的数据模型之间,建立彼此数据元素的对应关系。数据映射为数据集成奠定了基础,往往是很多数据集成项目中的第一步。数据集成最常见的问题就是系统异构、数据模型异构和数据异构。而解决这一问题的方法,就是数据映射。通过建立数据元素的对应关系,使数据格式满足数据集成平台的标准。

在进行数据映射时,我们首先需要对源数据和目标数据进行描述,然后再制定映射规范。而XML技术能够很好的描述结构化数据、半结构化数据和非结构化数据,并可以进行数据绑定。在描述不同的映射关系时,也可以作为定制的规范语言。

在这里,本文基于XML技术,主要定义了三种类型的数据映射和数据交换方法,并对其进行研究。

一、结构化数据模型之间的映射与数据交换

本文研究的结构化数据模型主要是指关系数据库,使用XML格式描述源数据库和目标数据库之间的映射关系。

在进行数据映射时,本文主要采用基于模型的数据映射方式,将XML格式与数据库中的数据结构之间进行映射,通过定义好的映射文件,对数据库中的数据转换为XML格式,从而完成数据映射。

下面这个例子是一个基于数据表的XML格式数据映射文件,通过对这个例子的分析,可以简单了解结构化数据模型映射到XML格式的过程。

1、第一行,这条代码表示xml版本为1.0,文档编码为UTF-8。

2、第二行标记,是xml文档的根元素,表示该文档为数据映射文件。

3、第三行标记,包含该数据映射文件的名字。

4、第四行标记,说明映射集合,及相关属性。

5、第五行标记,是映射集合中的一个映射。

6、第六行标记,指明映射的名字。

7、第七行标记,指明源模型名字。

8、第八行标记,指明目标模型名字。

9、第九行标记,是源实体集标记。

10、第十行标记,是一个源实体标记,属性Name表示实体名称。

11、第十一行标记,是源-目标属性,及对应关系。里面的三个属性,Name表示源属性名,Target_Entity表示目标实体名,Target_attribute表示目标属性。

12、标记,从源实体中查询生成的实例,使用的查询语句。

13、标记,目标实体,属性name表示目标实体名。

14、标记,表明目标属性。该标记内有四个属性,属性name表示目标属性名,属性data_type表示数据类型,value表示属性值,isKey表示是否是主键。

以上XML文件描述了从源数据模型到目标数据模型的数据映射,从而完成了异构数据模型之间的数据映射和数据交换。

二、从Excel数据报表向中间数据库的映射与数据加载

Excel数据报表是企业办公人员经常使用的进行数据存储或数据交换的文件,Excel简单易用,适合存放原始数据,但是对于存放管理大量数据,以及数据共享、数据处理、数据完整性约束和数据交换等方面,就完全比不上专业的数据库系统。所以这些存放了大量原始数据的Excel表格,需要加载入专业的数据库中,进行统一的存放和管理。

由于Excel表格中的数据格式有可能设计的十分复杂,如果使用程序对其进行抽取数据,完成数据映射,那么势必要编写大量的代码,增加工作难度。而本文利用XML定义从Excel报表向关系数据库映射的描述模式,先将Excel中的数据映射到XML文件中,在将XML中的数据映射到中间数据库,从而完成了半结构化数据到结构化数据的映射过程。

以上文件中各个标记和属性的含义是:

1、标记:XML映射文件根元素,用来描述从 Excel文件到数据表的数据映射。

2、标记:表示某一个Excel数据文件模板,一个映射文件中可以包含多个数据文件模板。属性name表示数据文件模板的名字。

3、标记:表示Excel数据文件中的某一个表,一个数据文件模板可以包含多个表。

4、标记:表示映射的数据表,是Excel文件映射到的数据表,可以对应多个数据表。属性name表示数据表的名字。

5、标记:表示数据表中的一个属性,是的子标记。属性name表示数据表中属性名;属性column表示数据表中的属性对应Excel表中的列号。属性isKey表示是否是关键字。

以上XML文件中描述了从Excel数据表中数据到数据库中数据表的数据映射。

三、从中间数据库向Excel数据报表的映射与报表自动生成

从数据库中的数据表向Excel数据报表映射的过程十分复杂,但是原理

比较简单。大概来说,就是将数据表中的记录的每一个属性对应Excel数据报表中的每一个单元格进行映射,一条数据表中的记录同时对应一行Excel数据报表中的记录。采取这样的映射方式时,还会有许多问题,如数据库中的数据表与Excel数据报表的映射关系是怎样的,映射过程中是否进行数据的运算处理等等。

小结

异构数据源是企业内各个信息系统进行集成时,最常遇到的问题。在企业进行现代化、信息化建设时,由于企业自身的管理问题、开发时间的差异、具体业务要求、技术性以及其它经济原因等因素影响,造成了数据管理系统出现很大差异,出现很多以不同存储方式存储的数据。这些数据存储的位置从简单的Excel表格到大型的关系数据库,形成了企业的异构数据源。

为解决异构数据源的数据集成和交换问题,本文提出了三种数据映射技术对应三种不同的情况以进行解决,对于其他数据映射技术还需要今后进一步研究。

异构的数据映射技术

转载请注明出处学文网 » 异构的数据映射技术

学习

钢的氧化处理应用研究

阅读(30)

本文为您介绍钢的氧化处理应用研究,内容包括钢的氧化处理,钢的氧化预防处理方法。摘要:钢铁产业是国民经济的支柱产业,但在使用中钢铁的腐蚀现象非常普遍,因此通过改变钢铁表面的性能,防止钢铁材料的浪费就显得犹为重要。目前对钢铁表面进行

学习

浅谈“用心”教育

阅读(35)

本文为您介绍浅谈“用心”教育,内容包括教育箴言用心做教育,用心教育的句子。摘要:要做好班主任工作,就必须要付出一定的时间,要有足够的热心和耐心,做个有心人,才可能取得教育的成功。笔者就十几年的班主任工作的经验,谈谈怎么“用心”教育。

学习

双层幕墙原理及其特点浅析

阅读(31)

本文为您介绍双层幕墙原理及其特点浅析,内容包括双层幕墙原理,双层幕墙是由哪些构成。关键词:工作原理;环保;节能

学习

供应链管理下JIT采购模式研究

阅读(28)

本文为您介绍供应链管理下JIT采购模式研究,内容包括在当今外部环境下如何实现jit采购,供应链环境下的jit采购。摘要:这篇文章首先介绍JIT采购的基本思想,将传统采购和JIT采购的对比分析中得出了JIT采购的优势和可能存在的问题。为了解决该

学习

企业民主管理

阅读(21)

摘要:企业民主管理制度是我国基层民主制度和企业管理制度的重要组成部分,随着治理整顿和经济体制改革的逐步深入,尤其是贯彻实施《企业法》以来,企业民主管理得到了较大的发展,以职工代表大会为基本形式的民主管理制度已经普遍建立起来。

学习

中药配方颗粒与中药免煎颗粒小议

阅读(17)

本文为您介绍中药配方颗粒与中药免煎颗粒小议,内容包括中药免煎颗粒好还是自己煎药好,现在医院中药都是免煎颗粒吗。【摘要】中药配方颗粒与中药免煎颗粒是对传统汤剂的改革,既满足临床辨证论治、随证加减的需要,又具有免煎易服、作用迅速

学习

视唱教学课训练

阅读(27)

本文为您介绍视唱教学课训练,内容包括视唱音准训练方法,视唱教学课教案。视唱是一门综合性的技能训练。是积累音乐语汇和音乐听觉经验的最直接、最有效的方法之一,在视唱练耳课中处于中心地位。视唱除了发展听觉和提高读谱能力处,还必须利

学习

游离甲醛的危害与控制

阅读(40)

本文为您介绍游离甲醛的危害与控制,内容包括游离甲醛为nd是什么意思,游离甲醛国家标准。摘要:我国从2002年1月1日起,实施强制性国家标准“室内装饰装修材料人造板及其制品中甲醛释放限量”。标准的实施,引起了人人们的广泛重视,纷纷寻求和采

学习

黄花梨的颜色

阅读(25)

本文为您介绍黄花梨的颜色,内容包括黄花梨的颜色怎样调,黄花梨颜色的形容。目前黄花梨被炒得沸沸扬扬,尤其是海南黄花梨,更是论斤来卖。

学习

ATM交换机常见故障分析法

阅读(24)

本文为您介绍ATM交换机常见故障分析法,内容包括交换机故障会导致网络时断时续吗,atm机网络故障处理。前言

学习

现代中医药

阅读(95)

本文为您介绍现代中医药,内容包括现代中医药,现代中医药著作大全。妊娠并发剧烈胃痛1例治验王小波

学习

数据融合技术

阅读(27)

本文为您介绍数据融合技术,内容包括多传感器数据融合,多源异构数据融合。摘要本文对数据融合技术的作用、分类、衡量标准和技术难点做了介绍,说明了数据融合技术在无线传感器网络中的重要性以及数据融合技术在改进本系统中起到的作用。

学习

非结构化数据的意义

阅读(29)

本文为您介绍非结构化数据的意义,内容包括结构化数据和非结构化数据,非结构化数据的价值。搞清非结构化数据的意义无关技术问题,而是一种业务挑战。

学习

产品数据分析报告范文精选

阅读(93)

本文为您介绍产品数据分析报告范文精选,内容包括行业数据分析报告范文,数据分析报告的范文。产品数据分析报告篇1[摘要]本文通过对客户的问卷调查识别参展商期望的服务,围绕双因素理论中的“激励因素”和“保健因素”对重要服务内容划分,

学习

探秘“同课异构”

阅读(28)

本文为您介绍探秘“同课异构”,内容包括浅谈同课异构,同课异构教材讲解。“同课异构”一词对教师而言并不陌生,然而大多数教师只单纯了解到同课异构就是由两位教师上同一个教学内容。实质上,同课异构的内涵相当广泛,我们应该对它有更多更全

学习

数据挖掘在大数据时代下的应用

阅读(18)

本文为您介绍数据挖掘在大数据时代下的应用,内容包括在大数据时代的数据挖掘技术,大数据在数据挖掘中的具体应用。【摘要】数据挖掘一直是各个行业的关注的重点。近几年,数据挖掘伴随着大数据的火热开始迎来更大的机遇。本文介绍了数据挖

学习

通用数据录入系统的设计与实现

阅读(24)

本文为您介绍通用数据录入系统的设计与实现,内容包括数据录入系统制作,数据录入程序。摘要:本文通过开发实例,阐述了基于XML、WebService等核心开发技术、模型驱动的软件架构,结合录入界面动态生成以及数据质量约束方法,实现面向业务、

学习

函数数据分析

阅读(17)

本文为您介绍函数数据分析,内容包括常用数据分析函数,函数数据分析方法实操。【摘要】近几年来,函数数据分析方法正处于迅猛发展阶段,国内已有一些学者将其应用到拍卖,股票等方面。它的出现带来了统计学分析方法上的一次变革。本文简要介绍

学习

数据库中关联规则

阅读(22)

本文为您介绍数据库中关联规则,内容包括数据库关联操作步骤,数据库关联字段的几种情况。摘要:现在全球经济发展正在进入信息经济时代,各种形式的信息大量地产生和收集导致了信息爆炸,如何采用基于关联规则的数据挖掘技术发现超市事务数据库