函数数据分析

【摘要】近几年来,函数数据分析方法正处于迅猛发展阶段,国内已有一些学者将其应用到拍卖,股票等方面。它的出现带来了统计学分析方法上的一次变革。本文简要介绍了函数数据的概念,基本的分析方法。

【关键词】函数数据 函数数据分析 网上拍卖

近几十年来,由于统计学的不断发展,出现并发展了一些新的方法解决了很多问题。然而,无论获得的是截面数据还是时间序列数据,我们只能进行某一横向研究或纵向研究,同时其前提条件很多不能满足,因此常常导致数据分析结果的不可靠性。虽然面板数据模型将截面数据和时间序列数据结合起来,具有较强的因果推理属性,但是三者存在共同的缺陷:即所建立的模型都是线性的,而在实际应用过程中无法完全保证变量间的线性关系,并且也难以确保数据满足前提假设条件,从而使方法的具体应用及方法适用于数据的类型均具有一定的局限性。函数数据分析是将观测数据当作一个整体(函数),而不是一系列单个离散的观测结果。之所以这样做是因为在研究中我们不仅关心的已得到的数据,更关心未得到的或者无法得到的数据。函数性数据分析(Functional Data Analysis,FDA)的概念,始见于加拿大统计学家J.0.Ramsay和C.J.Dalzell于1991年发表的论文《函数性数据分析的一些工具》。文中提出了适用于研究时间上无限维度的函数型数据一些方法和工具,并使用函数型数据的主成分分析和线性模型对加拿大温度与降水量的关系进行实证研究。此后在1997年J.0.Ramsay和B.W.silverman总结了函数数据分析的理论和方法,出版了《Functional Data Analysis》一书。

虽然函数性数据的来源形式多种多样,但就其本质来说,它们由函数构成。这些函数的几何***形可能是光滑的曲线,也可能是不光滑的蓝线。函数性数据分析的基本思想是把观测到的数据函数看作一个整体,而不仅仅是个体观测值的顺序排列。函数指的是数据的内在结构,而不是它们直观的外在表现形式。实际中,之所以要从函数的视角对数据进行分析是因为:实际中,获得数据的方式和技术多种多样,更重要的是,原本用于工程技术分析的修匀(光滑)和插值技术,可以由有限组的观测数据产生出相应的函数表示;尽管只有有限次的观测数据可供利用,但有一些建模问题,将其纳入到函数范式下进行考虑,会使分析更加全面、深刻;在有些情况下,如果想利用有限组的数据估计函数或其导数,则分析从本质上来看就具有函数性的特征;将平滑性引入到一个函数过程所产生的多元数据的处理中,对分析具有重要的意义。

函数型数据分析有以下优点:打破了连续型数据和离散型数据长期以来的分离状态,实现离散和连续的过渡;可分析大批量的数据,实现从有限维数据到无限维数据的转换,得到的数据信息更丰富、更可靠;很少依赖于模型构建及假设条件;由于假设函数都是可导的,因此可进行微分分析,如:得到位相***,实现动能与势能之间的转换;将多元统计分析方法进一步延伸。

典型的函数数据具有这样的形式:

Y1,Y2,…Yn,其中Yi=(Yi1,Yi2,…Yini)来自第i条曲线,Yij是在时间tij上测量,i=1,…N;j=1,…ni,为了简化,我们通常都假定nij=n,Yij=Xi(tij)+εij,εij是测量误差,E(εij)=0,Var(εij)=σ2。

估计X(t)在函数数据分析中是关键的一步,最常用的两种方法是基展开和平滑判罚。

一、基展开的方法

原理:一组在某种意义下相互***的函数{φk},其线性组合可以逼近任意的函数。

这样函数Xi(t)有如下的基展开

一般情况下,对于周期函数,我们常用Fourier级数来拟合;而对于非周期函数,我们常用样条函数来拟合。

Fourier级数:1,sin(wt),cos(wt),sin(2wt),cos(2wt),…

样条函数:将函数的定义区间用断点序列,τ=(t0,t1,…,tL)(t0与tL:为定义区间两端点)分成L个子区间,在每个子区间上,定义一个阶为m的多项式,这里的阶是指定义多项

式所需的系数个数。相邻多项式要求在断点处连续,并且在定义域上存在m-2次导数,这样样条函数就m-2次可导。

样条函数的自由度=阶数+内点个数。

***条:每个m阶***条基函数只在不超过m个相邻子区间上取正值,在其他定义域上取0,这种紧支集性质就给了***条基函数良好的数值计算性质。

Bi,1(t)=1 ti≤t≤ti+10 else

二、平滑判罚

在基展开方法中,平滑参数K的选择比较麻烦,我们可以获得更好的结果多选一些基但加一个粗糙度判罚来控制模型复杂度。

通常选择J(x)为二阶导数的积分

三、函数数据的主成分分析

在多元统计分析中,记录的是同一时期或时点上对每一观测对象多个变量的数据信息.为了达到简化数据的目的,通常是把大量的原始变量综合为少数几个综合变量。

函数性数据记录了每个观测对象的同一个变量某个区间上很多个时刻的数据信息.如果将时间看作多元数据对应的变量(变化因素) ,则发现函数性数据分析面临更大的"维数灾难"基于这种特点,可以将多元主成分分析的技术引入到函数性数据分析中,称为函数性主成分分析。

四、函数性数据分析的基本步骤总结

(1)原始数据的收集、整理和组织。

(2)将离散数据转换成函数型数据。采用基函数的线性组合,常用的***条基和傅立叶基。

(3)拟合函数型数据以及光滑化。常用非参数拟合法则――粗糙惩罚法。

(4)函数型数据分析方法的应用。具体有函数型显著性检验、函数型线性模型、函数型主成份分析、函数型因素分析、函数型聚类分析、函数型主微分分析等。

函数数据分析

转载请注明出处学文网 » 函数数据分析

学习

煤质技术

阅读(23)

本文为您介绍煤质技术,内容包括煤质规范最新,煤质化验员安全技术操作规程。1.预热对喷吹煤比表面积及微观形貌的影响刘仁生,赵兵,钟雪晴,LIURen-sheng,ZHAOBing,ZHONGXue-qing

学习

范振绪书画艺术综述

阅读(48)

本文为您介绍范振绪书画艺术综述,内容包括书画艺术大师范振绪,范振绪书画最新价格。范振绪(1872~1960),字禹勤,号东雪老人,甘肃省白银市靖远县城关人,清工部主事范培之子,出生于北京,9岁丧父后随母返回故里,清光绪年进士。1906年,同沈钧儒等留学日

学习

文圣拳学实战技法

阅读(19)

本文为您介绍文圣拳学实战技法,内容包括怎么练习文圣拳,文圣拳基本功训练。文圣拳学主动进攻实战技法强调,交手实战时,以欲动待发的整体弹性内劲为内功之本,全身上下、左右、内外协调均整,运动中手法、身法结合八位、夺位的技击步法,松静中本

学习

当代中国四大社会阶层分析

阅读(117)

本文为您介绍当代中国四大社会阶层分析,内容包括当前中国各社会阶层现状分析,当今社会阶级阶层分析。摘要:组成社会大系统的不同人群,因其对社会稀缺资源——包括国家控制权力、生产资料及财富、社会资本、专门知识、技术等要素的拥有、控

学习

塑性混凝土在防渗墙施工中的应用

阅读(32)

本文为您介绍塑性混凝土在防渗墙施工中的应用,内容包括塑性砼防渗墙是怎么做的,塑性混凝土防渗墙检测方法。摘要:通过对已建工程的施工总结,介绍了塑性混凝土防渗墙施工技术的特点和对质量的控制,通过质量检查表明,墙体整体均匀,致密性好,达到

学习

亦悲亦喜寓庄于谐

阅读(20)

喜剧是一种笑的艺术,它将深刻的内容寓于诙谐幽默的形式而实现审美效果。换言之,笑并不就是喜剧艺术,喜剧的笑是一种审美创造,“反常性”、“不协调”的矛盾是其实现笑的审美效果的喜剧性实质。因此,叔本华说:“笑不过是因为人们突然发现,在他所

学习

应用型本科毕业设计论文

阅读(23)

本文为您介绍应用型本科毕业设计论文,内容包括信息类本科毕业设计论文,本科应用型毕业论文模板。一、存在的问题

学习

浅谈程序关联性分析法在软件测试中的应用

阅读(22)

本文为您介绍浅谈程序关联性分析法在软件测试中的应用,内容包括软件测试影响域分析怎么写,软件测试被测对象分析怎么做的。摘要:当对软件的进行维护的时候,由于关联性普遍存在于各个模块之间,修改错误的模块,添加新的模块和删除无用的模

学习

电网污闪事故

阅读(15)

本文为您介绍电网污闪事故,内容包括电网春季防污闪反事故演习,电网防污闪技术问答。1前言

学习

人物神态描写

阅读(18)

本文为您介绍人物神态描写,内容包括描写人物神态的词语,人物的神态描写。——余华《假糖》

学习

多属性效用决策在经济现象中的应用

阅读(24)

多属性效用分析方法首先为决策目标建立一棵与决策目标相关的属性树,并通过决策会议将决策树简化,然后为简化后的决策树的重要属性建立效用函数,并计算出各备选方案的效用值,从而得出最优方案的决策方法。

学习

PHC桩在地下室抗浮中的应用

阅读(22)

摘要:地下室工程应用日益广泛,地下室抗浮承载力不足引发的工程问题也愈来愈多。本文分析地下水位对地下结构的抗浮计算原理,并用工程实例阐明采用PHC管桩作为抗浮桩的优越性和单桩抗拔承载力特征值的决定。

学习

当代中国四大社会阶层分析

阅读(117)

本文为您介绍当代中国四大社会阶层分析,内容包括当前中国各社会阶层现状分析,当今社会阶级阶层分析。摘要:组成社会大系统的不同人群,因其对社会稀缺资源——包括国家控制权力、生产资料及财富、社会资本、专门知识、技术等要素的拥有、控

学习

城市道路线形设计分析

阅读(46)

本文为您介绍城市道路线形设计分析,内容包括道路线形设计分析,城市道路纵断面线形设计步骤。摘要:本文介绍了道路设计中线形设计的组成因素,对城市道路线形设计中的问题进行分析,得出了几点结论,供大家参考。

学习

有关土的静三轴试验分析

阅读(21)

本文为您介绍有关土的静三轴试验分析,内容包括土的三轴压缩试验,用三轴试验测定土的抗剪强度指标。摘要:测定土体的抗剪强度方法有较多,其中,三轴压缩试验被公认为是相对较为有效和完善的方法。同普通的直剪试验相比,三轴压缩试验有很多的优

学习

产业分析报告范文精选

阅读(28)

本文为您介绍产业分析报告范文精选,内容包括产业发展调研报告怎么写,2021年新闻出版产业分析报告。产业分析报告篇1EXECUTIVESUMMARY

学习

我国二元经济形成的原因及影响因素分析

阅读(55)

本文为您介绍我国二元经济形成的原因及影响因素分析,内容包括我国二元经济结构的形成原因,城乡二元经济结构的影响因素。一个国家经济发展的初期普遍存在一个现象,就是二元经济结构现象。这一过程在相对同质,在一元的低水平经济的基础上,现

学习

基于区位熵理论的重庆市第三产业发展分析

阅读(35)

本文为您介绍基于区位熵理论的重庆市第三产业发展分析,内容包括2016重庆产业数据分析,城市产业怎么分析。摘要:一个国家或地区的经济发达程度是通过第三产业的发展水平来体现的,第三产业不仅发展潜力大,而且对社会经济发展带动作用明显。通

学习

液压阻尼器静刚度和动刚度研究分析

阅读(17)

本文为您介绍液压阻尼器静刚度和动刚度研究分析,内容包括弯剪阻尼器计算分析,阻尼器的力学分析。摘要:液压阻尼器静刚度和动刚度是液压阻尼器的主要的机械特性参数。静刚度指液压阻尼器在受到持续载荷激扰时,抵抗变形的能力。动刚度指液压

学习

中国公务员数量及趋势分析

阅读(27)

本文为您介绍中国公务员数量及趋势分析,内容包括全国公务员数量及分布,我国的公务员人数走势。[摘要]目前,中国公务员的规模及其发展趋势问题一直是社会各界所关注的焦点之一。为了分析我国公务员的数量规模及其发展趋势,探究我国公务员绝