学文网大数据分析篇1
【关键词】大数据 数据分析 数据分析师
近年来，业界、学术界兴起了大数据讨论，一夜间大数据时代到来了。大数据给学术界带来了新的思潮，大数据正在颠覆着很多传统行业的模式，带来变革。有人预测，大数据必将成为商业、***府、科研、教育、医疗等各行业面临的一个挑战。在大数据时代，数据分析、数据挖掘工作面临着机遇与挑战，本文从数据分析的角度，结合国内外相关研究，试***回答大数据是什么，如何应对大数据的问题。
一、认识大数据
（一）大数据的宗旨：经过分析的数据才有价值
大数据要发挥作用必须经过分析，这是由大数据的4V特性（数据量大、数据类型多、要求处理速度快、低密度）决定的。也就是说，数据都是高维、低密度的，从单个数据中难以看出规律。因此，必须经过分析，针对高维进行降维，提炼大量低密度信息中的价值，才能发挥作用。否则，大数据背景下，反而更容易使得“活”信息混迹在大量“死”数据中被淹没。面向大数据的分析要“简单、迅速、规模化”。
（二）大数据的目标：实现基于数据的决策与资源配置
大数据最终要实现科学决策，基于信息对称的有效资源配置。随着大数据分析技术的发展，可利用数据来源从线下封闭的数据库、数据仓库扩展到开放性的O2O（Online To Offline）融合数据，可分析数据结构从原来以数值为主的结构化数据发展到涵盖文本、视频、音频等多媒体数据。从而，大数据将逐步改变我们的决策目标和社会资源配置方式。基于数据的科学决策是一贯追求的目标。然而，信息不对称是常态，因此传统决策目标是建立相对满意而非最优（决策科学家Simon提出），资源配置效率基于市场优于基于计划。大数据背景下，迅速获取分析更多辅助决策信息成为可能，因此决策目标可实现向最优的无限逼近，实现基于数据的“计划”资源配置将更有效率。
（三）大数据的角度：个性化服务+中观指数+宏观连结
目前发展大数据，主要有基于数据为客户提供个性化营销服务、预测中观行业或区域趋势指数、基于连结的宏观资源配置方案等角度。这不仅仅体现在阿里小微融资的个性化风控决策、高端品牌***特卖品牌和定价动态决策（基于阿里巴巴网商活跃度指数和零售商品价格指数）、Discern group企业发展战略咨询报告上，还体现在阿里巴巴商务智能指数（预测经济发展态势）和基于公共气象数据的各行业资源配置优化服务上。
互联网金融是大数据发展各角度的前沿阵地。在金融领域，要实现从金融互联网向互联网金融的快速转型。传统模式下的金融企业开展网上业务，如：网上银行、网上理财，并不是真正的互联网金融。互联网金融是指通过互联网新技术为客户实现搜索或风控等服务增值，比较有代表性的是，消除供求双方结构不对称的P2P贷款，提高存取效率的保值理财产品余额宝。
（四）大数据的关键点：保证数据质量
要发展大数据分析，首先要保证数据质量。错误的输入必然导致错误的输出。没有数据质量，一切都是浮云。数据质量没有保证，是不敢用的。数据质量是一项耗时、费力的基础工作。
保证数据质量要求数据采集与清洗过程中秉持两大原则：相关性和低噪声。第一，大数据，数据并非越“大”越好，而是相关数据越“大”越好。特别是，在数据采集中，要以采集尽可能多的“相关”数据为目标，而非不加筛选越多越好。第二，大数据，首先数据获取时要保证不存在诱导倾向的干扰因素，同时进行去噪处理。
保证数据质量要建立数据的数据。针对数据质量建立数据标签，才有进步。有了对数据质量的数据，数据才能被决策者更为安全科学有效地使用。
（五）大数据竞争的核心：分析人才的竞争
大数据时代，作为一种资源，数据不再是稀缺资源。互联网、门户网站、社交网站、微博、微信等新媒体积累了大量数据，缺乏的是对这些数据的分析人员。缺乏专业的分析人才，即使守着数据的“金山”，也只能望“山”兴叹。因此，美国Turbo Financial Group采用最新的大数据分析技术聚焦被FICO遗忘的15%人群建模，阿里提出建立大数据分析的开放式平台，希望能够集结更多专家智慧，同时培养阿里分析人才，挖掘阿里数据“金矿”。
二、把握大数据
大数据对社会生活带来方方面面的影响，我们如何把握大数据时代的机遇，需要慎重对待大数据带来的挑战。总结起来，主要有三个方面：
（一）大数据时代，数据整理和清洗工作
（1）数据整理和清洗工作是数据分析的基础。大数据专家根据经验，普遍认为该工作是一项基础性工作，耗时多且简单，占到数据分析工作量的60%以上，是数据分析前提和基础。在此基上，数据分析工作需要对数据进行标识，进行深度分析，撰写专题报告，确保结果可以执行，最终落实到决策和实施。
（2）大数据时代，需要充分借助IT技术管理数据质量工作。在大数据时代，人工逐笔发现、解决数据质量问题的方式成本高、效率低，不可持续。要尽量规范化、系统化、自动化管理数据质量工作，将节省下的人力资源投入到新问题的研究中。
（二）大数据时代，数据分析的特点
（1）采用倒金字塔模式分配“思考、工作、分享”的时间比重。数据分析工作包括三部分：“思考”，分析实际问题，将实际问题转化成数学模型，提出解决方案的过程；“工作”，将解决方案程序化，得出结果的过程；“分享”，将分析的结果，转化为决策，付诸实施的过程。在时间分配上，金字塔结构或柱形结构的分布形式不是最佳结构，倒金字塔结构比较合理。即，思考的过程花得时间长些，可以减少后期工作量，少走弯路。
（2）通过数据分析进行科学决策。很多人存在误区，认为数据分析就是做报表、写报告。在大数据时代，数据分析不仅仅停留在此，需要进行深度分析，建立数据化决策的流程。要尊重数据、认识数据，但不迷信数据。在尊重数据、尊重事实的前提下，减少主观因素的干扰，快速做出数据化决策，这是一种能力。
（3）大数据时代，数据分析的要义是――简单、迅速、规模化。数据分析的结果要简洁、易懂；数据分析的时间要短，尽可能的自动化地出结果，要快速的满足客户的需求；数据分析的方法能够实现大批量规模化。优秀的数据分析师应具有全局的预见性，一有问题可以马上把该问题打成很碎、很多的问题，甚至把一个问题克隆出很多问题，从而与业务人员建立信任，降低工作量。
（4）从“死”信息中，分离出“活”的信息。大数据有数据量大的问题――产生大量的“死”数据。错误数据是指数据与实际情况不一致，异常数据是指数据正确但数据远离群体的大多数，这类数据情况的处理手段比较成熟。而大数据时代，大量数据是不活跃主体，即“死”数据。因此，需要从高维低密度数据中，提取“活”的信息，发现规律。防止由于“死”信息的存在，导致分析结果不能正确反映“活”的群体特征。
（三）大数据时代，数据分析师的培养
（1）培养核心技术人才，确保长期竞争力。美国在建立全国医疗系统时，将系统外包给了加拿大的一家公司，系统运行的第一天就出现了崩溃。美国***府为此对该模式进行了反思，概括起来有三点：①外包公司设计时只顾满足甲方的眼前利益，不会为甲方的长远利益考虑；②项目外包造成美国技术骨干人员断层，导致出现问题后自身无法解决；③采用该模式导致美国没有了核心技术。
因此，在采用项目外包模式的同时，需要掌握其核心技术。在大数据时代，从数据分析、信息管理、IT技术三个方面保持核心竞争力。需要培养和保持业务、产品设计、数据分析、数据架构等方面的骨干队伍。
（2）建立专业化的大数据分析团队。大数据分析的核心是数学建模，基础是实际业务，结果是自动化程序。在实际工作中需要正确、合理的使用数学建模的思维，构建以数学模型做为基础的数据分析，建立量化管理风险的理念。深刻认识并正确驾驭大数据分析，大数据分析的方法是处于不断发展过程中的，需要根据实际问题，结合实际数据，灵活构建模型。
参考文献：
[1]朱建平，章贵***，刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究，2014，（2）.
大数据分析篇2
（兖州煤业榆林能化有限公司，陕西榆林719000）
［摘要］随着信息技术的发展与应用，各种数据信息通过互联网、云终端、交际圈、物联网等之间的大规模传递，人类进入到一个大数据时代，数据信息之间的传递影响着人们的决策成本，传统的信息不对等所造成的差距条件已经消失，而不起眼的数据却能够创造巨大的价值。本文对大数据时代背景下数据分析理念进行分析和指导。
［
关键词 ］大数据时代；数据分析理念；分析
［DOI］10.13939/jki.zgsc.2015.22.074
在传统的商业运作模式中，在运营过程中对自身经营发展的分析只停留在数据的简单汇总层面，缺乏有效地对客户网络、业务范围、营销产品、竞争对手优劣等方面进行深入解析；而在当今大数据时代，通过所接收的大量内部和外部数据中所蕴含的信息中透露的市场弹性，可以预测市场需求，进行分析决策，从而制定更加行之有效的战略发展计划。“大数据”是一个量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。在当今信息时代，很多企业用户在实际应用中把多个数据集放在一起，已经形成了PB级的数据量；数据类型广，数据来源种类多，且数据种类和格式日渐丰富，囊括了半结构化和非结构化数据，早已打破传统的结构化数据范畴，如何在大数据时代背景下进行科学有效的数据分析这需要加强对市场的了解，对泡沫经济的规避，了解数据所传递的信息真假。
1数据化决策的兴起与运用
在大数据时代，信息之间的爆炸增长，使得各种信息传递非常之快，只需要拿起网络终端就可以了解到地球另一边发生了什么。文字、***形、影像都化作数据流在网络中以电信号的方式传递着信息。数据流在传递各行各业的信息同时形成了渗透于各行业的核心资产和创新驱动力。在大数据时代，企业所拥有的数据集合规模及数据的分析和处理能力决定着企业在市场中的核心竞争力。
因此通过数据分析进行决策渐渐成为新的分析理念，例如，在支付宝上进行对电影票房的投资，这些投资通过对导演往期作品和演员的表演张力，及投资方的选角等数据进行分析，预测电影的票房，选取投资可获利的电影，进行票房投资，从而获取票房分红。我国的石油油田根据地震技术的收集数据，进行科学统一规划的分析处理，形成对地下油田的分析建模，能够有效直观地展示地下油藏的分布情况，从而选择油井的开采点。中国人民银行通过对人民币汇率的涨幅，进行数据分析，来制定符合中国国情的外汇货币***策，对货币进行宏观调控，这能够有力的保护人民币升值时，在国际贸易市场中国进出口贸易所面临的压力。在大数据时代背景下，通过直觉和经验进行决策分析的优势不断下降，在商业、***治及公共服务领域中，通过对大数据进行数据分析从而做出符合时代背景的决策，已成了目前的潮流。
2数据分析理念及方法
（1）数据分析要引入统计学思想。在大数据时代背景下，传统的抽样分析已经并不适用于对大数据的分析中，在大数据时代应当要转变思维，转变抽样思想，样本就是总体，要分析与某事物相关的所有数据，而不是依靠少量数据样本，这样才能够在最大限度地明白事物发展变更过程，能够对数据所表露的信息进行更好地处理［1］。要更乐于接受数据的纷繁芜杂，不再追求精确的数据，这并不是说其严谨性降低了，而是往往不起眼，不符合常理的数据更能够反映实际的情况。通过对数据网络之间的联系进行分析，不再探求难以捉摸的因果关系，通过数据的分析处理更能够反应数据的变更。这些想法都与统计学相关通过所收集的数据，进行有效的分类处理，能够更好地反应事物的变化，更有利于做出决策［2］。
（2）数据分析流程。在实际的数据分析过程中，因大数据贯穿区域较广，在地域和行业之间穿插交错，颠覆了传统的线性数据收集模式，而形成了颠覆传统的、非线性的决策基础，这种决策方式要求我们通过对数据进行收集，将各行各业所收集的基本信息，转化为数据，将数据经过初步的整合分类，做出符合当地当时的数据信息，将数据进行深层次的技术处理，将处理过后的信息化为知识，运用到实际的决策中去。在大数据时代，数据的积累并不会贬值，而且还会不断增值，为了更全面、深入地了解研究对象，往往需要对数据进行整合，这就使得数据的积累尤为重要。
（3）数据分析对统计学的意义。在大数据时代背景下数据分析理念能够有效地对数据流进行合理地分类处理，进行科学的统计行为，统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，这就意味着所有有用的数据信息均来源于数据分析处理之后的结果。大数据的数据分析理念扩宽了统计学的研究范围，而不仅仅只是实现数据的对比，而是从根本上丰富了研究的内容，如：一些实时性需求会用到EMC 的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop，满足大多数常见的分析需求，对传统的统计工作有着四个转变。统计研究过程的转变，使统计过程成为收集与研究。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，统计研究工作思想的转变，数据的收集不断增加，信息的录入不断升级，其对系统资源，特别是I/O会有极大的占用。这就使得能够更好地进行数据分析处理决策［3］。
3数据分析过程中注意事项
3.1数据分析要明确变量
将数据收集进行处理是为了明确市场中的某一个变量意义，这就使得在进行数据分析的时候要能够明确地找寻变量存在前后所发生的变化，通过数据对比可以知道该变量在大数据的市场中所存在的影响因素。是否对市场有着风险或有利于市场的开发利用，能够在数据分析后做出合理决策。
3.2统计中不再追求精确的数据
大数据时代下，数据的不精确性不仅不会破坏总体信息可靠性，还有利于进行剥丝抽茧，从而了解总体情况。大数据时代，越来越多的数据提供越来越多的信息，也会让人们越来越了解总体的真实情况。错综复杂的数据能够反映数据之下到底是泥潭还是机遇。数据之间传递的信息良莠不齐，如果要一一追求准确性不利于统计工作的开展，因此可以将个别的异常值剔除。大数定律告诉我们，随着样本的增加，样本平均数越来越接近总体，这就使得样本与总体的差异性很小，更加符合实际情况。
4结论
综上所述，大数据包含结构内外的海量数据，随着云计算平台进行大规模收集处理，通过建立数据库的手段，对数据分流，使用数据挖掘等方法进行处理、分析，使得所数据结果更加符合显示状况。数据分析理念是通过阐明存在于世界、物质、感官享受上的复杂网络关系，从而做出符合时代背景的分析决策。
参考文献：
［1］维克托·迈尔·舍恩伯格，肯尼思·库克耶.大数据时代：生活、工作与思维的大变革［M］.杭州：浙江人民出版社，2013.
大数据分析篇3
【关键词】大数据时代 数据分析 信息安全防护
随着我国网络信息技术不断的发展，当下时代已经成为大数据时代。以往大数据的概念主要存在于物理学领域、生物学领域、生态环境学领域、***事领域、金融领域、通讯领域等，而当下网络和信息业的空前发展使大数据引起了人们的关注。数据信息已经渗透到社会的各行各业，人们通过相关数据信息的发现和利用，可达到增加生产率和市场消费率的效果。但大数据技术收集信息软件给网络用户的隐私带来了问题，网络私人信息的安全防护遭到威胁。因此本文对大数据时代的数据分析与信息安全防护做出相关研究，研究内容如下。
1 大数据概述
大数据主要是指使用常规软件工具无法在规定的时间内对网络往来信息进行捕捉和管理以及处理。大数据时代的主要特点为5V，即数据总量大（Volume）、类型繁多（Variety）、价值密度低（Value）、速度快、时效高（Velocity）。大数据的初始计量单位为P（P=1000T）、E（E=100000T）、Z（Z=10000000T），数据量庞大，其种类包括网络文字信息、音频信息、视频信息、***片信息以及地理位置等，数据种类丰富对数据的处理能力也提出了较高的要求。在大数据中，虽然信息量大，但可利用的信息是有限的，因此，大数据价值密度较低。大数据相对于传统数据而言，需要人们更强的处理信息的能力和速度，对人们的数据驾驭力量提出了挑战。大数据在影响着人们生活方式的同时，还影响着各个行业的发展，大数据的出现也使信息安全面临着一些问题。
2 大数据时代数据分析概述
2.1 抽样量化
在大数据时代，样本就是总体本身，因此在分析某事物的过程中，不需依靠少量的数据样本，而是得到全部的数据。传统的抽样有样本缺乏稳定和随机抽样困难的情况，且在事先设定好了调查目的往往会使调查内容和范围受到人为限制，调查过程中的侧重点也导致抽样数据无法反映总体情况。另外样本量的有限也使抽样结果缺乏精确性，致使错误率的增加，同时传统抽样时间效率和生产率低。
2.2 数据模糊计算
在大数据的影响下，人们接受数据较为繁杂，数据精确性减弱。有数据规模庞大，因此对数据追求精确性的可能性较小，测量数据和调查数据都会因为一些不可控的因素或认为因素致使数据精确性欠缺。大数据时代获得的数据量多，但不精确的数据也在其中，因此对待大数据应该看到其有利方面。数据的不精确也有利于对事物总体的了解，样本的增加使信息更为真实。大数据的不精确是不经意产生的，因此，在需要精确数据的领域还是需要避免不精确性的发生。
2.3 利用数据关系
关注事物的相关性，而不是只追求因果。传统抽样中会预先假定因果，但在大数据时代，数据的复杂和庞大，会导致因果关系复杂化和分析因果复杂化。因此，大数据不不利于追求因果关系，而利于事物相关关系的追求。大数据对数据的分析思路为分析数据相关性，事物关系之间的形式多样化，关系和目的也是根据数据的变化而变化，没有相对较为固定的因果和亲疏关系。
大数据所提供的价值可以让人们预判自己所想知道的事情，比如华尔街利用网络民众的情绪变化进行抛售股票；基金公司根据对购物网站顾客的评论来分析产品销售情况；银行根据网络求职的岗位情况判断就业；投资机构从大数据中查找企业破产的前兆；美国总统团队根据社交软件分析选民喜好。以此可以看出在大数据时代，可利用的数据信息对利用者而言十分重要。
3 大数据时代面临的信息安全问题
3.1 信息安全风险
由于大数据的特点之一为存储信息较为广泛，对信息安全性有一定的影响。大数据信息海量存储技术的成熟降低了信息存储的成本，因此大数据信息处理量显著增加，处理中心分析信息也变得更加容易。大数据信息中心可以根据终端网络用户的行为信息进行分析，然后将结果提供给信息利用者，分析搜索的商品后向你推荐所感兴趣的商品。在移动互联网，终端用户信息被随时采集和存储，造成了信息安全风险。
3.2 个人隐私泄露
有一些网络企业会对网络终端用户的隐私进行搜集。为了赢得市场竞争优势，用户信息成为了企业的发展根据。比如一些智能手机软件会在用户不知情的情况下，对用户使用软件的时间、地点和位置进行信息记录，发送到软件服务器，暴露用户的个人隐私泄露信息。
3.3 安全防护难度
大数据时代由于非结构化的数据类型多、价值密度低，信息量庞大，因此对安全防护技术要求较高，目前我国防护技术还未能够处理大量和多类型的数据，因此数据防护难度系数较高。
4 数据时代面临的信息安全问题的应对措施
4.1 安全技术研发
目前大数据需要能够处理大量和多类型的数据分析技术，以主动发现大数据中潜藏的威胁，比如利用信息丰富开发认证系统技术或建设数据真实分析系统，将恶意信息和无用信息排除在外。
4.2 制定个人隐私泄露保护法律法规
由于大数据是新生事物，因此相关的法律法规存在空白。网络上违法的数据信息行为需要有强制和高效的规则对其进行规范，以保护个人信息的合理利用性。
4.3 提高民众信息安全认知
大数据来源于民众，因此提高民众的信息安全意识，可有效防范数据信息面临的信息安全问题，从而起到维护个人隐私泄露、避免负面影响的作用。
5 结语
综上所述，大数据时代数据分析与信息安全防护具有重要意义，当下网络和信息业的空前发展使大数据引起了人们的关注，数据信息已经渗透到社会的各行各业，数据分析使人们受益匪浅。但大数据技术收集信息软件给网络用户的信息安全带来了问题。比如信息安全风险、个人隐私泄露、安全防护有难度等，本研究作者经过多方面思考提出提高安全技术研发程度、制定个人隐私保护法律法规以及提高民众信息安全认知的解决意见，以促进大数据时代信息安全性的增加。
参考文献
[1]田秀霞，王晓玲，高明等.数据库服务――安全与隐私保护[J].软件学报，2010，21（5）：991-1006.
[2]刘小龙，郑滔.一种针对非控制数据攻击的改进防御方法[J].计算机应用研究，2013，30（12）：3762-3766.
[3]李峰，李虎成，於益***等.基于并行计算和数据复用的快速静态安全校核技术[J].电力系统自动化，2013，37（14）：75-80.
大数据分析篇4
摘要：随着大数据时代的来临，企业的财务分析活动也出现了一系列变化。而财务数据分析作为企业财务分析的重要组成部分之一，其分析结果的准确度直接影响着财务管理水平。在大数据时代，财务分析等同于大数据分析。本文主要研究了财务分析与大数据时代的关系，并阐述了财务分析未来的发展方向。
关键词 ：大数据财务数据财务分析资产
1 概述
财务分析最早起源于二十世纪，至今已有一百多年的发展历史，并初步形成了相应的分析管理体制。财务分析具有很强的时效性，其分析内容应随着经济环境的发展变化而及时改变。随着知识经济时代的到来，大数据被广泛地应用至各个领域，如保险、医疗、信息、航空航天等行业，并取得了良好成效。在财务分析中，大数据技术以其大量化、多样化、快速化优势受到了财务管理人员的一致好评，一方面它极大地提升了财务数据分析和处理的能力；另一方面还提高了财务管理的质量和水平。
2 财务分析与大数据时代
在西方，财务分析已经产生发展了近一百年的时间。但在我国，财务分析只有近十年的历史，各方面还有待进一步改进和完善。自我国改革开放以来，财务分析已受到越来越多企业利益相关者的重视，许多会计专业的相关学科也都增加了财务分析的模块。
所谓财务分析，就是指按照一定的专业方法对会计核算资料和报表资料等进行分析，从而准确评价和考察其经营活动、投资活动、分配活动、盈利能力、偿债能力等的财务活动。财务分析可以为企业的投资和经营发展提供良好依据，使其投资人、经理人、债权人等更好地了解企业的发展历史，并预测其未来发展方向，从而做出科学的决策。
会计技术是制定财务报表的基础和前提，财务报表则是财务分析的基础。管理者可以通过财务分析了解和掌握企业的运营状况，进而制定行之有效的管理制度和***策。财务分析的最终目标是使财务管理人员了解过去的经营业绩和当前的财务管理水平，从而进行科学决策，推动其财务管理的可持续发展。因此，会计技术的发展影响和决定着财务分析的产生与发展。这是一个信息化的时代，云平台如火如荼的进行，大数据概念又横空出世。与云类似，大数据起始于信息化，繁兴于物联网以及社交网络等，因此也带有很浓的互联网口味的技术“迷失在太空”的经历。互联网时代，企业注定是要遭遇一场“数据大爆炸”，尤其是大型公司和互联网公司在经营过程中产生大量的、各种各样的数据，数据量越来越大、数据类型越来越复杂、数据增长速度越来越快。概括来说，大数据除了具有庞大的特点以外，数据变化速度快，种类繁多，较高的准确性也是其主要特征。伴随微博、微信等网络媒体的快速发展，及媒体时代的来临，互联网中无时不刻都在产生大量数据，大数据时代来临已经成为了不可逆转的趋势。这给传统的数据仓库数据处理和分析技术都提出了巨大挑战。
最早提出“大数据”时代到来的是全球著名咨询公司麦肯锡。究出其本质，大数据与其说是一门技术，不如说是新环境下海量数据价值发挥的方法之一。传统企业的财务分析可利用这种方法，去进一步发挥作用。大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、整理成为帮助企业经营决策更积极目的的资讯。在《大数据时代》中大数据指不用随机分析法这样的捷径，而采用所有数据进行分析处理。大数据的4V 特点：大量、高速、多样、价值。
“大数据”在物理学、生物学等领域以及金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算之后IT 行业又一大颠覆性的技术***。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是最终有价值的资产。一个文化系统可以分为制度、技术和观念三个层面。文化系统的发展经历了制度主导和技术主导两个时期，如今世界正在走向观念主导的新时期发展，各民族文化通过互联网正在不断融合，从文字、服饰到生活方式，民族之间的区别正在逐步变小，在大街上，坐在饭馆里，已经不能很快分辨出不同的民族。大数据时代，需要继续保持传统文化的***性，就是要让我们的社会和数据打上文化的烙印，要建立属于我们的数据体系系统。
目前，大数据的应用已经渗透至我们生活的方方面面。例如每天，阿里巴巴网站上都会进行大量交易，并产生大量数据。而阿里巴巴可以通过分析商户近100 天内的交易数据和管理信息就可以判断出商户是否存在资金和管理问题，并分析其交易风险系数。一旦做出科学判断，阿里巴巴就会正式启动其贷款平台模式，并积极与可能会有贷款需求的商户进行交流与沟通，并向其介绍阿里巴巴的具体贷款产品，综合分析其贷款倾向。又如，随着微信的兴起和发展，人们的学习生活方式也发生了相应的改变。据统计，每天都有超过几亿人使用微信进行交流互动，通过其记录心情和生活。每天人们都会在微信平台上分享***片、文字、声音、视频等，这就使得平台上充斥着大量的大数据。再如某综合类网站的编辑每天都要考核网站的访问量，并密切关注热点新闻。受此影响，在日常生活中该网站编辑逐渐养成了搜索新闻和风云榜的习惯，并找出一些新颖的新闻内容进行编辑整理并及时至网站上，以提高其点击率。常见的搜索引擎，如百度、谷搜狗等每天都会录入海量词汇，并进行对比分析，选出一部分网民可能感兴趣的词汇进行整理，以更好地满足网民的搜索需要。
以上都是当下大数据的应用，随着大数据的发展和进步，它会在不久的将来得到应用。
一项针对大型跨国公司高管进行的调查结果显示，目前企业中约有超过三分之二的管理人员肯定数据的价值和作用，并将其视作企业发展的无形资产，要求企业妥善利用。这就显示了，在大数据时代企业越来越认识到数据本身价值和从数据中得到价值二者之间的差异，要求进一步深化财务管理体制改革，积极运用各项信息化手段进行财务管理，不断提升其数据分析和处理能力，以更好地适应信息时代的企业财务管理需求，从而有效地增加其竞争优势。数据的分析和利用受各方面因素的影响较大，其分析难度较大，且过程较为复杂。因此，企业必须充分利用手头现有资源加强财务数据管理，不断提升其数据处理和分析能力，保证数据价值的充分发挥，实现其决策的科学化和信息化。
举个例子，保险公司的汽车险，员工可以通过搜罗数据，得到车主的驾车习惯是否良好，驾车时间和路段是否安全，停车的车库的环境等数据，进而降低驾车风险低的车主的保险费用，提高风险高的车主的保险费用，这样便从一定程度上增加了保险公司的收益，保证保险公司的利益。销售公司可以从客户的家庭水电费，煤气燃气费的消费情况，使用的手机，电脑，车子的型号，以及经常出没的餐厅，娱乐场所等信息收集，从而更加了解客户的生活水平，以便日后推广什么水平程度的产品。
要想更好地提升企业的财务管理能力，企业就必须进一步明确财务分析和大数据的关系，统筹兼顾，实现资源的优化配置。众所周知，财务数据是企业最基本的数据之一，其积累量较大，其分析结果直接影响着企业财务管理的最终质量。因此，企业在进行决策分析时，必须坚持客观公正原则，以财务数据为基础，制定明确的分析指标和依据，以保证企业财务管理的平稳推进和运行。
在进行财务分析时，财务管理人员首先应该查找和翻阅当期的管理费用明细，并将其与前一阶段的数据进行对比，找出二者的主要差异，从而找出管理费用的变化规律，最终得出变化原因。在进行原因分析时，财务管理人员可以建立一个多维度的核算项目模型，并在模型中做好变化标记。在整个分析过程中，财务人员往往要花费大量时间用于管理费用核算与验证，同时查找相关资料。在财务软件中，上述系列动作要切换不同的界面。而如果利用大数据技术，只要通过鼠标的拖拽，就可以在短短几秒钟内分析出所有管理费用明细发生在每个部门的情况。
对于企业的决策者而言，通过对财务信息的加工、搜集和深度分析，可以获得有价值信息，促使决策更加科学合理。
3 小结
随着我国社会主义市场经济体制的不断发展完善，大数据技术改善财务管理前景广阔。纵观目前的大数据提供商，主流商务软件厂商都在通过自主研发或收购的方式进入大数据的领域。数据属性的标签是人类经验判断的数据，是数据后的数据。例如，你要为一件物品打标签时，其实就已动用了你的经验数据分析，并进行了归纳总结，结合现下的环境给出了判断。若没有考虑环境影响及准确性的评估，这种经验和直觉的判断是不稳定又难以解释的。但从数据收集的角度去看，数据属性标签又是一个潜力很大的数据。在数据属性管理上，对于用户来说，每个人身上贴的标签是多种多样的，但对于企业来说，如何用一个点去将之串联，如何将这些标签归一，又如何把这些点连接起来去描述这个用户，才是核心问题。
参考文献：
[1]陈友邦，张先治.财务分析[M].东北财经大学出版社，2007.
大数据分析篇5
关键词：统计分析 知识经济 核算 信息 质量
中***分类号：F275.5
文献标识码：A
文章编号：1004-4914（2014）10-277-04
如果说IBM的主机拉开了信息化***的大幕，那么‘大数据’才是第三次浪潮的华彩乐章{1}。2014 6月19日，我国了首个大数据交易行业规范――《中关村数海大数据交易平台规则》（征求意见稿），数据交易产业发展，希望加盟企业能盘活数据资产，提高自身的创新效率，实现更好的转型升级。乐观的估计是，预计到2016年，中关村大数据对产业的带动规模将超过1万亿元{2}。这是我国大数据产业发展与世界同步的一个显著成果。
《统计法》第二条规定：统计的基本任务是对经济社会发展情况进行统计调查、统计分析，提供统计资料和统计咨询意见，实行统计监督。笔者认为：IT技术的发展，尤其是计算机、互联网、云计算技术的发展，使大数据的产生、交换、应用十分便捷，国家***策为大数据产业化应用提供了制度保障，在大数据时代，体现统计服务和统计监督，重视自动化和智能化运用前景，应突出数据挖掘的***分析处理（OLAP）和可视化编程的特点，创造性应用统计理论开展统计工作，才能提高信息化社会知识经济时代的统计工作质量，才能推动大数据时代的大统计健康发展。
一、理论综述
1.计算机技术的发展。计算机系统，主要是满足经济、科技、国防等领域存在一系列复杂、大型的问题对科学计算方面的需求。1946年，世界上第一台程序控制的电子计算机（1945年，被数字计算机之父，约翰.冯.诺依曼称之为“电子离散变量自动计算机”）研制成功，应用于科学计算。2013年，由国防科大自主研发的“天河二号”，再登全球超级（运算能力超强）500强榜首，而且我国在全球超级500强的占比为12.6%，是世界上第二大高性能计算机使用者{3}。表明我国的计算机技术处于国际领先水平。
通过计算机（包括智能家电等）进行事务处理，需要需要编写相应的计算机程序，达到可视化要求，才能方便人机对话，产生数据结果。IT技术，包括电子信息处理技术、通信技术、计算机技术、电子科学与技术，迅猛发展，为我国大数据时代的大统计发展，奠定了全球领先的技术基础。
2.商业互联网的发展。1969年，美国***研究计划管理局开始建立一个命名为ARPANET的网络，普遍认为这就是 Internet的雏形。1990年代初，商业机构开始进入Internet，开始了商业化的新进程，成为Internet大发展的强大推动力。
1994年4月，中国开通了国际INTERNET的64KBPs专线连接，设置了中国最高域名（CN）服务器，使中国真正加入了国际MTERNET行列。1995年5月，开始商业应用阶段，原国家邮电部开通了中国公用INTERNET网即CHINANET。
1995年8月24日，向全球发行的Windows 95，在市场上绝对是成功的，在它发行的一两年内，成为有史以来最成功的操作系统。后来的Windows 95版本附带了Internet Explorer 3，被集成到操作系统，被用来给系统的桌面提供HTML支持，使国际互联网的运用得到广泛普及。
也就是说，上世纪90年代初，国际上商业机构开始进入Internet；1995年，国家原邮电部开通了中国公用INTERNET网；以及Windows 95操作系统（包括集成的Internet Explorer）的广泛运用，使得1997年，中国网民超过62万人，1997年也被称为我国商业互联网元年，或者说，中国的数字化生存{4}元年。
当初的万“维”网，就是为了增加人们提高认识的角度（维度）。例如，谷歌和百度搜索引引擎的未来发展，就提出移动时代的搜索需求开始变得多元化，***片和基于自然语义理解的多种搜索形态并存，对搜索技术提出了更高的要求{5}。“语义网（Semantic Web）”，也称为下一代互联网，实际上就是“数据网”（Web o Data），是一个全球的数据库网，在这个数据库网中，计算机可自动为用户搜寻、检索和集成网上的信息，而不再需要搜索引擎。大数据时代正在催生的这个最大的技术变革，就是要重新构造互联网，打造出下一代互联网。
3.从电子商务到云时代。1995年，IBM提出“电子商务（e-business）”战略理念。2002年，IBM又适时地推出“电子商务随需应变（e-business on demand）”战略理念。2008年，正式提出“智慧地球”（SmartPlanet）战略理念。2009年1月，“智慧地球”成为美国国家战略的一部分。
2008年11月2日，微软（中国）有限公司宣布，由苏州工业园区、微软公司、江苏风云网络服务有限公司三方打造的SaaS（软件即服务）服务平台――风云***正式启动，只要通过SaaS服务，就可以通过互联网购买和使用软件服务；同时，微软推出的云计算服务Windows Azure，允许各种类型的企业租用微软的数据中心来进行数据处理和软件运行。表明“云计算”已经逐步走出概念阶段，走入初期使用阶段。大数据的概念，迅速得到IT界的热捧。
2013年5月22日，微软宣布与世纪互联合作，成为第一个落地中国的国际云计算企业。2013年7月31日，IBM宣布与首都***合作落地，将IBM顶级的云计算基础架构服务SCE+（SmartCloud Enterprise+）正式引入中国，开启中国企业享用高价值托管私有云服务。2013年12月18日，亚马逊公有云服务AWS宣布，其中国区域云计算平台服务开始有限预览。通过与产业链上的广泛合作，全球最大的云服务提供商――亚马逊的公有云服务，正式落地中国。鉴于谷歌暂时难以重返中国市场，标志着中国外资公有云市场亚马逊、IBM、微软三足鼎立的格局基本形成{6}。
对此，IBM大中华区云计算总经理陈国豪（2014）认为{7}：拥抱云时代――云计算驱动业务前行；传统产业模式正在发生一场***，新的业务价值驱动了云计算的使用。
所以，云时代，企业信息化、电子商务的实现，需要企业、云服务商、产业行业、社区***务、国际化等整个社会、整个生态链共同来实现，才能实现生产业的创新发展，改进人们的生活方式。
4.大数据时代。2010年，被誉为“大数据时代的预言家”的维克托・迈尔-舍恩博格在《经济学人》上了对大数据应用的前瞻性研究。尤其是在大数据变革方面，他表达了大数据带来的三大主要思维变化：不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系{8}。
2011年5月，麦肯锡全球研究院了名为《大数据：创新、竞争和生产力的下一个前沿》的研究报告，报告中指出大数据将成为企业的核心资产，对大数据的分析将成为竞争的关键，并会引发新一轮生产力的增长与创新，对海量数据的有效利用将成为企业在竞争中取胜的最有利武器。通过对大数据的合理使用可以使零售业的经营利润提高60%以上。麦肯锡的报告发出后，大数据的概念迅速得到各国***府、国际产业界的高度关注。
2012年3月，美国奥巴马***府发起了《大数据研究和发展倡议》，将大数据定义为“未来的新石油”，称将斥资2亿美元用于大数据研究，以应对大数据***正在带来的大机遇。据美国咨询机构Gartner预测，从现在起到2015年，大数据将会在世界范围内创造440万个工作岗位。6个联邦部门和机构将新投入超过2亿美金推动大数据提取、存储、分析、发现等领域技术与工具的发展。同时奥巴马***府号召面临挑战的行业、科研院所与非盈利机构和***府携手，共同迎接大数据所创造的机会。
2012年，以ERP应用软件系统为基础，向云管理转型，是金蝶公司清晰的战略方向――利用社交网络、移动互联、云计算这三项新兴技术，帮助客户进行云管理转型。另一巨头用友软件，也在5月宣布基于新型的云计算及移动互联网模式进行业务转型{9}。
预计2013年至2025年，互联网将有可能在中国GDP增长总量中贡献7%到22%。传统企业转型为数字化企业可能是一个颠覆性的过程，这将改变从企业文化到战略、流程、组织乃至外部合作等诸多方面{10}。截至2014年上半年，网民上网设备中，手机使用率达83.4%，首次超越传统PC整体80.9%的使用率，手机作为第一大上网终端的地位更加巩固{11}。IMT-2020（5G）推进组认为：移动互联网和物联网是未来移动通信发展的两大主要驱动力，将为5G提供广阔的前景{12}。
被誉为下一个社会发展阶段的‘石油’和‘金矿’的大数据（big data），将掀起精细化的管理***和竞争，充分利用数据分析技术将是企业制胜的关键{13}。大数据成为新经济的生产要素和资产，GDP核算，它的资产，它的投资都会把软件和数据利用起来{14}。
如果说，“买不如租”是云计算发展的基本理念，通过互联网接入，租用云计算平台的计算能力和存储空间，促进了生产性现代服务业的发展；大数据分析技术的使用，则需要使用者更高水平的对技术方法的选择。因此，信息化社会知识经济时代的统计数据分析技术，将得到普遍的重视；重视大数据运用，提高统计工作质量，将推动大数据时代的大统计发展。例如：大热门产品的总利润，同冷门产品―长尾产品―的利润总和相等{15}。互联网上无穷大的货架空间，使得“长尾”式多样化的产品销售成为可能。这正是知识经济不同于工业经济的特点，80%的利润由20%的实物产品创造，是视稀缺为常态的反面，知识经济的最大特点在于要素的边际投入成本递减趋零，可以更好地满足不同的需求并且开发出潜在的需求。
5.中国式去IOE{16}。所谓去“IOE”，是对去IBM、Oracle、EMC的简称，三者均为海外IT巨头，其中IBM代表硬件以及整体解决方案服务商，Oracle代表数据库，EMC代表数据存储。
去“IOE”策略更广泛的理解是对一些核心领域，要求其IT系统及设备做到自主可控，比如金融、电信、能源等领域。
去“IOE”，起源于2010年，阿里巴巴集团实施技术架构调整，历时3年，经过1.7万名内部技术人员的努力，原来只需要上百台小型机的系统，被替换成1.5万台x86服务器，以开放式的内部数据管理系统来取代IBM小型机、Oracle数据库与EMC存储设备的封闭式管理。由技术转换、商业变迁和信息安全担忧共同驱动的大裂变正在发生，2014年5月27日，中国气象局与阿里云达成战略合作，共同挖掘气象大数据的深层价值；海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”。这是中国国家部委首次采用民营科技公司提供的云计算和大数据服务{17}。
（1）技术转换。例如阿里巴巴集团，将采用POWER7+芯片的IBM的Power系列“小型机”UNIX 服务器，更换为使用英特尔的“至强”系列芯片的国内曙光、浪潮的“PC服务器”。提高了IT设备的国产化程度。生产“至强”系列芯片的是英特尔，英特尔继续保持世界超级计算机TOP500中提供处理器的最大份额，占了其中的82.4%{3}。
2013年，英特尔公司提出了“重构数据中心”的口号。按照软件定义的数据中心的理念重构数据中心，使计算和网络很明显地将从封闭走向开放和标准化，服务器更多地采用IA架构，而软件定义网络的一个基本思想就是，在IA架构服务器上通过软件实现网络的功能。在存储新技术方面，除了闪存以外，英特尔也会持续关注数据加密、数据压缩、重复数据删除等{18}。
（2）商业变迁。云计算技术，是大数据应用的支撑。出于安全方面的考虑，开放、分布，更适合于“改购为租”的云计算平台营运的特点。
（3）产业化和信息化。上世纪60年代中期，英特尔创始人之一戈登・摩尔提出来的“摩尔定律”，揭示了信息技术进步的速度，对信息化社会进程产生了巨大影响。上世纪90年代中期，微软创始人比尔・盖茨预言：商业银行将成为21世纪的恐龙。
2011年10月19日，国家商务部新闻发言人沈丹阳表示{19}，淘宝商城事件的根本原因在于，目前我国网络管理的法律基础薄弱，网络零售领域法律缺失以及监管体系的不完善。
互联网金融是以互联网为资源平台，以大数据和云计算为基础的新金融模式{20}。在国家层面的顶层设计一脉相承的是，将互联网金融定位为“传统金融的补充”{21}。
发展表明，把自身的运作与发展植根于互联网之上，才使得中国商业银行进入21世纪以后，不仅没有成为恐龙，而且还普遍迎来了繁荣发展的黄金时期{22}。据金融信息提供商SNL Financial报道{23}，中国拥有数量最多的大银行，全球100强中有14家总部设在中国。接下来是美国，拥有十家在全球排名前100的大银行。显然，将非核心业务，外包给可以提供相应非生产性现代服务业的企业，专注提高企业自身的核心业务竞争能力，可以提高企业的专业化经营水平和规模。
二、大数据统计分析
1.大数据的定义。所谓大数据（big data），它是指大量以文字、***片、视频等形式存在的非结构化和半结构化，***到关系型数据库中无法透过传统架构的信息系统工具挖掘的资讯数据{24}。
完整的商业智能流程：从各种来源的关系型数据库出发，提取、转换和整合，将数据输入数据仓库；锁定目标数据，得到目标分析数据；构造联机分析，形成多维立方体；挖掘数据，发现的模式和规律；进行评价、检验，得到知识（经验提炼）；进行可视化设计，得到可视化***表。
对于结构化的数据，有统一结构和格式，便于分析和处理；对于非结构化和半结构化的数据，还涉及到自动化出处理问题，将各类数据“录入”存储设备的数据库中，例如，ORACLE WEB DEVELOPER SUITE，基于LAN的数据库具有WEB能力。
2.统计分析方法的应用。结合可视化***标的最终目标，在量化时，首先将“最终目标“所涉及概念操作化，将每一个概念的范畴、亚概念，具体化为变量、解释变量和虚拟变量。
采用文献法中的内容分析法{25}，将文字的、非定量的文献某种程度地转化为定量数据。采用测量层次分类法，确定不同的测量尺度，则某些性质的内容就变成可测量和可进行数学运算，提高分析结果的客观性。
对变量之间的相关关系、因果关系、虚无关系进行判断。对“不是因果关系，而是相关关系”{8}进行定量的评价。形成有限多变量的数据。
多维度分析，主要基于“分组标志”的统计分组和分布数列整理，得到分组数据、数据结构，展开相关性分析，采取消元降维技术，在相关性分析的基础上进行（多元）回归分析和时间数列的预测分析。对非线性变化进行判断，数据拟合，进行拟合优良的数理趋势模型选择。
确定效标，评价效度和信度。对已转化为数据库中的数据，可以采用特殊相对数形式，指数化，进行因素分析；可以进行统计检验，进行显著性分析。
采用统计学***表学派的观点，用几何***形来显示结果，甚至可以达到3D效果。
3.数据库挖掘技术的应用。数据挖掘，大数据的管理，OLAP***分析处理，是一种允许用户从数据库中提取数据，并将信息转换为商业决策中可以使用的信息的方法。从海量数据中挖掘不为人知、无法直观得出的结论。注重数据内在联系，数据仓库组建，分析系统开发，挖掘算法设计，甚至很多时候要处理原始数据。可以采用的使用工具，包括海量数据库如Oracle、分布式计算Hadoop、编程语言C++，Java等，也有可能会用到第三方挖掘工具，如国内外股票（期货）型基金公司使用的各种类量化分析软件。
4.统计软件的应用。由于可视化过程属于不确定型决策分析{26}，变量发生的概率，遵循等概率准则（拉普拉斯准则）进行，为分析过程提供可靠模型和结果检验，进行估计预测时，重视稳健性分析。比如说两个***样本等方差的t检验对等方差的假定是稳健的，就是说当方差是相同时，检验统计量服从精确的t分布；大样本方法也称为“渐近方法”或“近似方法”，因为它是基于统计量的渐近分布，有关的统计特性只是近似而非精确的。稳健统计本质上属于参数统计的范畴。
数据统计，专注于建模及统计分析，通过概率、统计、离散化等数学知识建立合理模型，充分发掘数据内容。常用工具如：SAS，SPSS、马克威。OLAP，是一个建立数据系统的方法，作为BI的延伸，对决策提供有力支撑。核心思想就是建立多维度的数据立方体，以维度（Dimension）和度量（Measure）为基本概念，辅以元数据，实现可以钻取、切片、切块、旋转等灵活、系统、直观的数据展现。这种思想可以被数据分析、数据挖掘多个环节采用，但需要采用科学计算理论论证后进行实践。
5.在全面质量管理中的应用。在质量管理发展史上，经历过统计质量控制阶段，而且在全面质量管理{27}的新发展过程中，也大量采用了数理统计方法。例如：六西格玛质量水平代表3.4PPM（百万分之3.4）的缺陷率。“稳健统计”和“马尔可夫过程概率模型”，就在六西格玛质量管理中有重要作用。基于数据和事实驱动的管理方法中，六西格玛管理一开始就澄清什么是衡量企业业绩的尺度，然后应用统计数据和分析方法来建立对关键变量的理解和获得优化结果。在测量阶段，需要采用大量的因果***（石川***，特征要因***或鱼刺***），用于揭示过程输出缺陷与问题或与其潜在原因关系的***，采用因果矩阵或者层次分析法（AHP），是一种有效的分析工具。在改进阶段，稳健参数设计（也称健壮设计、鲁棒设计），是工程实际问题中很有价值的统计方法。
6.“企业一套表”为核心的统计四大工程建设是重大统计***。2002年4月5日，在依照SNA1993国际标准制定的《中国国民经济核算体系（2002）》开始逐步实施之前，中国***府加入了国际货币基金组织（IMF）的“数据公布通用系统”（GDDS），使得中国的统计透明度进一步提高，被称为“统计入世”。
自2011年年报和2012年定报起，率先对全国所有“三上”企业和房地产开发经营企业的相关统计实施一套表制度；力争在“十二五”时期，对包括企业、事业、行***单位在内的所有统计单位全面实施一套表制度{28}。以“企业一套表”为核心的统计四大工程建设是重大统计***，目的是为了进一步提高统计数据质量。四大工程，就是统一的基本单位名录库中的法定调查单位，按照“企业一套表”规范的调查内容，采用统一的处理软件，将原始数据通过互联网报送全国统一的数据中心，实现各级统计机构同步可以接收数据，审核、共享原始数据，确保数据的真实、准确、完整和及时。
7.SNA2008、绿色GDP、包容性财富核算，必须通过大数据分析才能提高统计核算质量。当SNA2008推出后，2013年11月18日，国家统计局***宣布{29}，已经制定了修订《中国国民经济核算体系（2014）》的初步计划和初步框架。大数据的应用，将会提高SNA2008、绿色GDP、包容性财富相关指标的数据采集质量。
2009年2月，联合国统计委员会第四十次会议决定将SNA2008作为国民经济核算的国际统计标准，并鼓励所有国家尽可能以此为标准来编辑并报告其国民经济账户情况。受联合国统计委员会委托，联合国、欧盟、经济合作与发展组织、国际货币基金组织、世界银行等五大国际组织了《国民经济核算体系2008》（SNA2008）。
1993年联合国统计机构出版了《环境与经济综合核算手册》（SEEA），提出提出了生态国内产出（EDP）的概念，即绿色GDP。1995年，世界银行出版了《环境进展的监测》，正式提出了绿色GDP国民经济核算体系的概念，并首次公布了用“扩展的财富”指标作为衡量全球或区域发展的新指标。
2012年6月，里约+20地球峰会，联合国环境规划署（UNEP）联合其他机构（UNU，IHDP），在本次峰会上推出第一份全球《包容性财富报告2012》（InclusiveWealthReport2012），其中的“包容性财富”（InclusiveWealth）是度量经济可持续发展的新指标。
三、***策建议
1.加入GDDS，是公正透明统计发展的必然结果，有利于国际交流。***府主导，社会介入，重视大数据的应用开发，将为SNA2008、绿色GDP核算、包容性指标核算质量提高奠定基础。从法律的角度分析，被调查对象有义务配合***府统计工作开展，也有权利享有***府提供的公共服务产品――统计数据服务的有效供给。***府统计公告和，是被调查对象经营决策的重大宏观数据来源之一。
2.重视作为行***管理组成部分的***统计数据的统计质量提高的同时，也要重视规范民间统计、涉外统计活动对经济社会发展的影响，严格统计***，规范信息管理，及时适应社会发展的统计标准，应引起足够的重视。
3.在统计学的技术和方法方面，一方面，要求精确化，重视逻辑演绎，运用高超的测量技术，例如生化实验数据，再结合数学知识，重视数据挖掘，验证结论，例如药物的临床实验；另一方面，要求普遍性，重视逻辑归纳，应用全面的量化测算数据，实践从定性分析到定量统计的经验数据归纳，重视数据分析，使用分析结果指导进一步的实践，例如皮尔逊经验公式和索罗公式。因此，应重视以IT技术发展为基础，实现统计具体功能信息、咨询和监督功能的统一协调和产业化发展，才能提高统计的整体服务能力。
4.通过研究作为统计数据采集的源头（统计元）之一的大数据，使统计描述更为全面，统计推断更加准确，统计决策的自动化、智能化程度得到提高，将改善国民经济核算数据质量，推动科学发展观的实践。
因此，在全球低碳化掀起的第四次浪潮正在加速来临之际，技术进步、商业新业态，是高碳中国进行创新转型的难得机遇，大数据产业创新发展，应该引起足够的重视，包括理论重视、***策支持、法律明确、统计标准实施等，迎接大数据时代的发展。
注释：
{1}阿尔文・托夫勒著，黄明坚译.第三次浪潮[M].北京：中信出版社，2006
{2}韩琮林.我国首个大数据交易行业规范出台[N].北京：北京商报，2014.6.23
{3}杨辉，刘时良.“天河二号”再登全球超算500强榜首[N].广州：羊城晚报，2013.11.21
{4}[美]尼葛洛・庞帝著，胡泳等译.数字化生存[M].北京：中信出版社，1997
{5}小智搜索.巨头财报背后看分歧：百度向左谷歌向右[EB.青岛：IT之家网站，2014.7.28
{6}张霖云.计算中国争夺战：IBM亚马逊决战紫禁城[EB].北京：IT经理网，20131223
{7}陈国豪.IBM大中华区云计算总经理陈国豪：拥抱云时代 ――云计算驱动业务前行[EB].CSDN网站，2014.5.22
{8}维克托・迈尔-舍恩伯格，肯尼思・库克耶著.盛杨燕，周涛译.大数据时代：生活、工作与思维的大变革[M]杭州：浙江人民出版社，2013
{9}黄远.软件业陷亏损潮，金蝶用友借“云”转型[N].上海：第一财经日报，2012.1.18
{10}张家.麦肯锡：互联网将在中国GDP增长总量中贡献7%到22%[EB].北京：财经网，2014.7.28
{11}魏博.第34次中国互联网络发展状况统计报告（全文）[R].北京：中国发展门户网，2014.7.23
{12}OFweek通信网.5G愿景与需求白皮书：挑战不容忽视[R].深圳：通信网，2014.6
{13}涂子沛.大数据：正在到来的数据***，一技它如何改变***府、商业与我们的生活[M].桂林：广西师范大学出版社，2012
{14}樊明太.中国社会科学院樊明太：大数据与新经济的结合及趋势[R].香港：凤凰网站商业，2013.12.18
{15}克里斯・安德森著，乔江涛译.长尾理论[M].北京：中信出版社，2006
{16}封面文章.中国式去IOE[J].北京，2014（23）
{17}黄远.气象局与阿里云合作：国家部委首向民企采购云计算[N].上海：第一财经日报，2014.5.28
{18}郭涛.应用驱动数据中心变革.中国计算机报[N]，2014（3）
{19}沈丹阳.商务部：淘宝事件源于监管体系薄弱[N].北京：新京报，2011.10.20
{20}中国互联网金融发展报告（2013）[R].北京：中国网站，2014.2.7
{21}李德尚玉.解码互联网金融监管路线***[N].上海：第一财经日报，2014-07-30
{22}樊志刚，黄旭，胡婕.互联网挑战银行――谁是21世纪的恐龙[M].北京：中国金融出版社，2014
{23}Halah Touryalai著，陈玮译.全球银行100强：工行第一，美资银行无缘前五[R].上海：福布斯中文网，2014.3.12
{24}夏南新.继续教育专业科目课程讲义[G].广州：中山大学岭南（大学）学院，2014
{25}张彦.社会研究方法[M].上海：上海财经大学出版社，2011
{26}徐国祥.管理统计学[M].上海：上海财经大学出版社，1995
{27}马林.六西格玛管理[M].北京：中国人民大学出版社，2004
{28}国家统计局.关于实施企业一套表统计改革的通知（国统字〔2011〕95号）
{29}新华网.国家统计局将对现行国民经济核算体系进行修订[EB]，新华网站，20131118
{30}国家统计局网站
大数据分析篇6
大数据杀熟，冤枉
这声冤枉，主角冤枉。
有关“大数据杀熟”的话题火于3月份，起源于网友“廖师傅廖师傅”的吐槽：他表示自己经常通过某旅行网站订一个出差常住的酒店，长年价格在380-400元左，一次办理入住时了解到淡季的房费在300左右。他使用朋友账号查询，果然是300，使用自己账号依然是380。
这种事情，如果不是个例，引起“众怒”是毋庸置疑的。所以，衍生话题只会越来越多——怎样看待携程，滴滴等互联网公司利用大数据“杀熟”的行为？大数据“杀熟”，真的能带来利润吗？如何反制大数据杀熟呢？除了“杀熟”，大数据还做了哪些恶？
我将网络上关于大数据杀熟这件事的吐槽和指控，大致归了三类：以携程为代表的杀“熟”派，以高铁管家为代表的通“杀”派，以360为代表的“热心肠”派。
1. 杀“熟”派
典型行为如：购买机票、预定酒店、买电影票、线上约车。
平台针对这一类行为的典型“操作”有四种：
用户离开平台再进来，刚刚查过的机票或酒店会从有优惠变为无优惠；
随着用户消费次数的增多，对部分用户针对性的提升单价；
用户使用专车较多，快车单价被提升；
VIP用户的实际消费金额大于普通用户。
2. 通杀派
知乎匿名网友提到：xx管家显示票很紧张，抢票多次都无效，平台提示可以加价30元优先抢票，打开12306还有100多张票。其他网友也表示在使用其他购票APP时，也显示没有余票，但12306***显示票很充足。
这类产品的特点是：不论谁来，你需要得到一个结果付的钱都是一样的。但是，平台展现的是真是假就是另一回事了。
这里存在两种情况：
渠道商的问题，平台能拿到的数据是0；
平台制造票紧缺的情况，刺激用户付费抢票。
我们这里讲的是后者。
3. 热心肠派
这类产品典型行为是“帮”用户完成一些行为。
2017年12月，360水滴互助被爆私自“帮助”用户开通直播；
2018年2月，360快视频通过某些手段获取一批B站用户的账号、密码，并“热心”帮其注册快视频账号，并将这些账号在B站的视频“搬运”至360快视频，这批账号中有一个用户叫做“共青团中央”。
上述三种大类是完全不同类型的“欺负用户”，但是他们有一个共性的结果：平台获取的价值最大化。
对，杀熟的不是大数据，而是掌握大数据的人。技术只是个工具，它是没有是非观也是不能被利益驱动的。有是非观的、趋于利益的是大数据技术的使用者，杀熟的行为只是这些使用者对大数据的一个不良应用。
说个例子：2016年5月，Uber透露他们的算法人员可以读取用户的剩余电量，技术人员称：“电量信息已经成为用户对于高峰定价敏感性的最强特征之一。”
简单来说，当你手机即将没电的时候，你会更容易支付正常花费的1.5倍甚至更多。我认为这里最厉害的不是技术，而是心理分析。回到携程事件，它通过大数据分析用户对本次出行的期待程度，实现“价格歧视”，这是一种经济学理论啊。
所以，我们应该担心的不是大数据会不会越来越厉害，人工智能会不会取代我们，未来会不会是机器的世界。我们应该担心的是：这些前沿的技术以及越来越前沿的技术将会如何被利用。但其实，我们担心也没有用，因为谁掌握着技术谁才有绝对的驱动能力。
说大数据杀熟，冤枉
再喊一声冤枉，行为冤枉。
从表象来看：大数据“杀熟”是指同样的商品或服务，老客户看到的价格反而比新客户要贵出许多的现象。我相信「价格歧视的存在，也相信确实有商家对“老用户”的支付价格做文章。
但我们可以先讨论一个问题：为什么用户觉得大数据在“杀熟”？
声明一下立场：我遭遇过比新用户支付费用高的情况，但我也享受过新用户大额红包。因此，我会分别从产品的角度和用户的角度去看这个问题。
1. 产品角度
绝大部分产品对待新用户都是“讨好型”的，给的优惠也是最大的。
新用户在选择平台之前，是面临“选择”的。我们要做的是“帮”他做决定，让他看到我们不仅可以提供服务还让出了利润空间，从而提升用户对我们的选择几率。
用户是产品的生存之本，产品要存活、要发展，用户是少不了。很多电商平台，新注册用户可获取高额的组合红包，都是这个道理。
2. 用户角度
先说一件真实发生的事情：我和朋友A在HK的某家店准备结账，收银员询问我们是否有会员。朋友A有会员，此次消费被积了分；我没有，对方询问我是否要办一张，新注册会员有50元优惠券，本次消费就可以用。
可以看到，同样的商品，我支付的钱比老会员支付的少，不是商家“杀熟”而是“悦新”——为了让我成为他的会员，让了更多的利润空间。
道理放在互联网上也是一样的，老用户看到的价格贵，可能只被补贴了1%，新用户的价格低，可能被补贴了10%。只不过是商家把更多的利润留给了“取悦”新用户。
从以上两个身份去分析“杀熟”这件事，可以看到：企业把更多的精力和让利都留给了新用户，不是杀熟，而是悦新。
大数据分析篇7
大数据可能确实是一个网络行业热潮，但我们现在尚不清楚这项技术是否可以实现关键的信息到知识的过渡。所幸的是，网络管理员可以通过一些努力来穿过大数据炒作的喧嚣，把她当做改善网络运营的工具。
在网络中，大数据通常是指从标准管理系统和接口获取的大量流量、中继以及设备信息，这些数据是从部署在各个端点的探头以及从客户端及服务器设备中的网络层软件来收集。当这些数据放在标准管理系统接口框架中时，一些信息可能会反映出当前的故障、配置、结算、性能和安全(FCAPS)管理做法，但大多数公司不能将来自客户端/服务器设备的数据域当前的运营活动关联起来。而这正是大数据和大数据分析的“用武之地”。
有效利用网络大数据的最关键的因素是保证所有数据元素的精确事件定时。网络是关于事件的瞬间情况和并列，失去时间同步性意味着在分析信息时完全失去价值。如果所有数据收集都是从共同来源定时，就能够确保时间同步性。如果不是这样的话，你应该将同步化事件引入到大数据收集点，以在正则点关联所有记录的时间。
建立映射来查明网络问题
在保证事件的时间可以精确地关联后，下一步是在这个共同时间轴和网络问题之间建立映射。有关网络问题来源的信息可能出自当前的FCAPS过程、用户投诉或者客户端/服务器遥测。后者也可能有助于恢复体验信息质量，如响应时间，以及测量数据包丢包率和延迟性(例如从TCP窗口大小)的网络性能数据。这种映射允许大数据分析来探索这些问题点与问题第一次出现之前时的指标的关系。
这种类型的大数据分析能够帮助分析网络问题的根本原因，这往往是通过其他手段不可能做到的。由于网络环境变化非常迅速，管理员经常在追逐问题，从一个地方到另一个地方，然而，当问题发生时从来没能找到正确的原因。大数据分析可以将数千(或数百万)数据元素与已知问题点相关联，找出相关性，然后通过数据分析来找出根本原因。
确定正常运行情况
利用大数据解决网络问题的另一种策略是使用大数据得出正常网络环境的基本数据。如果上一步(映射问题点到大数据共同时间表)正确完成的话，我们将知道当没有任何问题时网络的情况。收集这些“运行良好”时期网络数据的分析将允许管理员确定什么是正常网络行为，并根据收集的数据量来量化这种“正常”。
然后，基线正常行为可以用来分析网络运营中不被视为问题的时段，但也不能完全确定是否是正常操作行为。经验丰富的网络管理员都知道，有时候网络会进入一种不稳定的状态，实际上并没有出现故障或者收到用户投诉。在网络、整体需求或者服务器资源状态中，也有这样的情况会影响网络运营。基线数据可以帮助找出造成这种状况的原因。
大数据分析可以帮助找到方法来修复网络环境
我们需要寻找这样一种行为，即分析表明网络环境未能生成问题报告时，甚至当它密切模仿一个问题时期。在这里，我们的目标是利用分析来探索是什么缓解了预期的问题；这可能改善你的根本原因分析或者提供其他方式来修复环境。
另一个需要检查的是资源如何受到网络事件、应用或服务器事件，或者用户流量负载的变化的影响。当这些方面发生显著变化时，网络应该以可预见的方式作出回应。例如，应用流量的显著变化通常会导致响应时间的明显增加，以及丢包率的上升等。
但如果这些行为发生时没有伴随流量的重大变化，则表明资源已经超载。同样，如果流量发生重大变化，而没有伴随响应时间或网络丢包的增加，也可能表明网络供大于求。在这种情况下，可以减少一些容量，从而帮助保护较低的运营预算。
只专注于可操作的情报
大数据分析篇8
【关键词】涉网犯罪；电子数据；取证；大数据；分析
随着科学技术的飞速发展，涉网类犯罪的数量也在急剧攀升，传统案件的诸多环节也已经与互联网密不可分。为了有效打击涉网类违法犯罪活动，固定违法犯罪证据，电子数据取证工作得到了前所未有的重视与发展。新刑事诉讼法已经明确“电子数据”作为证据类型。这为电子数据取证工作提供了法律依据。在日常工作中我们发现，传统单一的电子数据取证结果为案件提供的线索存在局限性，缺少关联性，如何利用大数据分析技术深入挖掘取证信息中隐藏的有价值线索，成为取证技术人员需要面对的新挑战。
一、涉网类犯罪特点
（一）犯罪主体的隐蔽性网络的开放性、虚拟性等诸多特点使得涉网类违法犯罪的主体具有较高的隐蔽性。多数的网络服务提供商及网站开办者的相关信息我们无法直接获取，普通群众很难得知网络服务对端的真实身份信息，加之涉网犯罪主体通常会通过各种虚假身份注册域名，租用主机，使用非法***管理远程主机开展涉网违法犯罪活动，这些都为侦查工作的开展设置了诸多障碍，因此涉网犯罪具有隐蔽性强的特点。
（二）犯罪手段的专业性、技术性涉网类犯罪的主体年龄分布通常较为年轻，这些人具备较为专业的网络知识、编程知识、数据管理等知识。在日常工作中我们发现，成体系的涉网类犯罪，如网络诈骗、网络、网络***等违法犯罪团伙的背后通常有专业性技术团队负责维护保障。这些技术人员普遍有着较好的技术水平且具备很强的反侦查意识。有的技术团队甚至采用最先进的技术搭建违法犯罪平台，不断提高的技术较量门槛对电子数据取证工作人员提出新挑战。
（三）犯罪证据的易失性由于涉网类违法犯罪活动都通过网络通讯实现，违法犯罪的证据几乎全部存在于网络空间及相关电子设备中，如服务器，管理终端，移动终端等，大量的数据分布在多个不同的电子设备上，违法犯罪人员对数据的藏匿及销毁极为方便，甚至只需要一条简单的命令，所有证据数据便可能被清空销毁，造成证据链条缺失，使得案件侦查陷入被动。因此，涉网类犯罪证据存在易失性的特点。
（四）犯罪链条的产业化涉网类犯罪已经存在多年，技术方法，组织形式都在不断变化。涉网犯罪逐渐形成清晰的产业链条，如在网络诈骗的各个环节中，出现了专业的分工组合，如“键盘手”主要负责网络聊天吸引潜在受害者、“话务组”主要负责开展语音呼叫，并按“剧本”开展诈骗活动、“技术组”专门负责诈骗平台的维护及数据管理，“骑手组”专门负责诈骗资金的提现工作等等，甚至在某些涉网犯罪活动中还存在“地下钱庄”的参与。这些不同的分工组合，产业化，模块化增加了案件线索的关联难度，对案件的后期侦破及电子数据取证设置了障碍。
二、电子数据取证与大数据分析
（一）电子数据取证电子数据取证是指提取、恢复、固定各类涉案电子介质中的数据，为案件提供证据及扩充侦查线索的一种活动。其涉及电子介质种类繁多，主要包括移动终端、电脑、笔记本、服务器等电子设备。随着人们对网络的依赖逐渐从信息化向智能化过渡，随着犯罪手法的不断翻新，智能设备的加速涌现，如今的电子数据取证对象范畴已经扩展到智能家居、工业控制、单片器控制器等诸多智能设备。电子数据取证的概念早已突破单纯提取、恢复、固定传统数据的界限，向着海量数据分析，交叉数据分析，案件数据建模分析扩展。如何在种类繁多、数量巨大的取证数据中分析出有价值的信息、情报线索成为今后取证工作的高级需求。
（二）大数据分析大数据的概念已经提出多年，大数据分析是指对规模巨大的数据进行分析，从而获得有价值信息的工作。在电子数据取证过程中，会提取、恢复、积累大量的关系型数据，特别是在嫌疑人较多的系列案件中、有组织犯罪中，提取的数据量较大，结合以往案件积累的大量关系数据及非关系数据可以开展数据分析工作，针对联系人、资金、轨迹等信息开展综合分析研判，提取、分析有价值情报线索信息。
三、大数据分析在电子数据取证中的价值体现
电子数据取证工作是一个长期的持续性工作，在某一阶段是针对某一特定案件开展取证工作，但从长期来看，电子数据取证工作同样也是一个线索数据积累的过程。大数据分析的方法众多，特别是针对涉网类案件，传统的人工分析已显得无能为力，由于涉案人员多、提取电子设备多，数据量多，数据关系复杂，如何科学组织、处理、分析相关数据，服务案件侦查工作显得尤为重要，我们需要应用科学的大数据处理、分析方法开展线索收集工作，大数据分析的价值已经突显在我们面前。
（一）制作目标画像，预测行为特征大数据分析的核心价值在于发现数据背后的相关性。通过通讯数据挖掘分析、位置信息提取以及海量相关数据检索分析，可以获得取证目标的人物社会关系，活动轨迹特征、购物规律、经济状况等。某些信息看似与案件事实没有因果关系，但是经过进一步分析可以为案件侦查提供线索、情报信息。依据收集信息可以对目标进行精准的“人物画像”工作，分析其社会关系及活动规律，配合其他侦查方法，可对目标及其关系人的行为开展预测分析工作，服务案件侦查。
（二）扩充侦查线索，开展关联分析通过开展手机联系人、聊天好友关联分析，结合同案件其余成员电子取证分析结果的数据，综合比对分析、关联分析，可以确定目标人员在组织中角色及发挥的作用，确定目标人员在整个违法案件中起到的作用及实施了何种违法犯罪行为，为开展人物关系分析提供数据支持，侦查人员可以根据人员角色及特点制定差异化工作方案。
（三）深挖违法组织，打击犯罪链条涉网类案件需提取固定数据通常较多，加之积累数据，完全可以开展涉案人员扩线摸排工作，通过对大量关系人数据关联分析，对海量聊天数据开展语义分析，可以筛选出哪些关系人可能存在违法犯罪嫌疑且尚未到案，针对分析出的存疑人员开展重点摸排工作，深入挖掘整个违法犯罪组织，纵向深入打击违法犯罪链条。
（四）提高侦查效率，充分释放警力大数据分析的基础是海量数据与分析算法，同时具备以上两点加之需求导向才能使大数据分析为案件侦查服务，最大限度地提高案件侦办效率，将警力从大量的分析工作中***出来，去从事更有价值的侦查工作，从而达到释放警力的作用。
四、大数据分析在电子数据取证工作中的应用展望
（一）探索信息化向智能化转变数据的价值不仅仅体现在数据本身，更大价值的信息蕴含在数据之间的关联性及规律性中。大数据分析的过程就是要挖掘海量数据之间的关联性与规律性，为案件分析提供重要线索。电子数据取证工作推进了证据的信息化，而大数据分析必然将证据的分析从信息化推向智能化，电子数据取证部门亟需尝试建立规范、高效的大数据智能分析平台，努力推进证据数据信息化向智能化的转变。
大数据分析篇9
关键词：大数据；学校学生成绩管理；成绩数据分析
中***分类号：G632 文献标识码：B 文章编号：1002-7661（2015）09-224-03
有人在葡萄酒酿造出之前就能知道其品质的好坏；
有人在购买机票之前就能知道机票价格的涨跌范围……
他们是怎么知道的？
相亲网站知道什么样的人适合做你的人生伴侣；
谷歌、百度可以根据你的搜索把你最想看到的东西排在最前面……
他们是怎么做到的？
这就是“大数据”给我们展示的神奇时代。就连奥巴马大选成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模深入的数据挖掘，通过分析选民的意向，知道哪些是铁杆粉丝，哪些能成为铁杆粉丝，哪些即使花了时间和精力也不能转换阵营的。时代杂志更是断言，依靠直觉与经验进行决策的优势急剧下降，在各项领域，大数据的时代已经到来。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，他称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。首先，大数据改变了我们的思维方式，让我们从因果关系的串联思维变成了相关关系的并联思维。第二，大数据改变了我们的生产方式，物质产品的生产退居次位，信息产品的加工将成为主要的生产活动。第三，大数据改变了我们的生活方式，我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术，更是一种全新的商业模式，它与云计算共同构成了下一代经济的生态系统――一切皆信息。
作为数学专业出身的我校校长徐小祥，天生对数据有强烈的敏感性。在他的学校管理中，对学生成绩充分利用了数据的处理分析功能，并以此数据作为学生趋势发展的指挥棒和教师考核的依据。对于学生成绩数据我校主要进行了以下分析应用：
一、本校基本成绩分析应用
每次检测后，各班各学科任课教师将学生成绩输入进校园网成绩管理系统。系统自动完成以下功能。
1、班级各学科平均分。
2、学科班级优秀率（单科全校前160名且总分全校前240）。例如：
3、学校班级总分段：每个班总分各分数段人数统计
4、班级单科分数段。例如：
5、历次考试全校各班前160、180、200名人数对比。例如：
6、全校前160名成绩册
7、全校各班成绩册
通过以上分析了解本校各班各科的教学情况，通过人数的对比了解整个初中阶段的变化。横向纵向的分析使全校师生都有一个清晰的认识。
二、校间对比成绩分析应用
1、总分分数段对比
2、各科分数段、平均分对比
3、校合并总分前20名学生名单
4、“全校有效分人数”和“入围有效分人数”的计算
（1）合并后前360名各科有效分
大体上看，共有六步骤：
第一步：确定“总分有效分”（录取分）。就是根据市高中上年的录取人数，确定本次考试的达线分，此分即为总分有效分。比如上一年市高中统招录取为360人，就以第360名学生的总分为分数线，假设第360名学生总分为504分，504分即为本次考试的总分有效分。
第二步：计算“总分平均分”和各科平均分。将前360名学生的总分平均分计算出来，数值为536.4分；前360名学生各科平均分语文为91.2，数学为103.4，英语为110.5，物理为80.9，化学为82.2，***治为16.0，历史为52.2。
第三步：计算“差距值”。 差距值就是第一步和第二步的差，将536.4减去504，差距值为32.4。
第四步：计算“权重”。 权重和是各门学科在考试中所占的分值百分点之和。如物化是100分的话，学科权重都为1；语数外是120分的话，权重都为1.2；其它学科类推。以九年级为例，语数外各120分，物化各100分，***治20分，历史60分，按次序权重计算公式为权重和=1.2+1.2+1.2+1+1+0.2+0.6，九年级考试的权重和为6.4。
第五步：计算各科“权重比”。利用各科所占权重比例，比如语文学科
权重比例=1.2/6.4，以下简称比例，利用第三步的计算结果，计算出权重比=差距*比例 ，按照上面的计算结果，语文权重比为32.4*1.2/6.4=6.1。
第六步：计算“各科有效分”。各科有效分=各科平均分-权重比，假设语文平均分为91.2分，那么语文学科本次考试的有效分为91.2分减去6.1，结果为85.1分。
综合以上，前面的两步是针对总分来计算的，为后面的分科计算，综合权重比后折射到各学科打下基础，第四第五步是考虑各科权重，然后结合第三步的差距，得到学科权重比，各科平均分与它相减就是“各科有效分”。它是本主题最重要的数据。
有了各学科有效分，考核表中的“全校有效分人数”和“入围有效分人数”的得出就水到渠成了――以上面语文学科结果85.1分为例，“全校有效分人数”是指全校各班语文在85.1分以上人数，“入围有效分人数”是指全市录取的360名学生中本校各班语文在85.1分以上的人数。
比率1=校内有效人/考试人数
比率2=360有效人/入围人数
（2）两校合并后各班在有效分以上的人数
（3）两校合并后前360名各科在有效分总人数与他校对比
（4）现九年级历次考试前160、180、200、220名人数变化表
通过以上分析，了解本校与兄弟学校的差距，有重点有计划地对薄弱环节进行强化训练。
三、进一步分析平均分和优秀人数，对教师进行考核
1、平均分模拟考核：对各学科各班的平均分考核。例如：
说明：
（1）入学平均分或接班平均分：初一进校时候的平均分。若是中途接班，则按照上次考试的平均分计算。例如有的老师是从八年级开始接班的，那么就按照七年级期末考试的平均分计算。
（2）起点差距：考核差距=班级均分-年级均分-起点差距；成绩平均分的考核：如果低于或高于校平均分3分内（含3分）不加也不减，如果高于3分以上或低于3分以下则分别有1分加考绩分4分或扣考绩分4分（如接班时平均分与校平均分悬殊4分以上加上接班时的悬殊分考核）；教两个平行班如果悬殊1-3分（含3分）不扣分，如果悬殊分4分以上则有1分扣2分（如接班时两个班悬殊4分以上减去接班时的悬殊分考核，两班均高于平均分则不扣分）；如跨头教两个班则各折1/2计算.常识科目原始考核入学平均分按照八年级期末考试语数外物各班的平均值计入。
例如：对三班四班的平均分考核。
第一步：算出考核分差距。三班本次考试平均分为84.76，和年级均分的差距84.79减去79.994约等于4.8。考虑到起点差距，将4.8减去1.1得到3.7，四舍五入最终得到考核差距为4分，高于3分以上，同理得到四班的考核差距为5分。
第二步：算出平行班差距。若只教一个班则不需要计算。三班四班为同一个老师所教，所以要考虑平行班差距为84.76减去83.15得到2，悬殊没有到达4分，不加也不减。
第三步：算出跨班考核分。由第一步和第二步得出的数据，计算（4（三班考核分差距）-3）*4+（5（四班考核分差距）-3）*4=12，12除以2（教两个平行班除以2，三个平行班除以3，以此类推）得6，因平行班平均分差距为2，无加减，所以，最终平均分模拟考核分为50（基础分）加6得到56分。
2、优秀率模拟考核：由前面所算出的各班优秀入围人数，对各学科各班优秀率考核。例如：
仍旧以三班、四班为例：
第一步：算出三班的考核分数。三班单科前160名总分在全校前240名的语文人数为9个，本次考试实际入围人数为17，17减去9得到8，每多一人加4分，8乘以4得到32分。有时候老师中途接班就得按照当时接班的时候基数计算。例如五班的老师是初三刚接的班，那么他的基数就是此班在八年级期末考试时单科前160名总分在全校前240名的语文人数，即为5人，所以五班的变化人数是9（实际入围人数）减去5（接班基础）得到4人。
第二步：同理算出四班的考核分数为44.
第三步：跨班考核。32加上44除以2得到38分，38加上基础分50得到88分。即老师的最终优秀率模拟考核分。
通过以上的数据，平均分模拟考核对老师的整体教学效果达到一定的评价，对各门功课的任课教师都有一定的促进作用；优秀率模拟考核充分了解班级有效学生，有的学生偏科很重的，通过此数据就知道哪些学生需要强化哪门功课。使各科任教师的教学有针对性，不放弃任何一个有潜力的学生。此两项数据也是教师最终年终考核参考的重要依据，无形中让老师认识到工作重点。
四、学生的追踪分析应用
例如：前360名学生在各次检测中的情况，对其分析；或某次考试进入全校前240名的学生，在以前各次检测中的表现，关注其以后的表现，发现其潜力等等。
通过以上等等一系列的对成绩数据分析，针对每项数据的结果，我校都有下一步举措与方针。虽然实行了招生划片的***策，在同等生源的情况下，我校的教学实绩成绩斐然。在中考之前，徐校长会根据数据分析的结果制定每个班级的进入重点高级中学的人数，这样的预测相当准确。当然在数据处理过程中我们遵循数据运用的道德：1、保护个人隐私；2、教师若出现所知数据的泄漏将追究其责任。
数据存在不能为我们所用，那我们将会沦为数据的奴隶；运用得当我们将处于各行各业的巅峰。数据在各行各业所表现出来的价值和意义正被大众所认识和运用，作为一个大数据时代下的教师，希望通过本文对我们的教育事业尽一些绵薄之力。
参考文献：
大数据分析篇10
Hadoop
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。
HPCC
HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
该项目主要由五部分组成：
高性能计算机系统(HPCS)，内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;
先进软件技术与算法(ASTA)，内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;
国家科研与教育网格(NREN)，内容有中接站及10亿位级传输的研究与开发;
基本研究与人类资源(BRHR)，内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和研究活动;
信息基础结构技术和应用(IITA )，目的在于保证美国在先进信息技术开发方面的领先地位。
Storm
Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
Storm有许多应用领域：实时分析、***机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。
Apache Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill实现了Google's Dremel.
据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而“Drill”将有助于Hadoop用户实现更快查询海量数据集的目的。
“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
功能和特点：
免费提供数据挖掘技术和库
100%用Java代码(可运行在操作系统)
数据挖掘过程简单，强大和直观
内部XML保证了标准化的格式来表示交换数据挖掘过程
可以用简单脚本语言自动进行大规模进程
多层次的数据视***，确保有效和透明的数据
***形用户界面的互动原型
命令行(批处理模式)自动大规模应用
Java API(应用编程接口)
简单的插件和推广机制
强大的可视化引擎，许多尖端的高维数据的可视化建模
400多个数据挖掘运营商支持
耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。
Pentaho BI
Pentaho BI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的***产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
Pentaho BI平台，Pentaho Open BI套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。Pentaho的发行，主要以Pentaho SDK的形式进行。
Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可***运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可***运行的Pentaho平台是Pentaho平台的***运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下***运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE服务器，安全，portal，工作流，规则引擎，***表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。
时至今日互联网每天新增的数据量达2.5*10^18字节，而全球90%的数据都是在过去的两年间创造出来的。举个直观的例子来说明一下互联网的数据量：假设大西洋里每一升海水代表一个字节的数据，那么整个大西洋存储的数据也只能到2010年就满了。
从外行的角度看来大数据是个挺了不起的东西，它也确实了不起，不过有一个前提就是我们能够有效地处理数据。怎样从海量数据中找出有用的信息才是最重要的。
文中会讲一些大数据的用例比如分析促销行为、诊断交通状况等。还会谈一谈大数据的收集方法以及处理的过程。
网上促销
现在一个公司想取得商业上的成功，***促销已经成为了很重要的手段。不过如果没有进行实时的数据分析那么可以说是干了相当于白干。成功的促销行为应当依据之前收集的数据来决定此次促销所应使用的文案、设计、界面以及针对的人群等。
因为这些数据可以帮助我们理解客户的需求以及市场的动向和机遇。如果想要充分利用这些数据，还需要做到高效地整合数据、打造一个低延迟的分析系统并为分析人员提供一些统计数据直观的***标来进行辅助。
在促销开始之前，我们先要订立一个业绩上的目标。为此我们应该清楚促销针对的客户群和市场。然后将销量和流行度指数这样的业绩目标进行量化。我们可以收集的数据包括销售报表、客户反馈、网站统计等等。
从多个数据源进行分析的好处是它能够为未来的发展提供更多的认识，这是单一的销售量所无法比拟的。单纯的销售量无法体现出消费者和环境的变化因此很难作为预测未来的可靠保障。
大数据在促销上的好处可以总结成下面几点：
富有针对性：这意味着钱能够真正地花在刀刃上，所以看似要多投入但其实能够节约开支。及时反馈：大数据实时分析意味着可以针对市场的变化迅速调整打法。为以后的市场决策打下基础。
交通疏导
比如你早上有重要会议，结果却被堵在路上不知道什么时候才能到公司，这时你可能除了干着急也没什么能做的。你不能，大数据分析可以。借助大数据分析，、你可以找出拥堵不严重的路甚至通过实时疏导来解决整个城市的拥堵问题。
在这方面做得比较突出的是谷歌地***。谷歌通过收集安卓用户的位置和运动等信息来预测交通状况并给予用户建议。
不过现在这项服务效果还不是特别好因为谷歌再怎么收集信息也很难知道用户此时使用的是什么交通工具，而开车和骑电动车对于交通的影响是很不一样的。
航班和车队管理
大数据分析在航班管理上可以帮助我们减少花费并节约时间。从每一架飞机或汽车收集的数据燃油消耗、负载、速度、路面状况和航线等。
航班如果计划得不好的话肯定费用会上升，这就意味着赚的钱会变少，这就是物流公司钟情于大数据提升运输效率的原因。数据分析可以帮助物流公司减少空驶的情况并优化行驶的路线。这么一来不光是效率能够提升，对保护环境也能做出一定的贡献。
航班车队管理还能够与交通疏导结合起来为车辆寻找最合适的行车路线，进一步提高效率降低开销。
总结一下大数据分析为航班和车队管理所带来的益处：
实时数据分析可以减少燃油的使用并降低尾气排放。优化路线减少空驶率。为车辆提供可视化辅助。
智能新闻聚合
现在已经有很多新闻应用可以根据用户的兴趣来聚合相应的新闻提供给用户。大数据在媒体的生产、归档和聚合上也能够发挥出作用。
单论新闻每天产生的数据量就以PB论而且还在迅速增长。在媒体领域大数据分析的目的是实时地识别、分类、结构化、翻译、分析和管理媒体内容。分析的结果则是为每一个用户单独提供的新闻聚合。