学文网随着网络时代的飞速发展，特别是信息数据的爆炸式发展，当代信息传播的容量、数量都变得异常丰富。信息传播过程中对媒介的容量、效率及安全性提出了新的要求。大数据有着这样一条摩尔定律：人类社会中的信息数据增长速度为每两年翻一倍。信息传递急需技术手段，来提高传递的效率、准确度以及媒介容量，大数据应运而生。云技术在数据的处理中展现出了越来越多优势，基于云计算的大数据技术全面的革新了传统的数据处理技术。就目前信息数据的爆破性扩张，不久的将来，云计算技术以及大数据仍旧需要进一步开发拓展，才能够满足时代需求，云计算技术与大数据处理也是当代一大重要研究课题。
【关键词】云计算 大数据 网络
云计算技术是基于网络，提供数据计算服务、存储服务的新型网络管理调度技术，统筹的将网格计算、并行计算以及分布式计算加以实现，应用到了网络数据管理中，并结合其他软件、硬件提供给用户多种服务。利用云技术，可以大幅度的提高资源利用率，这一新型的超级计算其数据非常密集，能够实现集数据存储、数据计算、服务器功能、应用软件功能、IT软硬件设备资源虚拟化。当今全球互联网的流量也在爆炸式的增涨着，云计算与大数据的应用是数据处理的重要技术。并且，随着网络技术、软件技术的发展，云技术在数据的处理中展现出了越来越多优势，如表1所示。
大数据是在云技术之上兴起的新课题，大数据往往具备以下四个特征：
（1）大量的数据；
（2）多种类型的数据；
（3）数据生成及处理速度快；
（4）大数据的巨大价值；这也就是大数据的4V特征。
并且S着基于云计算技术的大数据不断的发展，还提出了大数据的第五点特征及要求，便是强化大数据处理分析中的准确性（Veracity），目前的大数据处理已经进入了5V时代。
1 大数据的特点
大数据技术对比传统数据的诸多特性来分析，具有非常明显的差异。这些差异主要体现在数据的计算、存储以及检索等多方面。传统的数据线性特征显著，对比离散型显著的大数据而言，大数据的发散性、随机性、爆发性显得更为复杂，但是这种复杂的数据能够体现出更为客观的现象，具备更有效的价值。
2 关键技术
2.1 数据存储技术
信息数据在进行存储时的可靠性、安全性以及读写时的效率是云计算技术的基础，利用云计算技术在存储时，往往采用分布式存储，将大量的数据进行汇总并储存到集群服务器中。这种存储技术往往会对数据进行备份储存，利用先进的数据加密技术配合冗余存储能够确保数据的可靠性、安全性。以HDFS为例：
HDFS是一种分布式文件存储系统，被广泛应用在通用硬件中。这一系统具备较高的容错功能，能够在廉价设备上实现应用，并且其对数据访问的吞吐量也很大，适合应用在大数据集的处理上。HDFS系统可以进一步的实现文件系统中的数据流式读取，在大数据处理中，HDFS常被设计成能够实现平台间便于迁移的系统，这就令大数据集的应用更便捷，如***1所示。
2.2 虚拟化数据管理
云计算的主要功能在于针对大量的数据进行分布式的分析处理，并且为用户提供高效的服务，这就需要强大的数据管理能力作为支撑，而基于云计算的大数据技术在数据管理中具备虚拟化特征。将数据处理的计算机系统转换成了虚拟层，利用硬件设备资源，配合操作系统建立了这样一个虚拟的空间链接数据处理的各层级。令上下层的配合更灵活，极大程度的缩减了开销，提高了资源利用率。
3 大数据与云计算的关联
大数据的处理是将云计算技术视为一种技术平台，大数据在进行数据处理时的首选处理形式则是云计算技术，云计算为大数据的处理分析提供了最适的存储空间及计算能力，可以令大量的数据信息迅速的分析出结果，便于使用付诸现实。而云计算技术的主要功能在于计算能力，大数据则可以视为接受计算处理的对象，前者对于计算能力更为注重，后者则是更倾向于存储功能。将存储的大数据付诸应用的重点在于数据处理，而云计算恰好满足了这一功能性要求。
4 总结
大数据处理技术与云计算在信息处理中展现出了极大的潜力，结合这两种技术能够实现信息传递的高效性、准确性、大容量。在很多领域，应用基于云计算的大数据处理技术表现出强大的功能。随着网络信息技术的高速发展，信息数据的传播数量及速度都亟待提升。基于云计算的大数据处理仍需进一步的开发，并对这一新技术加以应用，相关技术的研究也是当前学术界的关注点。
参考文献
[1]丁有伟，秦小麟，刘亮，王涛春.一种异构集群中能量高效的大数据处理算法[J].计算机研究与发展，2015（02）：377-390.
[2]李贞强，陈康，武永卫，郑纬民.大数据处理模式――系统结构，方法以及发展趋势[J].小型微型计算机系统，2015（04）：641-647.
[3]李敏，倪少权，邱小平，黄强.物联网环境下基于上下文的Hadoop大数据处理系统模型[J].计算机应用，2015（05）：1267-1272.
[4]彭建华，李臣明，邱***林，李晓芳，徐立中.接收与处理分离的实时大数据处理模型[J]. 计算机科学与探索，2015（08）：906-913.
[5]张少敏，毛冬，王保义.大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用[J].电力系统自动化，2016（14）：129-134.
作者单位
贵州大学继续教育学院 贵州省贵阳市 550000
转载请注明出处学文网 » 基于云计算的大数据技术