学文网云服务是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
从2010年开始，我们看到过被人质疑的云计算，也看到了现在云计算成为各种创业公司的基础，甚至走入各种互联网之外的传统企业，见证了其在中国发展的整个过程。在整个发展过程中，在服务可靠性技术问题得以解决之后，数据归属成为不折不扣的导火索，公有云与私有云之争一度也异常激烈，而经过了长时间实践之后，则形成当下公有云、私有云、混合云等解决方案并存的状态。
在这个基础上，我们看到很多开源云计算、大数据技术框架得到了飞速发展，其中更有一些已经成为业内事实上的标准。这些开源框架的出现大幅度降低了云计算和大数据技术的使用门槛，然而同时新的问题也随之浮现，即生产环境使用挑战。
大数据生态繁花似锦
近年内，随着越来越多的设备接入互联网，当下一年所产生的数据往往是以往数年的总和。而据Global Cloud Index预计，截止至2020年互联设备数量将达到500亿，众多爆发式增长的设备预计在2017年便会产生高达7.7 ZB的互联网数据。在这个大背景下，各个机构都积累了足够多的数据，从而对数据进行分析并产生指导实践的见解也成为了企业提高竞争力的迫切需求。在这个需求刺激下，开源大数据技术生态圈得到了飞速发展――在数据的整个生命周期中，从收集到处理，一直到数据可视化和储存，各种开源技术框架林立。
在开源大数据处理上，出于对成本和数据量的考虑，横向扩展已经必不可少，因此在这个领域涌现出大量优秀的集群计算框架，其中大家首先想到的就是Hadoop。Hadoop天生高贵，由雅虎原工程师Doug Cutting在Google论文的启发下建立，也是时下生产环境部署最多的计算框架。然而，随着内存成本的降低和对不同处理类型需求的增加，缺乏对内存有效利用及资源调度粒度的不够，业内涌现出大量优秀的计算框架并占据一席之地，整个大数据生态繁华似锦。
开源IaaS发展
如上文所述，随着接入互联网的设备增多，企业IT基础设施往往需要承受以往数倍的压力，从而对原有的资源组织方式提出了严峻的挑战。在这个前提下，云计算得以快速发展并在各行各业落地，更成为许多创业公司的立足之本。而作为云计算的一种重要形式，IaaS服务有各种开源和商业云平台方案，作为当前最成功的云计算平台，AWS更是吸引了众多的关注和模仿，如果说云计算发展到如今的火爆，除了IT技术的发展趋势，更重要的是背后顶级云计算厂商的大力支持和推广。我们最早听到IaaS概念可以追溯到1983年，一家在现在看来非常厉害的公司Sun Microsystems就提出了“网络是电脑”的概念，但是由于概念太超前，在当时并没有引起重视。
随着Amazon推出其弹性云计算，并在IaaS领域大获成功，Google、微软、VMware、IBM等IT巨头们大举跟进，纷纷涉足云计算领域，云计算的热潮汹涌而至。在这期间，开源IaaS领域发展同样迅猛，从最早的Eucalyptus、OpenNebula、CloudStack等到我们熟知的OpenStack，百花齐放，百家争鸣，一时云计算领域热闹非凡。当然，随着众多大型厂商的支持、社区的壮大以及生态的不断完善，OpenStack如今大放异彩，开始逐渐占据主导。不是说OpenStack现在完美无缺，只是在当下的开源IaaS领域，OpenStack已经毫无争议地成为最受关注的云计算技术，并逐渐成为开源IaaS领域的代名词。
容器技术异***突起
Docker，时下最火的容器技术，从诞生到进***生产环境，每一步的技术演进都受到了巨大的关注。其实，谈及容器技术，其实Docker并非首创，早在十数年前，容器技术便已有雏形，但是以Solomon Hykes为首的一帮工程师敏锐的发现了容器技术在云计算领域的巨大潜力，随后迅速技术转型，开始投向容器技术并且从一开始就走开源路线，这位身上流著美国与法国的血统，喜欢网咖打电玩，酷爱摩托车的年轻人开始了一段非凡的浪漫之旅。
无论是版本的迭代还是进***生产环境，Docker这三年来的发展可以说是如鱼得水，当然，期间也受到过质疑，比如CoreOS与Docker的标准之争就在容器圈引起了不大不小的轰动，最后以Solomon和CoreOS的创始人Alex Polvi握手言和告终。之后随着Docker版本的更新，在网络和安全、存储等领域的短板被逐渐补足之后，Docker的集群能力得以完善。
容器引擎领域，虽说有CoreOS团队开源的rkt项目，但是和Docker相比，在用户以及社区活跃度方面都有很大差距。容器的编排，可以说在目前Docker领域受到的关注度前所未有，从Mesos到Kubernetes，围绕两种技术的编排之争超乎想象。由于背后都有大批的厂商支持，短期内，这两种技术都将得到迅速的发展，某一方不会形成压倒性优势。另外，从Docker公司的角度，背后的动作也有对编排的考量，综述所述，容器生态中，围绕Docker的生态之争才刚刚开始。
Docker短板补足
生产级实践备受关注
如上文所述，在Docker版本的更新过程中，自身的一些技术缺陷得到了弥补，Docker在安全、存储以及网络领域的短板得到逐步的解决，Docker进***生产环境已经成为大势所趋。国外，在Docker应用领域有着比较先进的经验。国内目前真正将Docker应用在生产领域的很少，其中应用在核心业务的就更少，Docker从诞生到现在，已经3年时间，如果继续炒作Docker的优越已经毫无意义。当下，开发者们最为关心的是如何让Docker真正落地，如何在生产环境中使用Docker，急需这个领域有一些第一个吃螃蟹的企业出来分享他们的经验和教训。为此，2016 Container峰会聚焦生产级实践，邀请了在金融、教育、制造、证券等领域已经应用Docker的企业技术负责人到场，给我们谈谈他们在生产环境中是如何使用Docker的，大规模部署Docker的经验和跨过的坑。
OpenStack式微？
无可否认，Docker的发展热度在一定程度上掩盖了OpenStack的光芒，但是作为开源IaaS领域的首选平台，IaaS如何和Docker和谐发展，或者如何借势Docker弥补OpenStack在技术领域的短板，已经成为很多开发者关注的焦点。
时下开源大数据生态解读
如前文所述，在海量数据处理上，横向扩展已毋庸置疑。而在这个领域，由Hadoop 2.0中诞生的YARN无疑最为耀眼，也是时下生产环境部署最为广泛的开源框架。在CCTC 2016上，华为印研Hadoop工程团队架构师、Hadoop Committer Naganarasimha Garla将从技术角度解析YARN的异构实现，而Hulu大数据架构组负责人董西成将分享YARN在生产环境中的异构应用与实践。
谈到开源海量数据处理，行业内首先落地的无疑是批量计算，而在这方面，MapReduce无疑是鼻祖，也是时下生产环境部署最多的计算框架。然而正如上文所述，缺少对内存的有效利用和业务对不同类型计算的需求，效率比较低的MapReduce同样面临着大量竞争者，其中两个备受关注的就是Spark和Flink。因此，在CCTC 2016上，主办方特设置了2016中国Spark技术峰会，不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的近十位专家将带来最新的Spark实践分享，详情可以看笔者之前的峰会解析。而在Flink方面，Flink 活跃贡献者，万达金融李呈祥将为大家分享名为“Apache Flink： Stream engine beyond Batch”的议题。
转载请注明出处学文网 » 盘点人气云计算、大数据开源技术变迁