对互联网统计中幂律分布的分析

在中关村3w咖啡与王煜全、KESO等聊《爆发》,其中一个主题谈的就是幂律。我总的感觉在巴拉巴西建立的SCale尺度(degree-rank function)之外,还需要一个以Scope为尺度的计量标准,在因大而美之外,把握因小而美的世界。这样的幂律分布,才会让世界更美好。

幂律分布(Power law distribution)是一种常见的统计现象。具有幂律分布的数据,表现为一条斜率为幂指数的负数的线。在这里,幂的含义是指乘方,例如x的n次方,其中n就为幂的指数。具体到幂律分布,出现连接数为k的概率p(k),反比于k的n次方。其中,n称为幂数。

对互联网来说,幂律分布具有特殊的意义。因为互联网中一些核心的现象,都与它有关。幂律分布不仅在技术现象中体现出来,而且在经济现象中体现出来。因此理解幂律分布,对于深入把握互联网特征,具有技术与经济、理论和实践双重意义。

幂律分布在互联网技术和经济现象上的表现

1、幂律分布揭示了互联网典型的技术结构特征。

无尺度网络(scale-free networks)理论首先对此进行了深入研究。无尺度网络理论是复杂网络权威巴拉巴西对互联网研究做出的一个重要贡献。幂律分布是无尺度网络最核心的现象。幂律分布告诉人们,网络兼具“大世界”与“小世界”两种属性。后来的六度空间理论,就是在小世界网络理论基础上发展起来的。这和人们在SNS实践中的发现十分吻合。象《六度分隔》作者瓦茨就说,“不是由人群中的个人直接相互选择,面是他们简单地选择加入数个群组”。现在,这种小世界网络思想,已成为SNS、微信等算法的重要基础。

在发现幂律分布之前,人们对互联网有一种典型的误解,认为网络是扁平化的,把扁平化与无结构等同起来。随着实践和理论的发展,人们认识到这是一种错误的看法,网络相当于是介于扁平化(如市场组织)与结构化(如分层组织)之间的一种结构,兼具二者特征,但又不同于二者。

这种不以金字塔方式进行组织的结构,到底是以什么结构来运作的呢?与工业组织结构存在于管理幅度与管理层级的关系中不同,互联网的结构存在于联结与节点的关系之中,其中映射着***论中顶点与边的关系的隐含范式。幂律分布归纳的正是顶点与边的关系。

无尺度网络的典型特征是,在网络中的大部分节点只和很少节点连接,而有极少的节点与非常多的节点连接。在统计上,这种技术现象特征就表现为幂律分布。

幂律分布在互联网结构认识上的意义在于,人们终于找到了机械组织与生态组织的区别所在。互联网是有结构的,只不过这种结构不是工业组织那种机械结构,而是生态结构。生态结构具有自组织、自协调的性质。节点与节点虽然只是随机链接,表面上是无组织的,但放在大世界尺度看,却呈现出幂律分布特征。有人提出,“凡有生命的地方,有进化、有竞争的地方都会出现不同程度的无标度现象”。抓住了背后的规律,人类对可进化的结构才开始入门。人们在哲学上常说的涌现和生成,终于落到了地面上,从空想变为现实。

2、幂律分布揭示了互联网典型的经济结构特征。

令人称奇的是,幂律分布在互联网经济现象中同样呈现出来。著名的长尾理论,就建立在幂律分布的统计发现的基础之上。长尾曲线就是幂律分布的另一种说法。

此前,帕累托在19世纪已经发现,美国财富的分布服从幂律分布,这被称为帕累托分布。随后的数据表明,欧洲各国的财富分布同样服从幂律分布。而且诺贝尔奖获得者西蒙提出的齐普夫(Zipf)法则已相当接近巴拉巴西的发现。钱德勒则从规模(SCALE)与范围(SCOPE)的对比中,首先从商业上捕捉到幂律的实质性的经济含义。

在整个工业化时代,幂律分布与信息***深层次的联系,并没有被发现。到了互联网时代,情况终于产生转机,以太网的发明人梅特卡夫开始产生了幂律的感觉。他提出网络价值等于节点平方的法则(Metcalfe’sLaw)。第一次用乘方来表示网络的经济性。幂的本质就是乘方,这里的平方就是幂的指数,而指数是直线的斜率。安德森《长尾理论》则直接发现了幂律分布的商业模式含义。

长尾理论揭示的幂律分布是,少数大热门产品构成短头,而大量小批量产品构成长尾,互联网将推动经济重心从前者转向后者。安德森实际上把幂律分布解释为托夫勒所说的从单一品种大规模生产转向小批量多品种的生产方式转变。这比巴拉巴西的发现要深刻了许多。

幂律分布的技术经济本质及观测尺度

1、幂律分布还可以从更深层次理解,首先要看它把握的对象到底是什么。

无尺度这个词比较特别。它的原文是scale free。Scale固然有度和尺度的意思,但应该译为度的是degrees,比如六度空间中的六度(Six Degrees)。我个人认为Scale还是应译为它的本义“规模”。scale free实际是“规模无限”的意思。

在幂律分布中,立轴应该是scale,即节点的连接数,表示连接规模。横轴应该是节点数。所谓幂律分布在这里是指有少数“爆发”性的节点,获得很大规模的连接;而大多数节点,只有很小规模的连接。所谓scalefree,指少数热门节点规模大得超过了——相对于正态分布和泊松分布而言的——限制。

有人不是这么理解的,而认为是指幂律分布不断延伸,没有尽头,所以叫无尺度。“不断延伸,没有尽头”,在安德森对幂律分布的解释中,是对曲线的长尾部分的描述。与这里节点对应的,是品种数,是异质性程度的刻度而非规模刻度,换成钱德勒的语言,应是对SCOPE(范围)而非sCALE(规模)的计量。所以无尺度如果要指向横轴而非竖轴,应该叫Scope Free,而不应叫scale free。

2、这就涉及对幂律分布更深层次理解的问题,即尺度本身的问题。

无尺度网络(实际是规模无限网络)虽然测出了幂律分布,也发现了小世界网络向大世界网络自然进化的模式,其中对路由在互联网中的特殊作用(短连接)有深刻认识,并对P2P网络发展有直接指导作用,但巴拉巴西同安德森不同,他思维还比较传统,看重的主要还是幂律分布中的短头,而不是长尾。因此观察节点的尺度,还主要是scale,而非Scope。事实上,幂律分布本身是客观的,它可以显示出对它的主观解释之外的内容。巴拉巴西所描述的幂律分布本身已显示,其长尾部分面积(相当于节点数乘以规模数)的总和,并不亚于短头部分面积的总和,这个面积实际上可视为利润的积分,表现的是幂律分布的流量价值。

以技术为例,WEB的分布式技术特点一旦发挥,将来可能导致P2P、WEB APP等小微网络的兴起,它们未必非依靠爆发形成的权力管控中心而活。再以大数据为例,巴拉巴西认为可以通过大数据,把握用户93%的行为,特别是爆发性的行为。这看起来把用户的短头需求把握住了,但是如果通过技术和机器就可以自动做到这一切,在十年以后大数据成熟阶段,会造成93%的部分服务的价格竞争,导致利润下降;而剩下的7%——可以归于用户自由意志支配的部分——会具有极高的附加值和升值空间。我把这归结为宿命论与自由意志之间的博弈。

这让我们把注意力又投回到安德森方法的优点上。安德森利用幂律分布关注的焦点和得出的结论,与巴拉巴西几乎是反的。如果换算成巴拉巴西的语言,安德森长尾理论相当于认为,所谓7%,只是scale轴上的刻度,是规模经济的尺度;但如果把这个7%对应的scope轴上的节点数计量进来,这里还有另外一个93%(只是比喻)沿横轴展开的空间,是scale非常不Free,但Scope非常Free的空间。这一方向,随着时间的进展,将具有越来越重大的意义。

对互联网统计中幂律分布的分析

转载请注明出处学文网 » 对互联网统计中幂律分布的分析

学习

在海边作文800字

阅读(35)

本文为您介绍在海边作文800字,内容包括行走在海边的作文800字,在海边的作文。我有一本非常精美的相册,封面上影印着一只淘气的小猫咪,正在高兴地玩着皮球。打开相册的封面,引入眼帘的就是我成长的照片,每一张照片都记录了它的故事。我最喜

学习

一代碑学宗师沈延毅

阅读(28)

沈延毅先生字公卓、号述菊,1903年12月19日出生于盖州市城东古台子村。先生原名延蓉,字剑玮,30年代初更名著、字公卓,40年代中期更名延毅,其斋名为述菊斋、语冰室、天行腱斋。

学习

铁道工程学报

阅读(31)

本文为您介绍铁道工程学报,内容包括铁道科学与工程学报,铁道科学与工程学报是什么期刊。1.紧邻既有铁路线深基坑的降水设计与沉降监测张楠,胡鹏辉,ZHANGNan,HUPeng-hui

学习

“特殊”任务

阅读(28)

本文为您介绍“特殊”任务,内容包括特殊任务大全,特殊任务简介。近段时间,我接二连三收到了几张稿费领取通知单,妈妈也收获了一张。平时都是妈妈帮我去取钱,这天,妈妈给我布置了一个“特殊”任务--领稿费。我兴奋地接受了这个光荣的任务。

学习

城市垃圾处理方法

阅读(31)

本文为您介绍城市垃圾处理方法,内容包括城市大件垃圾怎么处理,城市垃圾处理费收取标准。论文关键词:城市垃圾;处理方式;利弊;探讨

学习

西部中医药

阅读(24)

本文为您介绍西部中医药,内容包括西部中医药,四川西部中医药学校。“形神合一”与心身医学

学习

艺术音乐赏析

阅读(30)

本文为您介绍艺术音乐赏析,内容包括音乐的艺术赏析,艺术鉴赏音乐全集。「猫来了!2003年3月28日,西洋音乐剧史上最受欢迎的《猫》登陆中国,在上海进行了其在中国的首场演出。与此同时,《猫》剧将在上海和北京连演100多场的气魄,其声势之浩大也

学习

个人研修计划范文

阅读(28)

本文为您介绍个人研修计划范文,内容包括教师个人研修计划内容,信息技术个人研修计划。个人研修计划范文(一)

学习

情感营销简析

阅读(25)

本文为您介绍情感营销简析,内容包括情感营销方案和价值,情感营销五种方法。摘要:在商品供过于求同质化的时代,情感在影响人的消费行为方面占据着越来越重要的地位,“情感营销”成了现代营销的重要方式,而情感营销策略也成了企业必须考虑的问

学习

主持晚会开场白范文精选

阅读(29)

本文为您介绍主持晚会开场白范文精选,内容包括新年晚会主持开场白简短,三八妇女节晚会主持开场白。主持晚会开场白篇12017年跨年晚会主持词开场白1

学习

抗战中的女性:她们承受得最多,贡献无可取代

阅读(35)

本文为您介绍抗战中的女性:她们承受得最多,贡献无可取代,内容包括抗战期间值得铭记的女人,女性在抗战的出色例子。在战争面前,没有谁是局外人,无论是男人还是女人。然而,由于生理等原因,在战场上女性并不占优势,但这并不意味着她们的贡献就可

学习

手太阳小肠经

阅读(29)

本文为您介绍手太阳小肠经,内容包括太阳小肠经原文,手太阳小肠经。起于小指外侧端(少泽穴),沿手背、上肢外侧后缘,过肘部,到肩关节后面,绕肩胛部,交肩上(大椎穴)前行八缺盆,络心,沿食道,穿过膈肌,到达胃部,下行,属小肠。本经脉一分支是从缺盆出来,沿

学习

浅析当代大学生择业观

阅读(32)

本文为您介绍浅析当代大学生择业观,内容包括当代大学生90后的择业观,大学生择业观引言。摘要:经过我国近几年高校扩招,大学毕业生人数增长快,就业形势非常严峻,大学生就业已成为了整个社会关注的焦点和热点问题。在改革开放、发展市场经济和

学习

悬臂梁结构分析

阅读(25)

本文为您介绍悬臂梁结构分析,内容包括悬臂梁弯矩计算公式,悬臂梁结构案例分析及总结。摘要:以某型自升式钻井平台的悬臂梁为例建立相应结构分析模型,给出了分析的载荷及边界条件,并对不同载荷条件下的计算结果进行了分析和评估,可作为此类结

学习

青少年性问题行为成因的分析与对策

阅读(31)

本文为您介绍青少年性问题行为成因的分析与对策,内容包括青少年性知识缺乏的危害,青少年性意识困扰的原因与对策。[摘要]青少年性问题行为是一个不容忽视的社会问题,它不仅关乎着青少年的健康成长;社会秩序的安全、稳定;更与个体家庭生

学习

网络安全和隐私安全分析

阅读(46)

本文为您介绍网络安全和隐私安全分析,内容包括网络隐私安全的例子,网络安全与网络隐私报告。1物联网的安全和隐私保护问题

学习

产品数据分析报告范文精选

阅读(101)

本文为您介绍产品数据分析报告范文精选,内容包括行业数据分析报告范文,数据分析报告的范文。产品数据分析报告篇1[摘要]本文通过对客户的问卷调查识别参展商期望的服务,围绕双因素理论中的“激励因素”和“保健因素”对重要服务内容划分,

学习

电桥灵敏度与检流计内阻关系的分析

阅读(48)

本文为您介绍电桥灵敏度与检流计内阻关系的分析,内容包括双臂电桥的检流计灵敏度怎么调节,检流计内阻与电桥灵敏度的关系。摘要:指出了在自搭式惠斯通电桥实验中,检流计内阻是电桥灵敏度一个重要影响因素。首先从理论上推导出了电桥灵敏度

学习

认识“业务分析”

阅读(43)

本文为您介绍认识“业务分析”,内容包括业务理解和分析,业务分析报告大全。摘要:在竞争日益激烈的今天,尤其是当经济紧缩或下滑时,日益窘迫的预算额度、不断增高的项目失败率及客户满意度持续降低所带来的巨大损失逼着高层管理者重视在

学习

我国市场经济中的“柠檬市场”问题分析

阅读(29)

本文为您介绍我国市场经济中的“柠檬市场”问题分析,内容包括柠檬市场效应分析,经济学中的柠檬市场。摘要:目前,我国存在大量“柠檬市场”的例子,本文对金融市场中的证券市场、商业银行进行重点分析,并对证券市场解决“柠檬市场”问题,提出发

学习

雷达回波的识别与类型分析

阅读(31)

本文为您介绍雷达回波的识别与类型分析,内容包括雷达回波分析方法,雷达回波频谱特征是什么。摘要:本文讲述在雷达开机时对出现的气象回波怎样能够正确识别,同时对降水回波做到正确分析,以及辽西地区各种天气形势下的回波特点。