1、 看完大数据时代(之一) 去年的“云计算”如火如荼,而今年的“大数据”又来了。似乎所有供应商都在一夜之间接连改变了旗帜,推高了“大数据”。从那时起,各种公司的CIO都将注意力转向“大数据”。有一个来自“程序员”微博的漫画,非常生动。我认为这张图片确实反映了中小企业的云计算和大数据的当前状态。 但是我不得不再说一遍,“大数据时代”是一本好书。 当然,许多IT名人也强烈推荐他们。看完书后我写了很多感触来表达他们对这本书的喜欢。在阅读本书之前,所谓大数据的概念基本上是茫然的。尽管我已经理解并关注它,但它现在是热门的BI,我认为它是相同的,可能是更多的数据,更详细的数据分析和数据挖掘。看完本书后,我觉得以前的想法只能看作是一个很小的一半,即大量的数据,另一个是:关注数据的相关性,而不是数据的准确性,也许是大数据。当前BI的最大区别不仅在于方法,还在于思维方法。但是坦率地说,无论数据更相关还是数据更准确,测试它确实需要时间,至少从当前的数据分析方法来看,它更倾向于数据的准确性。看完这本书后,我心中有些疑问:
2、也许只能使用消费者数据。例如,似乎大多数制造商都在分析消费者的购买行为。同样,在公用事业*机构中,大数据的作用也可能发挥作用。相反,我觉得在大多数中小企业中大数据的应用似乎有些繁琐。该书说:大数据是企业竞争力。确实,数据是企业的核心无形资源(如果使用得当的话),但这是全部数据,还是换句话说:所有企业都将大数据用作竞争力真的合适吗?在中小企业看来这有什么大不了的吗?
3、什么是大数据? 检查百度百科,这是一个定义:大数据(bigdata)或大量数据,是指涉及的数据量太大,以至于当前主流软件工具无法在合理的时间内检索和检索。管理,处理和分类成为帮助公司更积极地做出业务决策的信息。大数据的4V特性:体积,速度,多样性,准确性-这似乎是IBM的定义。 从个人角度来看:海量数据和海量存储是大数据的基本原型。
4、什么样的企业适合大数据? 的确,大数据的前提是海量数据。只有当您拥有大量数据资源时,您才可以了解数据的相关性,然后再进行传递 专业的加工,让它为企业创造价值。对于电信运营,在Internet上使用来自如此大量用户的数据的大型企业在应用大数据的道路上也具有独特的条件,但是中小企业呢?销售订单数据?如果它不是一家具有百年历史的商店,则估计该数据可怜
5、大数据的影响 当一波又一波的IT技术热潮继续向我们蔓延时,您甚至还没有做好准备,您就必须开始欢迎它给您带来的影响。在物联网和云计算的帮助下,大数据已经开始出现。但这给我们带来了什么? 1)预测未来这本书始于Google对未来可能发生的流感病例的成功预测,表明大数据的应用可以为我们的生活保驾护航。本质很简单,技术改变了世界。 2)将转变由商业大数据带来的商机,并同时衍生出一系列与大数据有关的商业机会和商业模式。数据的潜在价值将继续发挥作用。不难想象,将来还会有特殊的数据收集。 ,数据分析,是由数据生成所生成的数据产业链。当然,最大的影响是IT公司 3)在变革思维书中指出:由于海量数据为基础,将来,我们可能会更多地关注数据的相关性而不是准确性。我仍然对这篇文章有所保留。 看完大数据时代(二) 在谈论新媒体和互联网时,必须提到大数据。有很多人在谈论它,许多讨论者甚至没有认真阅读过该领域的经典著作-Schönbäger的“大数据时代”。维克多·迈耶(Victor Meyer)-谁是Schönberger?他目前是牛津大学网络学院互联网研究所的管理与监督教授,并且是哈佛大学肯尼迪学校信息监督研究项目的负责人。他的咨询客户包括全球顶尖的公司,例如Microsoft,Hewlett-Packard和IBM。他是欧盟官方互联网政策的真正缔造者和参与者。他还曾在许多国家担任高层*的智囊团。这位被称为:大数据时代先知的牛津大学教授真是牛!那么,师父所说的是黄金法则?不一定,您必须做一些功课才能理解主人的工作,如果您可以做足够的功课并具有相应的理论基础,则可以与他们进行思想上的对话。 Schoenberg从三个方面讨论大数据,即思维变更,业务变更和管理变更。在“思考大数据时代的变化”的第一部分中,Schönberg清楚地展示了他的三种观点:
6、更复杂:不准确,令人困惑;第三,更好:不是因果关系,而是相关性。对于第一种观点,我不同意。一方面,就技术和设备而言,处理所有数据非常困难。另一方面,有必要吗?是否有必要收集所有数据进行数据分析以判断简单的事实?我曾与香港城市大学的朱建华教授讨论过。朱教授是传播研究方法和数据分析的专家。他认为可以找到一种数学统计方法进行分析,并且并非所有数据都是必需的。关于肖恩伯格第二观点中提到的相关关系,我了解到他所说的总数据不是指数量,而是范围,即大数据的随机样本不限于目标数据,而是目标数据。还包括目标以外的所有数据。 。我认为大数据分析不能排除随机抽样,但应扩大抽样方法和范围。 我同意Schönberg的第二点。我认为这是对他的第一点的很好补充。这也反映了精准沟通和精准营销。 “大数据的简单算法比小数据的复杂算法更有效。”它具有宏观视野和东方哲学思想。我不能完全同意Schönberg的第三点。 “这不是因果关系,而是一种相关关系。”“您不需要知道“为什么”,您只需要知道“什么”。沟通是数据,数据是关系。在小数据时代,人们只关心因果关系,而对相关关系缺乏了解。在大数据时代,相关的关系非常重要。不能过分强调它,但不应完全排除它。大数据来自哪里?为什么要使用它?如果我们完全忽略因果关系并且不了解大数据的因果关系,那么大数据的人文价值将被消除。如今,许多学者经常发表令人惊讶的讲话,以解释和传播他们的观点,并完全否定了旧思想。 世界上所有事物的复杂性和多样性不是一个简单的事物,难道是伯格?其实不是。 ()阅读时,读者必须清楚地看到自己在说什么背景,并且不要因阅读浅而陷入语境之外的误解。例如,当Schönberg提出“不是因果关系,而是相关性”。当他发表论文时,他在书中还说:“在大多数情况下,一旦我们完成了大数据的相关性分析,而当我们对只知道“什么”不再满意时,我们将继续研究在更深层次上建立因果关系,并找出其背后的“原因”。” [i]由此可见,他所说的“所有在特定上下文中的数据和相关关系”都是数据挖掘中的选项。 大数据研究的主要推动力之一是商业用途。在第二部分中,Schönberg讨论了大数据时代的业务变化。舍恩伯格认为,数字化意味着一切都可以“量化”。大数据的定量分析可以有效回答“什么”的问题,但仍不能完全回答“为什么”的问题。因此,我认为定性分析和定性研究不能排除。毫无疑问,数据创新可以创造价值。在讨论大数据的作用时,Schönberg仍然将其放置在数据应用程序的业务系统中,而不是将其放置在整个社会系统中,但是他在大数据时代的管理改革的第二部分中讨论了这个问题。在风险社会中,信息安全问题变得越来越突出,数据*和隐私保护已成为矛盾。如何摆脱大数据的困境? Schönberg试图在“控制”的最后一节中回答,但这基本上是陈词滥调。我认为也许凯文·凯利(Kevin Kelly)的“失控”可以帮助我们回答这个问题?至少它可以提供更多的思考维度。正如Schoenberger在结论中所说:“大数据并不是一个充满算法和机器的寒冷世界,人类的作用无法完全取代。大数据为我们提供的不是最终答案,而只是参考答案和帮助。这是暂时的,更好的方法和答案将在不久的将来出现。让大数据讨论从自然科学回到人文和社会科学。由此推断,“大数据时代”不是最终的答案,也不是标准的答案,而只是参考答案。 另外,在阅读本书之前,您必须具有一些数据科学的基本知识和基本概念,例如什么是数据?什么是大数据?数据分析和数据挖掘之间的区别,数字化和数据化之间有什么区别?阅读前做一些功课将更容易理解。 看完大数据时代(三) 我们不再热衷于寻找因果关系,而应该寻找事物之间的关联。这个主张是我读完本书后最大的感受。个人认为这也是本书的核心思想。让我们从头开始。首先,这本书提出了一个命题,颠覆了我以前的认识-“不是原子,而是信息是一切的源泉”。它把世界视为信息和可理解数据的海洋,为我们提供了前所未有的视角。这是一种可以渗透到生活所有领域的世界观。该建议在本书最后一部分的特定段落中进行了描述。之所以将其置于最前沿,是因为我认为这是谈论数字世界的前提,自然也是谈论大数据的前提。本书中间有一节专门讨论数字化和数字化之间的区别。在整理好自己的想法之后,我将数据世界的提议列为大数据思考的第二步。在这一点上,我不禁要反思我是否意识到这本书的本质(我认为的本质)是第一句话。因为回顾我的整体思维,我仍然按照因果思维的旧模式来思考问题。本书吸引我的另一件事是,有很多观点,将从哲学的角度进行讨论。尽管我的胃里没有太多墨水,但是当我阅读这些说明时,我会发现我会更好地理解作者提出的主张。例如,书中有一段 当我们说人类通过因果关系了解世界时,我们指的是我们用来理解和解释世界上各种现象的两种基本方法:一种是通过快速而虚幻的因果关系,另一种是通过缓慢。 ,有序的因果关系。大数据将改变这两种基本方法在我们对世界的理解中所扮演的角色。 附加一些示例时,查看作者提供的“本质”很容易理解。确实是这样。好的,大数据对我们来说有什么变化,作者给出3分, 大数据的本质在于我们信息分析的三个变化。这些变化改变了我们理解和建立社会的方式。 第一个变化是,在大数据时代,我们可以分析更多数据,有时甚至可以处理与特定现象有关的所有数据,而不是依靠随机抽样(样本=总体) 第二个变化是,有太多的研究数据,我们不再热衷于追求准确性 第三个过渡是由前两个过渡引起的,也就是说,我们不再渴望寻找因果关系,而应该寻找事物之间的相关性。大数据告诉我们“什么”而不是“为什么”。在大数据时代,我们不需要知道现象背后的原因,我们只是让数据说明一切。 ,资料来源:美国短文(),请保留此资料用于转载,否则将追究责任,谢谢您的支持,我们会做得更好! 众所周知,人脑具有将新输入的刺激或信息与“过去的经验或积累的知识”进行比较,然后进行调整和接受的功能。如果摆在面前的新现实无法与大脑中存储的固有信息协调,您将无意识地拒绝接受新现实(好像您没有看到过)。或使用自己的半知识任意猜测,并使您认识到的情况与现实背离(产生一种幻觉)。这是人的本能,目的是使自己保持冷静。 因此作者称之为革命。 说了这么多,大数据带给我们什么?在这里,我只想谈一谈我最深刻的感受。其他感兴趣的人可以自己学习。当然,这本书中有很多提及。最多的是XXX公司或个人通过使用大数据创造了多少财富。除了这些肤浅的事物,最令我着迷或最害怕的是预测。这是大数据带来的核心。无需重复您的热情理由。电脑会告诉您何时购买哪个双色球赢得头奖。考虑一下您是否有点兴奋。当然,这只是我所做的夸张隐喻。至于恐惧,书中有一段我非常喜欢 公平与正义的基础是,人们只有在做某事时才需要对某事负责。毕竟,想做而不做不是犯罪。承担个人责任的社会责任的基本宗旨是人们对自己选择的行为承担责任。如果大数据分析是完全准确的,那么我们的未来将得到准确的预测。因此,将来,我们不仅会失去选择权,而且还会根据预测采取行动。如果准确的预测成为现实,我们将失去*意志和*选择权。由于我们别无选择,所以我们不需要承担责任。这不是讽刺吗? 顺便说一下,这是书中关于*意志的另一种描述 在哲学界,关于因果关系是否存在的争论已经进行了数百年。毕竟,如果一切都有因果关系,那么我们就无权决定任何事情。如果我们说我们做出的每个决定或想法都是其他事情的结果。并且此结果是由其他原因引起的。在这个周期中,没有*意志的东西。 -所有生活轨迹仅受因果关系控制。因此,哲学家一直在争论因果关系在世界上的作用,有时他们认为这与*意志相反。 这本书举了一个例子,电影《少数派报告》,当我看到这个电影时,“哦,我实际上看了这部电影,想一想,我还是有点激动”,如果有兴趣的话可以去看一下,这很可能意味着警察利用预言提前逮捕了囚犯,而不是通过大数据,而是通过超人方法。当您的行为可以预测时,就等于您完全暴露在阳光下。如果您被自己取代,那么您会害怕。 最后,我附上两个结尾的段落,一个是书中的一个段落,另一个是我自己写的。 大数据并不是一个充满算法和机器的冰冷世界,人类的作用无法完全取代。大数据提供的不是最终答案,而是参考答案。帮助是暂时的,更好的方法和答案将在不久的将来出现。 大数据最终将影响我们,就像其他技术一样,它将是一把双刃剑。它被很好地使用,诱惑,滥用和恐惧。就像核技术一样,如果使用核技术,它将使地球受益,滥用它并为您提供钻石地球,它仍然会爆炸。正如笔者所说,我相信大数据的未来发展将是生活,工作和思维的一场革命。
7、更多:不是随机样本,而是所有数据;