首页 > 其他分享 >陆奇:数字化的本质

陆奇:数字化的本质

时间:2023-06-12 11:34:52浏览次数:30  
标签:数字化 存储 数据源 本质 信息 陆奇 数据

疫情期间,在每日的跑步过程中,听完陆奇的一门混沌课程《数字化浪潮与创新机会》。

这门课,我听了三遍,或许因为不够聪明,有些地方不甚理解,就带着问题再听一遍。

陆奇提到的一个思考方法,来自Richard Feynman,1965年诺贝尔物理奖得主,被认为是爱因斯坦之后最睿智的理论物理学家。

For things I do not konw how to create it I do not understand.

他是说,如果有件事情我没法建立它,我就没法真正理解他。

他的建立,不是真正的物理上的建立。对任何一个复杂体系,如果你想得深,你把它拆解成子问题,对拆解到一定阶段以后,对每一个子问题想清楚之后,去跟大学本科生(非专业视角)交流,如果大学本科生能接受,他就认为这个子问题的答案是成立的,然后把所有子问题的答案,组装成对原来问题的解答,这样的话就变成一个结构化的思维。

你可以按照这个方法,对任何一个复杂问题,都可以想的更深,看得更远,这是分享一个简单的陆奇常用的一个思考方法,也是我深以为然的方法,我用这个方法给很多人讲企业数据运营体系的构建。

没想到,今天听陆奇的课,不仅采用了大致一样的方法,并且,对数字化的理解,我们拆分出来的本质过程竟然趋于一致。

起点学院的很多同学听过BLUES讲的这门课程《数据驱动产品迭代》。

什么是数字化的本质

我们每天都讲数字化产业,那么什么是数字?

数字化的核心要素有6个组成部分,缺一不可。

第一是获取信息,对某个自然现象或者社会现象。BLUES的理解,就是数据源是什么,数据从哪儿来,如何产生。

第二是表达信息,用某一种简洁的,可以用来计算用的一个表达方法。BLUES的理解,这里是数据的定义和描述,例如在做数字化的时候,就是做数据的指标定义,数据指标体系的构建,公式定义。

第三是存储信息,把表达好的信息存储在某一种物理媒体上。这个比较好理解,就是建立数据存储机制,按照一定的存储规则,建立数据仓库、数据湖,建设数据中心,进行数据存储。

第四是传输信息,用某一种传送机制(transport)来传输信息,就是数据从数据源传输到数据存储系统。

第五是处理信息,这是最核心的,通过计算的方法来进行针对性的处理,针对某个任务,针对人类的某个需求进行处理。

第六是交付信息,将处理好的信息交付给端点(end-point)来达到目的。

概括一下,就是下面的这个表格。

 

听到这里,我当时是在跑步机上跑步,不由得笑起来,大道相通,我做了十多年的数字化工作,也是契合了这六个本质,后来总结了自己在腾讯、YY语音、迅雷等公司做数据运营的经验和方法,最底层的逻辑,就是这六个核心要素。

来看看BLUES做数据运营分享课程的三张PPT页面。

第一张PPT,是2009年,BLUES在腾讯做数据运营时候,上的一门数据课程,将数据系统分为:数据源、数据传输、数据存储、数据计算、数据表达、数据应用,六大部分,和陆奇的提炼几乎吻合。

 

第二张PPT,是亚马逊的物联网、大数据和人工智能技术的集成系统,从六个本质来看,一样是契合的,数据源变得更多样,包括了交易数据、ERP数据、日志数据、连接设备的物联网数据、社交媒体数据等。

 

通过采集接入传输,经过数据ETL清洗,流入数据湖进行存储,黄色框内是数据处理分析计算,然后提供数据服务,最后到数据应用模块,提供给数据科学家、数据分析、业务用户、客户支持平台,自动化/事件管理。

第三张PPT,是腾讯2016年时候的一张数据系统架构图,一样的契合陆奇提炼的六个要素。

 

左边是当时的七大事业群,数据获取来源于各个事业群的产品,例如在线消息、离线文件、DB-Binlog等。

数据进入腾讯数据系统的TDBANK(实时数据接入平台),这个部分负责数据的传输,包括格式适配、加密传输,然后进行缓存分发。

数据存储部分是TDW(分布式数据仓库),由查询引擎、计算引擎、存储引擎构成。

实时运算系统(TRC)进行数据的实时处理,秒级的计算,应用到实时精准的个性化推荐平台。

大家可以注意到,这六个要素,陆奇说第五个处理数据,是最核心的,是体现数字化效率的最重要的部分。

对于很多传统行业,要实现数字化,最基础的,最难的,其实是第一个部分,数据获取,也就是数据源,这个难,不是技术的难,而是人,是思维方式的难。

传统行业,很多时候,是单兵作战,没有特别高效的协同能力,看起来也能独立存活,即使没有数字化,自己单店经营,貌似也活得不错,所以,将一个事业做大,尤其是原来这个传统行业就做的挺大的,而且也没有借助特别高效的数字化手段,那么原来做这个行业的人,就对数字化有排斥感,就是不需要什么数字化,也可以活,至少目前可以活。搞数字化,反而是投入大,产出小的一件事情,至少,在他们在任的这几年,数字化不一定能马上发挥作用。

这也是一种事实,数字化的过程,是需要积累的,数据从产生到积累,存储到运算,到算法的不断完善,机器学习的不断深入,计算的速度逐渐提高,数字化的效用才逐步体现。

人类历史上的三大财富创造体系

 

第一是农业体系。农业体系的核心是通过利用土地和光合作用来创造财富,在这个阶段,人所需要的只是简单的工具,并不需要处理大量的信息。但是限制也很明显,那就是产量基本取决于土地的大小,产出效率是比较低下的。

第二是工业体系。工业时代是财富创造的第二曲线,它用的是化学能源,采用电力传输的方式,大规模的整合了人的技能。为了更好地融入工业社会,我们需要在大学学习专业的技能,然后参与到社会分工中去。本质上说,工业时代依靠的是化石能源和人的技能。

第三是信息与知识体系。从图中可以看到,在这个时代,财富创造的速度远远超过工业时代的增长速度。本质上讲,这个时代,创造财富的核心驱动力是通过信息、数字化在信息当中抽取知识,用知识不断重组人类社会的现有资源,最终实现财富的快速创造。大家可以回顾一下20年之前全球最大的10家公司,基本上都是石油、汽车企业。而现在,高市值公司基本变成了高科技公司,他们创造财富的核心能力是数字化。

数字化与智能商业

听完陆奇的课,就想起去年看过的阿里副总裁曾鸣的一本书《智能商业》,非常通俗的讲述了阿里的数字化过程,也就是智能商业形成的过程。

未来商业的核心有三个要素:

(1)数据化:以数据方式,记录用户所有的操作行为。

(2)算法化:根据数据,提出优化的算法模型。

(3)产品化:和客户直接连接,形成反馈闭环,进一步提高算法能力。

首先是数据化的效率在很大程度需要在线化,通过移动互联网、物联网让交易过程每个环节在线,提高数据产生的效率,然后形成网络化,各个部分之间产生网络连接,数据互通,最后一个阶段是智能化,基于前期大量的销售数据、用户行为数据、交易数据,形成智能算法,让商品的搜索结果更加精准,让商品的推荐更加个性,机器比用户更了解用户想要什么,真正做到淘宝的千人千面,并随着数据的不断流动,形成数据回流,完成了淘宝的数据闭环构建。

在企业数字化进程当中,要走向商业智能,企业必须拷问自己四个问题:

(1)企业是否最大限度实现网络化?

(2)企业能否尽可能的引入机器的学习效应?

(3)企业能不能在网络扩张的过程中,尽可能用机器决策取代人工决策?

(4)企业能否让自己收集的数据与更多不同类型的数据进行交换?

这四个问题,就契合了数字化的六个组成部分,网络化让数据获取和传输和存储更加高效,机器学习让数据计算更加智能,机器决策取代人工决策就是数字化的交付成果。企业让自己的数据与更多不同类型的数据进行交换,就是让数据的获取、数据处理更加开放,更多的数据会让机器学习加速自身的完善。



标签:数字化,存储,数据源,本质,信息,陆奇,数据
From: https://blog.51cto.com/u_14347868/6460988

相关文章

  • 企业如何进行数字化建设
    很多企业都开始数字化建设,并探索不同工具和方法来实现。然而,企业往往又会被不同的解决方案所困惑。那么,企业应该如何选择大数据解决方案呢?主要考虑以下6个重要方面:01分析蓝图无论是从哪一类具体的分析需求开始,对于分析的构建,都需要设想整个蓝图。在构建企业分析时,有三个维度是很重......
  • 数字化工厂
    当下,打造数字化工厂成为许多企业的重要目标,但还没有哪家企业宣布自己已经建成了一个完全数字化的工厂。那么,数字化工厂是什么?如何才能打造一个真正的数字化工厂?数字化工厂是什么?所谓数字化工厂,就是相较于传统工厂的数字化转型升级。在数字化工厂中,多会利用物联网技术,实现设备、人、......
  • 数字化营销的要点
    ......
  • 新锐品牌数字化运营五大方法论
     01管理驾驶舱建设方法论随着中国社会数字化基建逐渐完善,企业成功越来越依赖“数据驱动”的科学决策。新锐品牌创始 团队往往具有优秀的“数据基因”,善于通过数据进行精细化管理,实现企业经营策略的快速落地 和反馈迭代。(1)三流合一,管理变革数据平台建设从来不是一个软件产品或技......
  • 透过 Go 语言探索 Linux 网络通信的本质
    前言各种编程语言百花齐放、百家争鸣,但是“万变不离其中”。对于网络通信而言,每一种编程语言的实现方式都不一样;但其实,调用的底层逻辑都是一样的。linux系统底层向上提供了统一的Socket通信系统函数,动态链接库/lib64/libc.so中就是实现网络通信的关键类库。下面我们会以Go......
  • Cassandra 的数据存储结构——本质是SortedMap<RowKey, SortedMap<ColumnKey, ColumnV
    Cassandra的数据存储结构Cassandra的数据模型是基于列族(ColumnFamily)的四维或五维模型。它借鉴了Amazon的Dynamo和Google'sBigTable的数据结构和功能特点,采用Memtable和SSTable的方式进行存储。在Cassandra写入数据之前,需要先记录日志(CommitLog),然后数据开始写......
  • sphinx索引文件进一步说明——最好是结合lucene一起看,直觉告诉我二者本质无异
    Sphinx使用的文件包括“sph”,“spa”,“spi”,“spd”,“spp”,“spm”,还有锁文件。其中sph是系统的配置文件。其它则为索引文件。.Spi文件:保存WordId及指向此WordId对应的文档信息在spd文件的指针。Spi文件在检索程序启动时完全加载入内存。Spi文件是分块的,块内排序,块之间也......
  • 加速金融营销科技价值发现,神策数据双引擎赋能数字化客户经营
    6月9日,「开放融合,引领营销5.0新纪元——暨2023年金融营销科技价值发现论坛」在中国·杭州成功举办。神策数据创始人&CEO桑文锋发表了《双引擎赋能数字化客户经营》的主题演讲,并与数十位来自银行、证券、保险、互联网金融等领域的资深专家,从行业实践出发,聚焦金融营销科技......
  • 数据门户对企业数字化转型的意义
     随着信息技术的快速发展和互联网的普及,企业数字化转型已成为当今商业领域的关键议题之一。在这个信息爆炸的时代,数据的价值不言而喻,因此,企业数字化转型迫在眉睫。数据门户作为企业数字化转型的关键组成部分,扮演着至关重要的角色。本文将探讨数据门户对企业数字化转型的意义,并分......
  • 互联网3.0:数字化经济
    在当今数字化时代,互联网3.0正在以惊人的速度崛起,并带来了前所未有的数字化经济机遇。这一新的互联网时代正深刻地改变着商业模式、就业机会以及全球经济格局。作为未来价值互联网基础设施的重要组成部分,智能生态网络(IEN)通过改进信息中心网络架构,综合分布式人工智能和区块链技术,构建......