下载APP
关闭
讲堂
部落
算法训练营
架构师训练营
企业服务
前端训练营
客户端下载
兑换中心
渠道合作
推荐作者
开篇词 | 数据中台，是陷阱？还是金钥匙？
2020-03-30 郭忆
数据中台实战课
进入课程
讲述：郭忆
时长12:05大小11.08M
你好， 我是郭忆，网易大数据平台的负责人，你叫我老郭就可以了。最近我响应国家号召，添了二宝，成了“超级奶爸”，再加上咱们课程上线，生活比较忙碌。不过忙归忙，一想到能和你在这里相遇，心里多多少少有些紧张和激动。
为了加深彼此的了解，我先简单介绍一下自己。我在网易主要负责大数据平台团队，对内服务于网易各个业务线（包括网易云音乐、严选、有道、新闻，以及已经离开网易大家庭的考拉），主要是为业务提供大数据建设需要的产品和技术；对外呢，主要帮传统企业实现数字化转型，提高运营效率，我们的客户涉及零售、教育、农业、金融、物流等多个行业。
前段时间，我带着团队，在网易完成了多个业务线的数据中台项目落地，有了一些量化的成果，也获得了业务方的高度认可。除此之外，我还总结了一套数据中台建设的方法论，以及经过实践验证的数据中台支撑技术体系，再加上自己在数据领域积累了十多年的经验，所以我觉得自己可以在这个时间点跟你聊一聊，到底什么是数据中台？如何来建设数据中台？数据中台有哪些应用价值？
说到数据中台，你肯定不陌生，从 2018 年末开始，它突然在大数据圈儿走红。大家聊天如果不提中台，好像就落伍了。也正是因为数据中台，大数据受到了前所未有的关注。作为一个数据人，我非常高兴，也感到责任重大，因为大家对数据中台寄予了很大的期望，把它当作企业数字化转型的金钥匙，投入了上百万，甚至是千万，希望解决企业经营效率的问题。
但是我们也看到一些企业未能达到预期的结果，比如说，指标口径不一致造成数据不可信；数据经常无法按时产出，影响工作效率；敏感数据泄露，引发安全危机。最终的结果就是数据不好用，无法发挥应有的价值。所以有人泼冷水说：数据中台就是一个充满诱惑的陷阱，看上去很美好，但是根本不可能落地成功。那数据中台到底是陷阱？还是金钥匙呢？ 为什么这些项目很难成功呢？
在我看来，这里面既有客观原因，又有主观原因：
客观上讲，数据中台的建设是一项系统性工程，从组织架构、支撑技术到流程规范，既要有宏观的顶层设计，又要有强有力的落地执行，所以对整个团队的要求会比较高；
从主观上讲，这些企业本身数据建设经验不足，或者还处于比较初级的阶段，不知道数据建设中有哪些痛点，更不知道用什么样的技术手段和管理机制去解决这些问题。
两方面的原因最终造成数据中台项目往往虎头蛇尾，开始的时候规划得很大，实际却草草收场。而我希望通过这门课程，帮你少走一些弯路。
如果你是一名数据开发，每天累死累活地做需求、排查问题，还天天被人怼，嫌质量差、嫌速度慢；如果你是一个企业的数据负责人，正在为如何建设数据中台而犯愁，不知道如何向你的老板描述数据中台的价值；如果你是一个企业的老板，觉得目前企业的经营太过粗暴，决策完全凭经验，拍脑袋决定，需要实现数字化转型，提高企业经营效率。
那么我相信这门课会对你有一定的启发和帮助，这也是我写这个专栏的初衷。
当然了，在你打开这个专栏之前，也许看到过很多“洗脑”的文章，比如《数据中台，企业数字化转型的利器》《迷信中台是一种病，得治》。值得肯定的是，这些文章很好地宣传了数据中台的理念，让数据中台一跃成为网红。
可如果你认真分析这些文章，就会发现它们太过抽象，很难有可以执行落地的方案，也缺少实践的案例，对应用价值的描述缺少量化的成果，更像是一些项目感悟。比如，赋能业务是这些文章反复提到的点，但具体如何赋能？赋能得怎么样？业务得到了哪些改变？这些却很少提及。
总的来说，这些文章与实际数据中台建设的距离比较远，可供学习和参考的内容非常有限。我相信，对你来讲，最想知道的是大量的实践案例，从概念到实现，如何来搭建一个数据中台，让数据好用。 我举个例子，很多文章会提及避免烟囱式的开发模式，可具体怎么做呢？如果你已经是烟囱式的开发模式，实际存在了很多分散的小数仓，那怎么样才能让它变成一个数据中台呢？我想这才是你最关心的问题。
这也是我写这个专栏最大的不同，那就是结合网易数据中台的实践经验，给你大量一线的案例。结合这些案例，你能由浅及深地了解数据中台如何在企业落地，而不仅仅浮于概念的表面。此外，在每篇文章结束前，我还为你准备一个思维脑图，帮你梳理每篇文章的知识点，让你形成知识体系，帮你融会贯通。
如果用一句话概括我的讲解方式，那就是从原理到实现，最后到实践。你从中既可以看到数据中台支撑技术的全貌，又不会错过每一个实现细节。配合大量的实践案例，你可以深入掌握数据中台的落地过程。
为此，我把内容划分了原理篇、实现篇。
在原理篇中，我会告诉你数据中台的来龙去脉，数据仓库、数据湖、大数据平台以及数据中台的区别，以及它们有什么样的内在联系，然后会跟你讨论什么样的企业适合建数据中台。最后，我会从全局的视角出发，讲解数据中台如何在企业落地。
通过原理篇的介绍，我希望可以回答你三个问题：什么是数据中台，数据中台解决了什么问题，如何来规划数据中台的建设。
实现篇是我讲解的重点，我会基于数据中台支撑技术的整体架构，逐一讲解每个模块的具体实现。
在这部分内容讲解中，我会遵循从问题入手，然后给出解决方案，接着评估解决的效果，最后问题解决不是一次性的工作，为了使得问题得到长久化的解决，需要借助产品化的实现方式，所以最后我会讲如何将管理方法沉淀成产品。
接着我会讲解数据服务化相关内容，比如告诉你为什么要实现数据服务化，如何设计一个数据服务。数据安全也是数据中台的核心内容，尤其是随着最近删库跑路的热点事件，安全问题也被企业越来越重视，那么我们将讨论如何实现精细化的权限管理，如何做好企业数据的备份。
最后，我会讲一下基于数据中台之上的通用数据应用（包括自助取数、可视化分析等）。在这个过程中，我会以电商场景为例，通过大量的案例，帮助你理解这些问题以及问题的解决过程。
通过实现篇的学习，你可以了解企业在数据建设中到底存在哪些痛点，如何解决这些痛点，这些经验和案例可以立即应用到你目前的工作中，帮助你解决当前遇到的问题（例如指标口径不一致、数据无法按时产出……）。
除此之外，我会以网易电商的数据中台为例，从项目立项、推进到成果汇报，详细地描述数据中台在网易电商的落地过程。同时我还会对数据中台未来的方向进行展望，包括实时数据中台、跨云数据中台、自动化代码生成能力、智能元数据管理和增强分析等热门技术方向的探讨。
总的来说，通过这个专栏，你将获得这样几点：
一线互联网公司数据中台的实践经验
大量实践案例讲解如何躲过数据中台建设的那些坑
可落地执行的数据中台建设方法
经过实践的数据中台支撑技术体系
最后，我想跟你说点儿掏心窝子的话，数据中台到底是陷阱还是金钥匙？我想这主要取决于你有多懂数据中台，把它用好了，绝对是企业打开数字化转型的金钥匙，用不好，那就是一个充满诱惑的陷阱。
因为我也曾和你一样，刚开始面对数据中台的时候，一点儿经验都没有，后来我一边探索，一边总结，不断反思和复盘，最终总结出自己的一套数据中台建设经验，我希望将这些经验分享给你，让你少走一点儿弯路，相信你只要肯下功夫学习，一定能够让数据中台成功在企业落地。
随时欢迎你在留言区与我互动，我们一起切磋！
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
下一篇
01 | 前因后果：为什么说数据中台是大数据的下一站？
写留言
精选留言(8)
2020-03-30以我现在的理解，数据中台就是一个基于数仓又高于数仓的系统。它就是把以往搭建一个数仓所要做做的，数据同步，清洗，建模，分析等工作自动化。你只需要有少量的数据经验，就可以通过数据中台快速搭建自己的数仓。当然，因为数据得以集中，也可以产生更大的数据价值，更少的数据接口，更快的数据服务。讲起来简单，落地非常困难～～～～一个盯着dataphin看了一个月的数据小白总结展开作者回复: 你好，我来点评一下哈。
首先，关于数据中台是自动化完成数据同步、建模、分析，这个其实不太准确。原先大数据平台，应该说就能够支撑数据研发链路的覆盖。数据中台更加关注在数据研发的效率、质量和成本三个方面。
其次，数据其中，产生更大的价值，更少的接口，更快的数据服务。
这个观点是正确的，数据的复用，提高了数据研发的效率。数据通过接口化的方式，提高了数据的接入效率和接入后数据的管理效率。 1 5
2020-03-30王健老师的《说透中台》去年学过：大数据接触不多，数据系统/中间件存储打了多年的交道，接触过敏捷、DevOps、SRE，中台其实只要用合适的中间件架构就好，目的还是为了数据公用-减少重复建设。 1 2- 2020-03-30现在在公司也正在做数据中台的建设的工作，所以很期待！！！
作者回复: 感谢， 希望我的经验可以帮助你建好中台，用好中台。
1 
2020-03-30对于数据中台了解还不够多，但是已经对于数据仓库和数据中台产生疑问了。
从老郭的介绍来看，在加一些我的拙见，数据仓库应该是数据中台的一部分，或许是更位于底层的部分，用来实现数据的统一聚集，进行分层。
工作中也经常是各种小数仓，每个部门各自有自己的数据，对于应用场景不一，经常的指标不一致，有了这个统一的数仓，再要实现上层的数据需求，是十分方便的展开作者回复: “数据仓库应该是数据中台的一部分，或许是更位于底层的部分”
这个观点其实不准确，应该说数据中台继承了数据仓库维度建模的设计方法。 1
2020-03-30开张了，十分期待展开作者回复:
欢迎多交流~ 1
2020-04-01不管是数据中台还是业务中台，归根结底都是业务驱动第一性原理，中台技术是方法工具，做任何系统之前，我们要深刻反思业务的来源、现状，未来，我们业务的核心价值观是什么？希望在郭老师的课程里除了学到数据中台技术，也能学到对数据业务的方法论😁展开
2020-04-01我想知道数据中台跟mdm主数据管理有什么区别？通常的主数据管理系统也会对外提供数据服务
2020-03-31今年公司进行数字化转型，一直在关注数据中台的课，极客时间上线课程就果断订阅了，希望能有所收获作者回复: 感谢订阅，希望你能够学有所获，真正把数据中台建好，用好，赋能业务。
