社区编辑申请
注册/登录
数据仓库有坑怎么办,如何从0到1来填坑
大数据 数据仓库
这种数据仓库体系,最典型的特征,是找数据只能给表,无法通过规范自主查找;看逻辑只能问人,无法通过模型设计快速了解;问业务只能靠求,别人管不过来自己的事情了,哪有时间来管你?

本文转载自微信公众号「晓阳的数据小站」,作者晓阳的数据小站。转载本文请联系晓阳的数据小站公众号。

0x00 什么是数据仓库的坑

“填坑”是一个新人刚加入团队,或者是接手一个新业务,所以经常需要面对的事情。

“坑”的出现,与历史业务的发展,密切相关。通常体现在:业务快速变动、人员快速流动、系统化建设能力弱、强行上马面子工程等情况。虽然数据开发人员能够意识到数据仓库规范性的重要,但迫于日常的数据开发压力,往往只能匆忙的制订一份规范,在实际开发过过程中,往往又无法完全照搬落实,因此形成了一个“不成熟”的数据仓库体系。

这种数据仓库体系,最典型的特征,是找数据只能给表,无法通过规范自主查找;看逻辑只能问人,无法通过模型设计快速了解;问业务只能靠求,别人管不过来自己的事情了,哪有时间来管你?

但是!我们不能坐以待毙,面对“理想”与“现实”的差距,我们必须有一套成熟的应对方法,才能在纷乱的业务中,找到不变的哪条主线。

“对标!对标!再对标!”只有标杆有了,做事才能有章法,数据才能不错误。

0x01 理想的数据仓库是什么样子

这个标杆是什么?就是一个理想的数据仓库模板。

做过数据仓库的通过,基本上都了解,一个数据仓库从0到1的过程中,会经过三个阶段:

  • 第一个阶段:简单报表 + 数据库阶段;
  • 第二个阶段:数据集市 + 产品功能阶段;
  • 第三个阶段:数据仓库 + 主题划分阶段。

而相对成熟的数据仓库,则有如下几个发展的方向:

  • 数据产品,通过产品化方式来辅助决策,服务业务方;
  • 数据运营,革新公司的运作方式,通过数据来运营业务,常见于电商行业;
  • 实时数仓,通过前沿的数据技术,来革新数据使用方式,带来技术竞争力;
  • 数据分析,通过配合分析师,贴近业务并发现问题,指导产品或业务迭代;
  • 数据挖掘,通过算法的力量,来给业务带来智能化的色彩。

具体每个阶段就不展开描述了,但我们可以比较清楚的看出来,数据仓库是业务从混沌走向数字化的关键环节,是承上启下的枢纽,虽说没有数据仓库同样能够进行启下的工作,但是其投入与产出终会因投入产出不成正比而无法持续的进行下去。

数据仓库的建设,是一项系统化的工程,但核心点就在三处:

第一处,规范层,比如表命名规范、刷新策略规范、数据存储生命周期、字段命名规范、指标命名规范、时间维度规范、SQL编码规范,等等,旧的业务可以不改造,但新的业务必须按照新的规范来。

第二处,主题域,也可以根据主题域,再细分为数据域,当前很多大公司普遍开展比较广的业务范围,仅电商就包括B2C、C2C、B2B、B2B2C等多种不同的业务模式,每种模式都具有自己的特点。同时,ToB的企业服务市场也正在蓬勃发展,因此企业级市场又面临人力、行政、法务、场地、财务等多种不同的主题组合,因此找公司业务负责人聊一聊,先把公司的业务范围是什么、系统有哪些、数据库有多少分类、数据同步的方式如何,这些关键因素搞清楚,主题域才能够做到合理划分,避免后续大规模大范围的调整。

第三处,数据分层规范,通常情况下,数据是分为ODS/DWD/DWS/ADS四层,一致性维度放在DIM中。这里再强调一下各层不同的地方。

ODS:源系统数据接入的地方,也是数据仓库沉淀数据的核心,通常只存储、不改造;

DWD:数据明细层,可以遵循三范式关系模型,也可以按照维度建模针对事实表做设计,对生产数据进行各种经营分析口径的加工转换;

DWS:数据汇总层,主要是为了日常运营中快速反映各业务部门的数据需求,建立各种数据模型,对明细类数据进行分主题、分维度的聚合汇总;

ADS:数据出口层,面向需求做设计,是支撑需求和应用的数据重要出口,针对诸如行列转换、数据剪裁、数据加密等实际的业务场景;

DIM:一致性维度,不再赘述。

以上是一个理想数据仓库的“雏形”。

0x02 我们有哪些方法来填坑

我们识别出了业务的问题,也有了建设的目标,下一步就是找策略、讲打法的阶段了。

首先,针对数据仓库的改造,要有一套清晰的主线逻辑,大致包括如下几个部分:

  • 识别环境:包括外部环境和企业内部资产;
  • 寻找问题:发现并标记当前业务中存在的问题;
  • 整理业务:找熟悉公司业务的人,整理业务大图;
  • 制定标准:按照理想数据仓库的规范,整理团队自己的标准;
  • 建立流程:将日常的开发行为,不断的与规范进行对焦;
  • 执行落地:通过监控、CodeReview等方法,强力落地;
  • 总结思考:阶段性的总结问题,并进行改进。

接下来分阶段阐述:

识别环境:PMP中将项目的外部环境,定位了事业环境因素和组织过程资产,两大部分。针对事业环境因素,往往公司进行数仓建设时,都是在业务高速发展的大背景下开展的,数据开发与分析师团队,面对强大的业务需求压力,会寻求进行可靠的配合,识别团队中靠谱的人,进行合作并推动项目落地。针对组织过程资产,企业往往会有各种各样的业务,以及各种不同的文档,在数仓团队进行落地的过程中,是需要借鉴并参考大量的公司材料,整理团队自己的业务大图,同时尽可能的复用公司已有的技术工具,将精力更加聚焦在数据仓库本身的业务上。

寻找问题:数据仓库的建设,本质上“没有对错”之分,只有相对合理与否的区别,一个好的数据仓库工程师,一定能够发现很多问题,从问题中总结共性的问题出来。这些问题既不会因为公司壮大而消失,因此及时总结的问题,制定合理的应对方法,并将知识传承给新加入团队的人员,共同做大做强,是数据仓库走向成熟的标志之一、

整理业务:整理业务的“输出”,应该是部门业务大图、数据流程大图、数据仓库地图、数据文档集合等内容。我们梳理一个复杂的知识体系,往往要从“点、线、面”三个角度,来串起整体业务。点是指每次做项目的文档,详细记录的需求背景、需求详情以及数仓的设计思路;线是指我们的数据产品/分析专题/业务环节,将针对某个问题的分析或者剞劂思路展示出来;面是指业务大图、流程大图、数仓地图等不同角度看数据的方式,根据内容不同,提供给数据、业务、分析师等各方使用。“点、线、面”的方式,能够很好的消除信息不对称、数据查找、历史业务理解等问题。

制定标准:规范、主题域、数据分层,因为不同公司的业务千差万别,成熟的业务,如电商,已经走向了全面算法化、分析化的地步,但也有很多创新型的业务,能够建设出基本的数据仓库体系,就算是业务上的一大突破了。因此,虽然面上的事情是大体相同的,但是细节的调整,还是需要开发团队自己来斟酌衡量。

建立流程:数据开发的流程,分为代码提交时的CodeReview、数据上线前的自测、数据运行时的监控、项目交付前的测试、以及最终的业务验收。但很多时候,为了避免数据出问题,我们会定下许许多多繁琐的标准,这些标准会多多少少的拖累数据开发的进度。注意,不要矫枉过正,过份的追求规范,会影响日常的数仓建设进度。

执行落地:大多数情况下,团队都是按照项目制的方式,来组织相关的开发工作,因此除了PRD评审外,数据团队还应该有自己的技术评审,详细讲解业务的背景、E-R关系、模型设计方法、模型开发方式、数据规范与质量保障、数据出口、数据自测方式等内容,你可以不严格执行这些过程,但也一定不能完全忽视这些过程。

总结思考:没有什么规范是永恒的,同时也没有什么问题是不会新增的,定期 Review团队的工作过程,在周会、内部分享、外部合作等场景下交流经验,是很有助益的。

0xFF 避免挖新坑的关键因素

避免“新坑”,核心在人,抓手在新人的招聘。

我一直认为,每个人做的选择,在当时的情景看来,都是最合理的选择,无论旁人看起来如何的不靠谱。无他,趋利避害的人性使然。

每个人的职业生涯都有各种不同的选择,或为了一份大厂的经历、或为了一种轻松的生活、或为了一份赚钱的机会、或为了自己的人生理想。但技术人,由于其职业的特殊性,往往其职业发展都是相似的:【技术达人】 - 【独当一面】 - 【领域专家】 - 【团队Leader】 - 【部门领导】。只要认真工作5-7年,成为某个领域的专家,也就是P7的级别,并不难。但是再往后走,讲道理,绝大多数团队,不需要多个Leader,因此就非常讲究时运了。

因此,新人的加入,一定要看清楚加入的目的是什么、对于团队的诉求如何,毕竟我们不希望人员一直是流动的,因为再好的规范和方法,也是需要人来传承的,但团队流动性很高时,旧的坑即使填上了,新的坑也会不断的被挖出来。

这也是HR一直在强调:“我们在招聘自己的同事”,发动大家一同招聘的原因。

 

有道是:“谋事在人,成事在天”,我们年轻的时候,都有选择的权利,只是不论是年岁增长、还是职级晋升,往后的选择,会越来越少。这种选择,不仅仅是招聘一个新人的公司成本,也是职业发展的个人成本。

 

责任编辑:武晓燕 来源: 晓阳的数据小站
相关推荐

2022-06-05 21:09:47

Python办公自动化

2022-06-15 11:51:14

Vue3开发避坑

2022-06-13 08:00:00

数据湖数据仓库大数据

2022-06-15 08:25:07

Python天气数据可视化分析

2022-06-15 10:30:07

数据中心5G蜂窝网络

2022-06-15 08:21:49

Linux运维工程师

2022-06-22 05:53:49

城域网广域网VXLAN

2022-06-28 11:16:36

机器学习数据科学

2022-06-29 14:46:00

网络攻击数据泄露勒索软件

2022-06-21 10:04:25

数据中心智慧城市

2022-06-28 22:13:33

Polars数据处理与分析

2022-06-29 09:43:14

SQL优化数据库

2022-06-15 16:16:21

分布式数据库鸿蒙

2022-06-08 13:25:51

数据

2022-06-27 15:25:08

架构模型治理

2022-06-21 21:47:13

数据系统

2022-06-28 14:47:43

数据中心服务器科技

2022-05-31 06:04:14

2022-05-19 19:14:30

数据中心纵向扩展横向扩展

2022-06-09 09:38:39

Cloudlets云存储

同话题下的热门内容

高考大数据:2022年最有“钱”途的十大专业如何设计数据可视化平台七个好用常见的大数据分析模型王晶晶:京东零售海量日志数据处理实践如何用好数据科学?“2022大数据十大关键词”发布:数据中台、数据分类分级等上榜七张图,学会做有价值的经营分析浅谈大数据的数据灾备建设

编辑推荐

使用Pandas&NumPy进行数据清洗的6大常用方法2018年7款最佳免费数据分析工具pyspark访问hive数据实战【漫谈数据仓库】 如何优雅地设计数据分层人工智能、大数据与深度学习之间的关系和差异
我收藏的内容
点赞
收藏

51CTO技术栈公众号