百摩网
当前位置: 首页 生活百科

数据仓库分层实战(为什么要给数据仓库分层)

时间:2023-06-07 作者: 小编 阅读量: 5 栏目名: 生活百科

此层数据通常来源与DWD和DWM层的数据。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。数据量可能是千万级或者上亿级别。在DWM层,我们会从DWD层中选取业务关注的核心维度来做聚合操作,比如只保留人、商品、设备和页面区域维度。最后,在APP应用层,根据需求从DWS层的一张或者多张表取出数据拼接成一张应用表即可。

(1)为什么要分层

作为一名数据的规划者,我们肯定希望自己的数据能够有秩序地流转,数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。

但是,大多数情况下,我们完成的数据体系却是依赖复杂、层级混乱的。如下图,在不知不觉的情况下,我们可能会做出一套表依赖结构混乱,甚至出现循环依赖的数据体系。

因此,我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序,这就是谈到的数据分层。数据分层并不能解决所有的数据问题,但是,数据分层却可以给我们带来如下的好处:

1)清晰数据结构:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解;2)减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算;3)统一数据口径:通过数据分层,提供统一的数据出口,统一对外输出的数据口径;4)复杂问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层解决特定的问题。

为了满足前面提到好处,通常将数据模型分为三层:数据运营层( ODS )、数据仓库层(DW)和数据应用层(APP)。简单来讲,我们可以理解为:ODS层存放的是接入的原始数据,DW层是存放我们要重点设计的数据仓库中间层数据,APP是面向业务定制的应用数据。下面详细介绍这三层的设计。

(2)数据模型的分层

1)源数据层(ODS)此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。

2)数据仓库层(DW)也称为细节层,DW 层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

此层可以细分为三层:明细层DWD(Data Warehouse Detail):存储明细数据,此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。

中间层DWM(Data WareHouse Middle):存储中间数据,为数据统计需要创建的中间表数据,此数据一般是对多个维度的聚合数据,此层数据通常来源于DWD层的数据。

业务层DWS(Data WareHouse Service):存储宽表数据,此层数据是针对某个业务领域的聚合数据,业务层的数据通常来源与此层,为什么叫宽表,主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储,方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

3)数据应用层(DA 或 APP)前端应用直接读取的数据源;根据报表、专题分析的需求而计算生成的数据。

4)维表层(Dimension)最后补充一个维表层,维表层主要包含两部分数据:A)高基数维度数据:一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。B)低基数维度数据:一般是配置表,比如枚举值对应的中文含义,或者日期维表。数据量可能是个位数或者几千几万。

(3)问题扩展数据仓库系统架构

上图系统各部分的执行流程是:1)确定分析所依赖的源数据。2)通过ETL将源数据采集到数据仓库。3)数据按照数据仓库提供的主题结构进行存储。4)根据各部门的业务分析要求创建数据集市(数据仓库的子集)。5)决策分析、报表等应用系统从数据仓库查询数据、分析数据。6)用户通过应用系统查询分析结果、报表。

(4)结合项目中使用

电商网站的数据体系设计,这里针对用户访问日志这一部分数据进行举例说明:

在ODS层中,由于各端的开发团队不同或者各种其它问题,用户的访问日志被分成了好几张表上报到了我们的ODS层。

为了方便大家的使用,我们在DWD层做了一张用户访问行为天表,在这里,我们将PC网页、H5、小程序和原生APP访问日志汇聚到一张表里面,统一字段名,提升数据质量,这样就有了一张可供大家方便使用的明细表了。

在DWM层,我们会从DWD层中选取业务关注的核心维度来做聚合操作,比如只保留人、商品、设备和页面区域维度。类似的,我们这样做很多个DWM的中间表。

然后在DWS层,我们将一个人在整个网站中的行为数据放到一张表中,这就是我们的宽表了,有了这张表,就可以快速满足大部分的通用型业务需求了。最后,在APP应用层,根据需求从DWS层的一张或者多张表取出数据拼接成一张应用表即可。

    推荐阅读
  • 分手后不纠缠对方会怎么想(分手后不纠缠这几点要记住)

    海誓山盟过的夫妻尚且如此,分手后的小情侣,没有必要把自己陷入无尽的痛苦中。——苏芩分手后请记住这几个字,不让自己倒贴,不让自己卑微着为爱挽回一个根本不爱自己的人。但这几种情况,第一,控制欲极强运用PUA精神打击的方式捆绑的爱情与婚姻;第二,有家暴倾向的人,对你是非打即骂的伪君子。写到最后借用作家苏芩的一句话:分手后牢记四个字“不见,不贱。”否则,感情的互虐,将轮回上演。

  • 颇怎么读(汉字颇怎么读)

    下面希望有你要的答案,我们一起来看看吧!颇怎么读颇的拼音是pō,中文单字之一,古文和现代文中皆用。有偏,不正和很,非常的意思。现代汉语解释也可以用作姓氏。偏颇[piānpō]偏于一方面;不公平:这篇文章的立论失之偏颇。颇僻[pōpì]邪佞,不正:她真的是一个颇僻、冥顽不灵的人啊,难以让人满意。颇罗[pōluó]口敞底浅的饮酒器。

  • 墨守成规是谁的故事(有什么含义呢)

    下面希望有你要的答案,我们一起来看看吧!因为墨子善守,后来就把牢守、固守称为“墨守”。但这个“守”一般都已不指守城,而多指守旧,成了贬词。如“墨守成规”,形容顽固地守着老规矩,不肯改变。“成规”就是陈旧的现成的办法、制度。

  • 互联网行业黑话吐槽(互联网行业的常用黑话)

    阿里巴巴是因为旗下天猫的Logo而演变来的,所以叫做猫厂。除此之外在浙江杭州有东西两处办公地点,被内部员工称为东厂和西厂。为了和天猫打一场硬架,2013年3月30日,京东高调地更换域名、logo及VI系统,随之,一只名为“Joy”的金属小狗也空降互联网,于是在电商领域,阿里巴巴和京东的交战也可以被称为“猫狗大战”。

  • 山河令的知己是什么意思(山河令的知己是怎样的)

    山河令的知己是什么意思温客行认定了周子舒是知己,就处处为周子舒打算,帮助他一起护送成岭,夜里吹箫帮助他疗伤,帮助他减轻伤痛以便好好休息。后来更是为了延长周子舒的性命,特地向叶白衣学会了六合心法,冒着自己丧失生命危险去救周子舒,一夜白头。这样站在知己好友的立场上,全心全意为对方考虑,只想付出,不图回报。

  • 博尔特和刘翔的对比(博尔特赢得大家的安慰)

    尽管刘翔拖着受伤的腿艰难的走到终点,但这样的举动却被人认为是作秀,不仅没有得到赞美反而遭到更多人的嘲讽。要说在田径赛场上取得成功,刘翔的成功并不输给博尔特,而且刘翔算得上亚洲跨栏第一人,相比博尔特影响力更大。但就是这样却让刘翔背上骂名,一个为国争光的人最后成了万人唾弃的对象。

  • 买护肤品的十大坑(大家买护肤品都是通过什么途径呢)

    它的价格是浮动的,大多是一年一轮回,宣传册是三个周一更新,以曼秀雷敦的某洗面奶为例,超市的价格在30,打折时25,屈臣氏高位的时候45,地位时17。而且自己的账号后台还可以看到物流信息,日上免税购买成功后还会发信息告诉你。

  • 容易存活的花种子(20种花不用买开完花等20天)

    牡丹、芍药牡丹是可以结籽的,尤其是这种花蕊明显,花盘比较松散的牡丹,更容易授粉成功,花后让花瓣自然凋零,花蕊部分膨大变成种荚。有旋转、弯曲的白毛毛,基本说明是成熟的种荚了,取出后搓开底下的种荚,里面有一粒棕褐色的种子,有点像棕色的米粒。蜀葵花花家的蜀葵已经长出来了,期待夏天花开的盛况。波斯菊的种子比较好认,是黑色、有点弯钩的形状,大家如果买完种子不知真假,可以对照下方图片。

  • 长安福特福克斯要推四缸车型(新车换装全新1.5T四缸发动机)

    值得注意的是,SEDITION和ST-LINE版本车型原厂即配备米其林PS4高性能轮胎。动力信息根据申报数据显示,新款福克斯将搭载1.5升四缸涡轮增压发动机,其最大功率130千瓦。此前曾有消息称,新款福克斯将搭载1.6升四缸涡轮增压发动机,但目前该消息尚未得到证实。变速箱方面,新款福克斯将提供6挡手动和6挡手自一体变速箱供用户选择。

  • nasa的太空运输计划(NASA展示新型宇航服)

    nasa的太空运输计划西媒称,15日,NASA展示了两款新一代宇航服的原型。这就是美国国家航空航天局为阿耳忒弥斯登月计划而正在研发的新型宇航服。2024年前往月球南极的宇航员将会穿上它。报道称,其中一款原型用于发射阶段和重返地球大气层的时候。报道称,第二款宇航服则是为探索月球南极而设计。报道指出,这两款新型宇航服是太空工程技术发展的成果,革新了宇航服的概念。