百摩网
当前位置: 首页 生活百科

数据仓库分层实战(为什么要给数据仓库分层)

时间:2023-06-07 作者: 小编 阅读量: 5 栏目名: 生活百科

此层数据通常来源与DWD和DWM层的数据。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。数据量可能是千万级或者上亿级别。在DWM层,我们会从DWD层中选取业务关注的核心维度来做聚合操作,比如只保留人、商品、设备和页面区域维度。最后,在APP应用层,根据需求从DWS层的一张或者多张表取出数据拼接成一张应用表即可。

(1)为什么要分层

作为一名数据的规划者,我们肯定希望自己的数据能够有秩序地流转,数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。

但是,大多数情况下,我们完成的数据体系却是依赖复杂、层级混乱的。如下图,在不知不觉的情况下,我们可能会做出一套表依赖结构混乱,甚至出现循环依赖的数据体系。

因此,我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序,这就是谈到的数据分层。数据分层并不能解决所有的数据问题,但是,数据分层却可以给我们带来如下的好处:

1)清晰数据结构:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解;2)减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算;3)统一数据口径:通过数据分层,提供统一的数据出口,统一对外输出的数据口径;4)复杂问题简单化:将一个复杂的任务分解成多个步骤来完成,每一层解决特定的问题。

为了满足前面提到好处,通常将数据模型分为三层:数据运营层( ODS )、数据仓库层(DW)和数据应用层(APP)。简单来讲,我们可以理解为:ODS层存放的是接入的原始数据,DW层是存放我们要重点设计的数据仓库中间层数据,APP是面向业务定制的应用数据。下面详细介绍这三层的设计。

(2)数据模型的分层

1)源数据层(ODS)此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。

2)数据仓库层(DW)也称为细节层,DW 层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

此层可以细分为三层:明细层DWD(Data Warehouse Detail):存储明细数据,此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。

中间层DWM(Data WareHouse Middle):存储中间数据,为数据统计需要创建的中间表数据,此数据一般是对多个维度的聚合数据,此层数据通常来源于DWD层的数据。

业务层DWS(Data WareHouse Service):存储宽表数据,此层数据是针对某个业务领域的聚合数据,业务层的数据通常来源与此层,为什么叫宽表,主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储,方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

3)数据应用层(DA 或 APP)前端应用直接读取的数据源;根据报表、专题分析的需求而计算生成的数据。

4)维表层(Dimension)最后补充一个维表层,维表层主要包含两部分数据:A)高基数维度数据:一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。B)低基数维度数据:一般是配置表,比如枚举值对应的中文含义,或者日期维表。数据量可能是个位数或者几千几万。

(3)问题扩展数据仓库系统架构

上图系统各部分的执行流程是:1)确定分析所依赖的源数据。2)通过ETL将源数据采集到数据仓库。3)数据按照数据仓库提供的主题结构进行存储。4)根据各部门的业务分析要求创建数据集市(数据仓库的子集)。5)决策分析、报表等应用系统从数据仓库查询数据、分析数据。6)用户通过应用系统查询分析结果、报表。

(4)结合项目中使用

电商网站的数据体系设计,这里针对用户访问日志这一部分数据进行举例说明:

在ODS层中,由于各端的开发团队不同或者各种其它问题,用户的访问日志被分成了好几张表上报到了我们的ODS层。

为了方便大家的使用,我们在DWD层做了一张用户访问行为天表,在这里,我们将PC网页、H5、小程序和原生APP访问日志汇聚到一张表里面,统一字段名,提升数据质量,这样就有了一张可供大家方便使用的明细表了。

在DWM层,我们会从DWD层中选取业务关注的核心维度来做聚合操作,比如只保留人、商品、设备和页面区域维度。类似的,我们这样做很多个DWM的中间表。

然后在DWS层,我们将一个人在整个网站中的行为数据放到一张表中,这就是我们的宽表了,有了这张表,就可以快速满足大部分的通用型业务需求了。最后,在APP应用层,根据需求从DWS层的一张或者多张表取出数据拼接成一张应用表即可。

    推荐阅读
  • 有没有手机在网上订火车票的(如何用手机订火车票)

    填写完成后,记得勾选“同意”。12306会遵从国家规定,告诉您一些最近的乘车规范,您注意浏览,做好记录。确认没问题之后,再提交订单。和您去火车站窗口一样,12306软件多退少补,您到时候注意下改签通知。首先,12306规定,如果您在发车前15天退票的话,是不收您手续费的。那这个复杂的退票规则,如果是在一些特殊的时期,比如疫情时期,也可能会发生变化,您记得提前打12306的电话,问一问就清楚了。

  • 北京光仁堂生物科技有限公司地址(经营范围有哪些呢)

    以下内容大家不妨参考一二希望能帮到您!北京光仁堂生物科技有限公司地址北京光仁堂生物科技有限公司成立于2017年10月13日,注册地位于北京市大兴区春和路39号院1号楼6层3708,法人代表为徐丹丹。

  • 疆怎么读(疆读音介绍)

    我们一起去了解并探讨一下这个问题吧!疆怎么读疆,jiāng,从土,彊声,形声字。从土,从弓,从畺。从“弓”,表示以弓记步,即以弓来丈量土地。《易·坤卦》坤厚载物,德合无疆。《书·泰誓》我武惟扬,侵于之疆。《诗·小雅》万寿无疆。《笺》疆,竟界也。《左传·桓十七年》夏,及齐师战於奚,疆事也。《注》争疆界也。

  • 苹果手机怎么授权软件信任(苹果手机如何授权软件信任)

    下面内容希望能帮助到你,我们来一起看看吧!苹果手机怎么授权软件信任首先在手机上找到设置,打开设置,找到通用设置。然后在通用设置了里找到描述文件与设备管理,然后打开描述文件与设备管理。接着在页面上打开刚才下载好的APP信任。最后就可以看到app设置好信任了,就可以打开使用了。

  • 跑得快赢牌的技巧(跑得快制胜法则)

    到了这个等级基本不会输得太惨,如果外加一点点牌运就是必胜。◆制胜法则第二条·依据出牌判断对手牌◆首发单牌那么对方手中有A、2,首发对子,手中有KK、QQ首发非3,没3、有3张3或3开头的顺。(战术的原则是打出去的自己可以圆回来,例如你出33要KK收得回,单出3要K/A/2这些收得回。相应的输赢也是要在你的平时花销的额度期限里。我的建议是最大输赢不超过工资的四分之一。

  • 拌牛肉的做法(如何做拌牛肉)

    接下来我们就一起去研究一下吧!拌牛肉的做法主料:牛肉(肥瘦)500克。调料:料酒20克、酱油15克、甜面酱15克、大葱5克、姜3克、香油10克。将牛肉洗净,切成四大块,放开水锅内煮开,撇去浮沫,加入葱(打结)、姜片,改用小火焖煮至两小时左右,当筷子能戳通时捞出冷凉。食用时,横着肉纹切成大薄片装盆,淋上麻油,上桌随带酱油,甜面酱,葱白段各一小碟佐餐。凉拌牛肉制作提示本品大葱3克打成葱结、2克切成葱段!

  • oppo手机怎么设置网络加速 oppo手机如何设置网络更快?

    使用oppo手机的时候,想知道怎么设置网络加速,下面来介绍一下方法第一步进去oppo手机设置之后,点击SIM卡与流量管理第二步进去之后,然后点击流量管理第三步进去流量管理之后,然后点击双通道网络加速第四步进去之后,点击开启双通道网络加速第五步点击之后,可以看到已经开启网络加速了,根据需要设置

  • 女性什么时候排卵最容易怀孕(女性什么时候排卵)

    女性什么时候排卵最容易怀孕临近青春期的女性始基卵泡开始发育,排卵时间比较不固定,到了性成熟期后在月经周期内,每月会有相对固定的排卵时间,一般是在下次来月经之前的第14天,就是排卵日。排卵多发生在2次的月经中间,卵子可以由双侧卵巢轮流排出,也可以由一侧的卵巢连续排出。可能还会有腹胀、腹坠感或者少量的阴道出血。如果平时月经周期并不规律,是可以通过B超监测卵泡,或者排卵试纸来观察的。

  • 米其林高端suv轮胎22寸(米其林发布新款轮胎)

    米其林发布新款轮胎当SUV穿上运动鞋,轿车都要惧怕三分文/LeftFoot2017年6月,米其林发布了一款中高端性能轮胎,PilotSport4,让许多性能车车主们大呼过瘾而随着近几年SUV市场日趋火热,SUV车主们对。

  • 祈求家人平安健康句子(祈祷家人平安健康的句子说说)

    以下内容希望对你有帮助!祈求家人平安健康句子每天睡觉前都要感谢今天所有家人身体健康,平安幸福。愿自己更强大,宝贝健康成长。家人平安健康幸福。不求富贵,只求日子可以安稳。放响的是鞭炮、走过的是岁月、留下的是故事、带来的是希望、盼望的是美好、送到的是祝福:希望家人平安、幸福、健康和快乐!最温暖的是家,最珍贵的是亲情,希望家人一生好运平平安安、天天幸福快乐。