数据质量和数据治理的关系 | 京东云技术团队

京东云开发者
• 阅读 398

很多不太了解的人会认为:数据治理就是干数据清洗的。

近两年,在我们公司,数据治理团队在数据降本方面做的比较多,效果还不错,我们很多人可能以为:数据治理就是做数据清理的。

在京东科技集团数据治理工作组第一次全体会议上,我就讲过数据治理和数据清洗之间的关系:

数据清洗只是指通过识别和纠正数据中的错误、缺失、重复或不一致等问题,确保数据质量的过程。

我的观点是数据质量和数据治理是一体的,没有数据治理,就不可能有良好的数据质量。通过进行数据治理,我们实现了数据质量。怎么会这样?那是什么意思?让我们来了解一下。

1 数据质量管理

更准确地说,数据质量或数据质量管理侧重于确保数据符合我们的数据质量维度。数据质量有很多维度,比如:

完整性:是否填写了所有相关字段?

有效性:所有值都符合吗?地址字段是否在正确的顺序和正确的拼写?

准确性:数据是否反映了现实世界中的人或物体? 米老鼠可能不是一个真正的销售对象。

一致性:数据是否与理解的模式一致?例如,出生日期的数据格式应为 YYYY/MM/DD/。

唯一性:是否有重复的记录?

及时性:它是最新的吗?

数据质量确保我们的数据符合这些维度。或者简单地说,数据质量管理确保我们拥有高质量的数据,干净的数据。

让我们扩展我们对数据质量管理的理解,并从DAMA国际的角度来看待它。数据质量是国际数据管理协会确定的11个数据管理领域之一:

数据质量和数据治理的关系 | 京东云技术团队

1.数据治理通过建立一个考虑到企业需求的数据决策系统,为数据管理提供指导和监督。

2.数据架构定义了管理数据资产的蓝图,通过与建立战略数据需求的组织策略保持一致,并设计满足这些需求。

3.数据建模和设计是一个发现、分析、表示和交流精确形式的数据需求的过程。

  1. 数据存储和操作包括设计、实现和支持使其价值最大化。操作在整个数据生命周期中提供支持,从规划数据到处理数据。

5.数据安全确保数据隐私和机密性得到保护,数据不被破坏,数据被适当访问。

6.数据集成和互操作性包括与数据存储、应用程序和组织内部之间的数据移动和整合相关的过程。

7.文档和内容包括计划、实施和控制活动,用于管理在一系列非结构化媒体中发现的数据和信息的生命周期,特别是支持法律和法规遵从性要求所需的文档。

8.参考数据和主数据包括核心关键共享数据的持续核对和维护,使系统能够一致地使用关于基本业务实体的最准确、最及时和最相关版本的真相。

9.数据仓库和商务智能包括计划、实施和控制过程,以管理决策支持数据,并使知识工作者能够通过分析和报告从数据中获取价值。

10.元数据包括规划、实施和控制活动,以便能够访问高质量的综合元数据,包括定义、模型、数据流和其他对理解数据及其创建、维护系统至关重要的信息并访问。

11.数据质量包括质量管理技术的计划和实施,以测量、评估和提高数据在组织内的适用性。

根据DAMA的说法,数据质量包括质量管理技术的计划和实施,以测量、评估和提高数据在组织内的适用性。

实际上,数据质量在大多数其他数据管理领域中都发挥着作用。要保证数据安全,就不可能没有好的数据质量,元数据与数据质量的关系也是双向的,数据架构也会对数据的质量起到一定的作用,反之亦然。处于中心地位的数据治理确保所有这些数据管理领域结合在一起。

2 无论治不治理,数据质量都在那里

到现在为止,你可能会说:“好吧,我有点明白了,但我们没有做数据治理,数据质量也挺好。”如果是这样的话,我认为有两种可能的现实:

•真的没有数据治理

•有隐形的数据治理

让我们更详细地看一下这两个案例。

2.1 真的没有数据治理

如果数据治理不存在,那么我们可能会遇到以下一种、部分或全部情况:

数据质量不是企业级全域的:你也可能认为是覆盖企业范围的,比如ERP,这并不意味着数据质量是企业范围的。尤其是在像我们这样的大型组织中,因为可能存在数据质量规则,这些规则仅根据该企业系统的利益相关者的输入创建,但这可能会影响那些不是系统利益相关者或用户的人,比如有集成相关的系统用户,也可能是数仓或者下游数据用户。

缺乏通用标准:可能会创建数据质量标准,但前提是它们与特定部门、业务单位或系统的需求有关。一旦其他部门或系统加入到数据质量计划的工作中,这些标准就会发生冲突,需要解决方法或完全更改。

没有明确的角色和职责:可能会分配负责清洗和维护数据的资源,但资源类型因团队而异。当标准、定义和优先级发生冲突时,也可能不清楚谁拥有所有权,谁负责解决。

数据质量管理大多是被动的:这主要是数据质量管理处于早期阶段,也意味着缺乏数据治理。数据质量问题是以被动的方式识别和处理的,并不总是解决问题的根本原因。

2.2 有隐形的数据治理

就目前我们公司的现状开看,作为产研、数仓、数据集市、数据分析等团队成员,你实际上可能会说:“好吧,我们并没有像你上面描述的那样糟糕”。您实际上可能有:

•数据质量要求

•数据质量校验规则

•数据质量测试,甚至是监控

•数据质量问题处理

那么,你可能就有了我喜欢称之为“卧底数据治理”的东西。你可能有很多数据治理的工作内容,但没有正式、正规和专业化的数据治理。

3 数据质量和数据治理关系

我想我已经从上一节中明确指出,数据治理和数据质量是共生关系。它们是同一枚硬币的两面。没有数据治理,就不可能有良好的数据质量,而数据治理实施必须非常有效,才能从根本上解决数据质量问题。

实际上,数据质量和数据治理之间存在相当多的重叠,如下图所示:

数据质量和数据治理的关系 | 京东云技术团队

数据治理描述了谁需要做什么、在什么条件下对什么数据执行操作,以及使用哪些流程、程序、工具和总体最佳实践。因此,很多因素都会对数据质量产生有益的影响,但不仅如此。业务规则、数据标准、指标、角色和职责等都有利于数据质量,因此是重叠的,但不仅仅是数据质量。主数据管理、数据可访问性、数据集成、元数据管理、BI,甚至数据安全等等都有直接的好处。

当然,也有一些领域只与数据质量有关,例如:数据概要分析、数据匹配、根因分析和数据清洗。

4 总结

很多时候,数据质量是数据治理的驱动因素之一,这是数据治理计划的最初重点,因此两者之间可能会混淆。但它们并不相同,它们是同一枚硬币的两面,而不是两枚硬币。

作者:京东科技 李然辉

来源:京东云开发者社区 转载请注明来源

点赞
收藏
评论区
推荐文章
如何实现云数据治理中的数据安全?
云计算被定义为计算资源的共享池,已经在不同的应用领域广泛部署和使用。在云计算中,数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据
Chase620 Chase620
4年前
数据治理十步法
以下文章来源于谈数据,作者石秀峰1、找症状,明确目标任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。(https://imghelloworld.osscnbeijing.aliyuncs.c
专注IP定位 专注IP定位
1年前
数据治理的五大误区与破解方法
在数字化转型的浪潮中,数据治理已经成了企业必不可少的一环。然而,许多企业在推行数据治理时常常陷入一些误解,这些误解阻碍了数据的有效管理和利用。那么究竟有哪些失误,又要如何解决呢?一、对数字治理的误解误解一:只有IT部门负责数据治理许多企业错误地认为数据治理
百舸实践之「埋点数据深度治理与应用」 | 京东云技术团队
一、背景随着公司和业务的不断发展,百舸平台也从单一内容投放转向了以流量和数据为基础的流量运营模式。在这个转变过程中,数据深度治理与应用的重要性尤为凸显,在数据深度治理过程中,需要将用户行为数据、投放素材以及投放效果三者紧密的串联起来。数据深度治理和应用,一
京东云开发者 京东云开发者
8个月前
"不谋全局者,不足谋一域" ——全域数据治理价值更大
作者;京东科技李然辉数据治理一直被认为是业务成功的关键推动因素,但对于大多数公司来说,这仍然是一个巨大的挑战,因为很多公司根本无法从数据治理中创造真正的的业务价值。\\\\Gartner最近的一项调查发现只有18%的业务部门主导型数据治理计划声称能够有效地
数据治理的长效机制
本文分享自天翼云开发者社区《》,作者:徐东数据治理遇到的困难数据治理是一个复杂而又富有挑战性的工作,需要各级管理人员和业务部门的积极参与和协作。虽然数据治理的目标“协同、降本、提效、创新”看似简单明了,但在实际操作中却会遇到各种各样的问题。问题1:组织运行
数据治理之数据分类分级
本文分享自天翼云开发者社区《》,作者:徐东为了更好地保护数据安全、提高数据管理效率、确保数据合规性,企业需要对数据进行分类分级,根据数据的密级和敏感程度制定不同的管理和使用策略,尽可能做到有差别和针对性的防护,避免敏感数据的防护不足,非敏感数据的过度防护。
数据治理之构建数据资产目录
本文分享自天翼云开发者社区《》,作者:徐东一、引言现如今,数据已经成为企业实现业务价值的关键。随着大数据技术的发展,企业对于数据的收集、分析和利用越来越重视。其中,数据资产化已经成为企业数据管理的重要趋势,它能帮助企业更好地发掘和利用数据中的价值,从而提升
数据治理之数据资产健康度量
本文分享自天翼云开发者社区《》,作者:徐东随着数据量的不断增加,数据治理已经成为了企业管理里不可或缺的一环。数据治理可以帮助我们更好地进行数据的管理和使用,从而提升数据的质量和价值,同时也能够保证数据的安全和合规。一、数据治理面临的问题数据治理中主要面临的
治理要从数据建模抓起 | 京东云技术团队
数据治理是对数据管理权力的执行和落实。数据建模可以被认为是对数据定义权力的执行和实施。数据建模这门学问涉及到在"正确"的时间,由"正确"的人,为组织定义"正确"的数据,这就是数据治理的本质。创建数据模型的动因有很多。一般包括遵循数据标准、减少冗余、符合业务