数字化转型规划、企业架构(EA)规划、4A架构规划、数据治理咨询、运营管理咨询、指标体系建设、流程体系建设、BOM与物料数据管理-星顺数据管理洞察-47-数据治理和数据清洗的关系
main slider-home
数字化咨询服务
数字化转型规划、企业架构规划、数据治理、流程治理

数据治理和数据清洗的关系

前一段时间,我在一家企业听到他们数字化部的同事说:公司有专业化工具,可以将数据库中的重复数据和错误数据清洗掉,那么还有必要搞数据治理吗?

我猜想这些同事可能将数据治理和数据清洗搞混了。

如果把数据比作商品,把数据存放的地方比作超市货架,那么数据存储的过程就是超市员工将商品放到货架上的过程。

同样,数据清洗就像超市的理货员整理货架上放错位置的商品、清理掉过期的商品的过程;而数据治理则可以类比为超市制定了各种规章制度以及工作规范,比如商品分类规范、商品摆放规范等等,并且规定超市上货员、理货员的职能职责和工作流程。

在这个例子里,理货员的工作职责就是数据清洗,没有他的辛勤工作,超市商品的摆放就会杂乱无章,也就是如果数据不清洗,数据库里的数据质量就会很差。

但是,不能只看理货员的工作。如果超市没有规章制度、没有工作规范,那么,上货员就会由着自己的性子,胡乱摆放商品,即使超市有再多的理货员,现场仍然会很乱,因为理货的速度赶不上上货员乱摆乱放的速度。

套用到数据管理上,公司如果没有数据管理的制度、流程和技术规范,没有对数据管理的过程进行约束,那么,理货员的工作,也就是数据清洗工作,他的速度永远赶不上上货员乱摆乱放的速度,也就是垃圾数据产生的速度。

通过这个例子,我们可以看出数据清洗只是数据治理过程中的一个重要环节,数据治理是利用组织、制度、流程、规范、标准以及数据清洗等等手段,体系化地提升数据质量的过程。