什么是数据质量 广义上来说，数据质量的定义是数据满足一组固有特性（质量维度）要求的程度。业界通常有 6 个维度： 完整性：指数据的记录和信息是否完整，是否存在缺失的情况。数据缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果不准确，所以说完整性是数据质量最基础的保障。在做监控时，需要考虑两个方面：数据条数是否少了； 继续阅读

背景 存储与计算资源是数仓建设的基础，也是数仓建设中的重要成本支出。而随着数仓建设规模逐渐扩大、时间跨度逐渐拉长，将不可避免的出现数据表、任务、字段的冗余。为了减轻资源负担，降低数仓维护成本，需要对数仓建设成本进行治理与优化。 技术路线 针对数仓建设成本治理的粒度从大到小可以分为：数据表、数据任务、数据表字段。从粗到细的治理优化思路如下： 当发现低频使用的数据表时，下线对应数据表的同时也删除 继续阅读