数据质量

当谈到数据质量管理的时候，必须有一个数据质量评估的标准，有了这个标准，才能知道如何评估数据的质量，才能将数据质量量化，并知道改进的方向，以及如何评估改进后的效果。
　　目前业内认可的数据质量标准有如下几类。 
　　1）准确性： 描述数据是否与其对应客观实体的特征一致。 举例：用户的住址是否准确；某个字段规定应该是英文字符，在其位置 上是否存在乱码。 
　　2）完整性： 描述数据是否存在缺失记录或缺失字段。 举例：某个字段不能为null或空字符。 
　　3）一致性： 描述同一实体同一属性的值在不同的系统中是否一致。 举例：男女是否在不同的库表中都使用同一种表述。例如在A系统中， 男性表述为1，女性表述为0；在B系统中，男性表述为M，女性表述为 F。
　　4）有效性： 描述数据是否满足用户定义的条件或在一定的取值范围 内。举例：年龄的值域在0~200之间。另一个枚举的有效性例子是银行的币 种代码。 
　　5）唯一性： 描述数据是否存在重复记录。 举例：身份证号码不能重复，学号不能重复。
　　6）及时性： 描述数据的产生和供应是否及时。 举例：生产数据必须在凌晨2：00入库到ODS。 
　　7）稳定性： 描述数据的波动是否稳定，是否在其有效范围内。 
　　8）连续性： 描述数据的编号是否连续。 举例：有关部门处理环保违法案件，案件的编号必须是连续的。
　　9）合理性： 描述两个字段之间逻辑关系是否合理。
　　以上数据质量标准只是一些通用的规则，还可以根据中心数据的实际情况和业务要求对其进行扩展，如进行交叉表数据质量校验等。

数据治理的原则可以总结为以下6条。 
　　·标准化原则：数据标准化是实现高价值数据、支撑以数据为基础的相 关业务的先决条件。组织必须制定可参考、可落地的标准。当发生争议 的时候，有权威的标准可供仲裁参考。 ·
　　透明原则：除了一些需要保密的安全措施之外，数据治理相关的文 件、数据问题的发现等，都应该是公开透明的，相关人员应该清楚正在 发生的事情，以及事情发生后应如何按照原则处理。 
　　·数据的认责与问责：数据治理必须解决无人问责的问题，比如将很多 岗位列为负责人，最终却没有人真正负责。数据的认责是数据治理的先 决条件，数据的问责和考核制度是确保数据治理工作真正落地的制度保 障。
　　·平衡原则：在大数据时代，时时刻刻都在涌现海量数据。在进行数据 治理工作的过程中，必须在代价和收益之间取得平衡。往往没有必要追 求百分之百的数据质量，而对于历史遗留数据，数据标准也不可能对其 进行完全约束。很多时候，对于企业来说，数据可商用是平衡原则的重 要参考。 
　　·变更原则：随着市场和业务的不断发展，数据标准、元数据、数据质 量等要求并不是一成不变的，既要控制数据的变更流程，也要主动适应 这些变化，推动标准更新。 
　　·持续改进原则：业务在不断变化，数据在持续产生，数据治理非朝夕 之功，需要持续推动，不断改进，形成长效机制。
　　数据质量管理功能是定义、维护、查看质量标准，根据质量标准跟踪治理情况，找出质量问题的根源，从而解决历史及未来的数据质量问题；