数据体系

数据中台是中心数据汇聚地，中心的一切数据（内部+外部）都汇聚到数据中台，中心业务所需的数据总能在数据中台找到。但数据中台中的数据并不是简单地堆积，各种系统产生的原始数据堆积在一起导致使用成本非常高，这类数据只能在某些数据技术基础非常好的部门使用，而且会经常出现命名不一、口径不一的问题，从而导致整个企业数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便支撑数据应用。
　　中台数据体系应具备以下特征：
　　·覆盖全域数据：数据集中建设，覆盖所有业务过程数据，业务在中台 数据体系中总能找到需要的数据。
　　·结构层次清晰：纵向的数据分层，横向主题域、业务过程划分，让整 个层次结构清晰易理解。
　　·数据准确一致：定义一致性指标，统一命名、统一业务含义、统一计 算口径，并有专业团队负责建模，保证数据的准确一致。
　　·性能提升：统一的规划设计，选用合理的数据模型，清晰地定义并统一规范，并且考虑使用场景，使整体性能更好。
　　·降低成本：数据体系的建设使得数据能被业务共享，这避免了大量烟囱式的重复建设，节约了计算、存储和人力成本。 
　　·方便易用：易用的总体原则是越往后越能方便地直接使用数据，把一些复杂的处理尽可能前置，必要时做适当的冗余处理。比如在数据的使用中，可以通过维度冗余和事实冗余来提前进行相关处理，以避免使用时才计算，通过公共计算下沉、明细与汇总共存等为业务提供灵活性。 统一数据体系的建设让整个企业的业务都有机会使用数据。
　　为了使数据体系在建设时具备以上特征，需要一个体系化的数据层次架 构，这个层次架构定义了数据分层及每一层的模型建设规范。数据体系架构是一套指导规范，实施过程中应严格按照架构执行。中心数据中台的数据体系架构如下：
## 数据缓冲层（SRC）
　　负责从源系统抽取增量数据，表结构及数据与业务系统一致，数据不做清洗转换；为了在各个源业务系统和数据资源池之间有一个平滑的过渡，一方面要保障 数据资源池的稳定性，各个源业务系统数据变化不会对数据资源池造成影响，又可以减低前置系统数据被抽取的压力，原始库在这中间起到了屏蔽变化，平滑过渡和分发的作用。 原始库中的数据是数据资源池中最基础的数据，需要对数据设置不同的生命周期和更新策略，从而保障数据的鲜活性和准确性。
　　原始库的设计应遵循如下原则：
　　1）根据数据来源清洗标识表名和表元数据；
　　2）根数据类型分为结构化域存储、半结构化域存储、非结构化域存储；
　　3）原始库结构与源业务库表结构保持一致；
　　4）明确原始库中各部分资源的生命周期；
　　5）保留历史数据时间周期为近三十天；
## 贴源层（ODS）
　　从数据缓冲层（SRC）获取增量数据，保存全量历史数据；用来存储各业务系统中的原始数据，除进行数据元标准化（根据数据元标准）外不对数据做其他加工，此类数据保留了业务处理的过程数据，为后续的标准数据加工、数据监控、数据稽核提供支撑； 针对职工流水账、单位流水账等数据量超千万级数据进行分区处理，按照业务年份进行分区； 针对职工流水账、单位流水账等数据量超千万级数据进行数据全生命周期管理，以十年为期限对数据进行分表管理，历史数据移入对应年份历史数据表。
## 标准层（STD） 
　　负责数据标准化，数据从贴源层（ODS）中获取，根据制定的《基础数据标准规范》对数据做标准化以及数据质量的清洗，对于数据质量符合要求的，会放到标准库中存储，不符合要求的会放到问题数据库层，以反馈给业务系统进行数据的清洗。 针对职工流水账、单位流水账等数据量超千万级数据进行分区处理，按照业 务年份进行分区； 针对职工流水账、单位流水账等数据量超千万级数据进行数据全生命周期管理，以十年为期限对数据进行分表管理，历史数据移入对应年份历史数据表。
## 明细层（DWD）
　　按照业务主题域进行数据库设计，实现住房公积金数据的核心数据模型，为资产目录、数据服务提供支撑。共包括十大主题域分别是客户管理主题、协议主题、 事件主题、项目主题、渠道主题、财务主题、资产主题、房屋主题、政务管理主 题及公共主题。后续新接入库表，可纳入已有十大主题域，如果无法纳入现有主 题域，也可新增主题域。 针对职工流水账、单位流水账等数据量超千万级数据进行分区处理，按照业务年份进行分区； 针对职工流水账、单位流水账等数据量超千万级数据进行数据全生命周期管理，以十五年为期限对数据进行分表管理，历史数据移入对应年份历史数据表。
## 公共纬度层（DIM）
　　负责公共维度的建立，以维度作为建模驱动，建立了一致性的维度，便于后 续数据使用；维度及维度值必须从《基础数据规范》中引入。
## 汇总层（DWS）
　　负责将通用指标及复用率较高指标进行计算汇总，数据从明细数据层（DWD） 及公共维度层（DIM）获取，构建命名规范、口径统一的统计指标（根据中心制定的指标数据标准）；
## 应用层（DM）
　　面向业务需求定制开发，数据可从明细数据层（DWD）、公共维度层（DIM） 和汇总数据层（DWS）获取，应用数据层包含指标数据、标签数据、报表数据及 模型数据等。指标数据依照指标体系对指标数据进行加工处理；标签数据通过特 征集合并关联打标签的对象，对分析对象生成画像，挖掘对象的价值；报表数据为中心业务相关报表数据提供数据支撑；模型数据为公积金贷款系数测算模型、 住房公积金贷款金额预测模型、 住房公积金建缴率预测模型等模型提供数据支撑。

数据体系管理原型如下：

![](/media/202304/%E6%88%AA%E5%B1%8F2023-04-06%20174801_20230406174149122793.png)
　　每层可查看数据模型的数量（个数）、数据量（条数）。点击查看模型可以看到所有表，原型如下：

![](/media/202304/%E6%88%AA%E5%B1%8F2023-04-15%20130742_20230415130708171027.png)
点击模型详情，可以查看模型的所有数据项说明，原型如下：

![](/media/202304/%E6%88%AA%E5%B1%8F2023-04-09%20120200_20230409120219135192.png)
点击浏览数据，可以查看表中的原始数据，对于数据量较大的表，仅提供限定时间范围内的数据。界面原型如下：

![](/media/202304/%E6%88%AA%E5%B1%8F2023-04-12%20162713_20230412162709716496.png)