- 简介
- 目录大纲
- 最新文档
- 文集下载
全量同步
全量数据同步分为表全量同步和库全量同步（整库同步）两种方式。表全量同步每次读取表中全量数据并入；库全量同步策略是把库中所有表进行数据同步，要求源端和目的端的表名称、结构相同，允许目标表不存在，不存在时自动创建目标表。 数据中台中的贴源层数据同步通常采用表全量同步方式，数据量不大的情况可以一次性全量同步，数据量较大的情况可以按条件的多次全量同步。全量同步一般人工执行同步程序，完成后转入自动增量同步。……
汤泽波 - 2023年10月17日 12:28
离线数据交换
离线数据交换是针对数据时效要求低、吞吐量大的场景，解决大规模数据的批量迁移问题，其实现原理是将不同数据源的交换抽象为从源头数据源读取数据的读取插件，以及向目标端写入数据的写入插件，理论上可以支持任意类型数据源的数据交换工作。采用插件化方式构建，将数据源读取和写入抽象成读取插件、写入插件。
汤泽波 - 2023年10月17日 12:13
增量同步
增量同步分为新增、覆盖和更新三种策略。新增策略主要通过在目的端创建新分区或者直接追加写数据实现。覆盖和更新策略在同步配置时选择唯一键，根据唯一键对比同步中的数据和目的端数据，结合增量策略来判断数据是覆盖还是更新。
汤泽波 - 2023年10月17日 12:08
数据中台定义
数据中台是一套可持续“让一个组织的数据用起来”的机制，是一种战略选择和组织形式，是依据行业组织特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。 数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营。 数据中台是一套“让一个组织的数据用起来”的机制 每个行业部门的业务与数据状况各不相同，业务对数据服务的诉求不同，数据中台……
汤泽波 - 2023年5月30日 14:44