任务调度

在离线数据交换场景中，经常需要对数据汇聚、数据转换、数据计算、数据治理等过程以任务的方式进行定时调度执行。这就需要通过任务调度模块来完成任务配置、调度、监控等。
### 如何定义任务
把需要在指定的时间，指定的周期（或频率）内自动完成的数据处理事项称之为一个任务，任务的大小（多少）取决于数据处理的实际需要及合理性。
### 任务调度机制
首先我们假设所有任务都是没有依赖关系的，那么所有任务都应该是可以同时运行的，我们称之为所有任务是并行机制。受硬件资源的约束，任务调度模块一般都会设置一个任务并行数量的上限值，因此我们在理解所有任务并行机制是指在同一个时点上的最大并行数。这个上限值根据硬件资源的实际情况，在调度服务程序的参数里进行设置。
### 单个任务调度设置
单个任务调度的设置最核心的内容包括以下内容：
1、指定“任务执行程序”，通常根据需要开发若干通用服务，来满足所有数据处理的需要。
2、指定任务调度计划，通过特定的表达式来指定任务执行的时间和频率，一般要能支持指定到年、月、日（星期）、时、分、秒。
3、指定任务调度失败处理策略，任务调度服务有可能会因为各种原因停止运行或等待任务上次执行结束，那么处在停止运行时间段内或等待时间内的任务就无法按时运行，所以需要指定当调度服务重新运行后或上次任务结束后，对于这些未能按时执行的任务指定补偿运行策略，这里推荐最常用的两种策略：
策略1：错过调度时间的任务不补偿执行，但下次运行的时间将以当前时间为起点，根据调度计划的时间间隔进行重新计算。此策略有可能导致这个任务的执行时点跟最初设定的不一致。
策略2：错过调度时间的任务在当前时间立即执行一次，但下次运行的时间保持不变。此策略有可能导致这个任务在某个时间段内执行时间间隔跟最初设定的不一致的情况。
4、指定任务并发执行机制，因为任务调度失败处理策略或指定的执行时间间隔不合理有可能导致同一个任务在上次执行还没结束又触发了下一次的执行，这种情况极有可能导致任务执行程序会出错或数据表锁死，因此一般情况下要指定“禁止并发”，如果单次执行时间超过了调度时间间隔导致下次调度失败，则按上方指定的策略进行补偿。如果特殊情况下必须允许并发执行，则“任务执行程序”必须考虑因并发导致可能的错误的特殊处理。。如果特殊情况下必须允许并发执行，则“任务执行程序”必须考虑因并发导致可能的错误的特殊处理。
综上所述，一般任务的调度失败处理策略选择策略2，任务并发执行机制选择不允许并发。任务调度计划必须充分考虑时间间隔的合理性。
### 手动调度任务执行
当我们需要在任何时候对任务进行手动触发立即执行，则在立即执行指令发出后，按任务调度设置的处理策略和并发机制决定任务是否立即执行。