tech.powerjob.worker.core.tracker.task.heavy

类 HeavyTaskTracker

java.lang.Object

tech.powerjob.worker.core.tracker.task.TaskTracker

tech.powerjob.worker.core.tracker.task.heavy.HeavyTaskTracker

直接已知子类:

CommonTaskTracker, FrequentTaskTracker

public abstract class HeavyTaskTracker
extends TaskTracker

负责管理 JobInstance 的运行，主要包括任务的派发（MR可能存在大量的任务）和状态的更新

从以下版本开始:

2020/4/8

作者:

tjq

嵌套类概要

嵌套类

限定符和类型	类和说明
protected class	HeavyTaskTracker.Dispatcher 定时扫描数据库中的task（出于内存占用量考虑，每次最多获取100个），并将需要执行的任务派发出去
protected static class	HeavyTaskTracker.InstanceStatisticsHolder 存储任务实例产生的各个Task状态，用于分析任务实例执行情况
protected static class	HeavyTaskTracker.TaskBriefInfo
protected class	HeavyTaskTracker.WorkerDetector 执行器动态上线（for 秒级任务和 MR 任务） 原则：server 查询得到的 执行器状态不会干预 worker 自己维护的状态，即只做新增，不做任何修改

字段概要

字段

限定符和类型	字段和说明
protected ProcessorTrackerStatusHolder	ptStatusHolder ProcessTracker 状态管理
protected ScheduledExecutorService	scheduledPool 定时任务线程池
protected TaskPersistenceService	taskPersistenceService 数据库持久化服务

从类继承的字段 tech.powerjob.worker.core.tracker.task.TaskTracker

advancedRuntimeConfig, appendedWfContext, createTime, executeType, finished, instanceId, instanceInfo, MAX_REPORT_FAILED_THRESHOLD, reportFailedCnt, workerRuntime

构造器概要

构造器

限定符	构造器和说明
protected	HeavyTaskTracker(ServerScheduleJobReq req, WorkerRuntime workerRuntime)

方法概要

限定符和类型	方法和说明
void	broadcast(boolean preExecuteSuccess, long subInstanceId, String preTaskId, String result) 生成广播任务
static HeavyTaskTracker	create(ServerScheduleJobReq req, WorkerRuntime workerRuntime) 静态方法创建 TaskTracker
void	destroy() 销毁自身，释放资源
protected void	dispatchTask(TaskDO task, String processorTrackerAddress) 派发任务到 ProcessorTracker
protected HeavyTaskTracker.InstanceStatisticsHolder	getInstanceStatisticsHolder(long subInstanceId) 获取任务实例产生的各个Task状态，用于分析任务实例执行情况
protected TaskPersistenceService	initTaskPersistenceService(InstanceInfo instanceInfo, WorkerRuntime workerRuntime)
protected abstract void	initTaskTracker(ServerScheduleJobReq req) 初始化 TaskTracker
void	receiveProcessorTrackerHeartbeat(ProcessorTrackerStatusReportReq heartbeatReq) 处理 ProcessorTracker 的心跳信息
void	stopTask() 停止任务
boolean	submitTask(List<TaskDO> newTaskList) 提交Task任务(MapReduce的Map，Broadcast的广播)，上层保证 batchSize，同时插入过多数据可能导致失败
void	updateAppendedWfContext(Map<String,String> newAppendedWfContext) 更新追加的上下文数据
void	updateTaskStatus(Long subInstanceId, String taskId, int newStatus, long reportTime, String result) 更新Task状态 V1.0.0 -> V1.0.1（e405e283ad7f97b0b4e5d369c7de884c0caf9192） 锁方案变更，从 synchronized (taskId.intern()) 修改为分段锁，能大大减少内存占用，损失的只有理论并发度而已

从类继承的方法 tech.powerjob.worker.core.tracker.task.TaskTracker

fetchRunningStatus, reportCreateErrorToServer, reportFinalStatusThenDestroy

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

ptStatusHolder

protected final ProcessorTrackerStatusHolder ptStatusHolder

ProcessTracker 状态管理

taskPersistenceService

protected final TaskPersistenceService taskPersistenceService

数据库持久化服务

scheduledPool

protected ScheduledExecutorService scheduledPool

定时任务线程池

构造器详细资料

HeavyTaskTracker

protected HeavyTaskTracker(ServerScheduleJobReq req,
                           WorkerRuntime workerRuntime)

方法详细资料

initTaskPersistenceService

protected TaskPersistenceService initTaskPersistenceService(InstanceInfo instanceInfo,
                                                            WorkerRuntime workerRuntime)

create

public static HeavyTaskTracker create(ServerScheduleJobReq req,
                                      WorkerRuntime workerRuntime)

静态方法创建 TaskTracker

参数:

req - 服务端调度任务请求

返回:

API/CRON -> CommonTaskTracker, FIX_RATE/FIX_DELAY -> FrequentTaskTracker

updateAppendedWfContext

public void updateAppendedWfContext(Map<String,String> newAppendedWfContext)

更新追加的上下文数据

参数:

newAppendedWfContext - 追加的上下文数据

从以下版本开始:

2021/02/05

updateTaskStatus

public void updateTaskStatus(Long subInstanceId,
                             String taskId,
                             int newStatus,
                             long reportTime,
                             @Nullable
                             String result)

更新Task状态 V1.0.0 -> V1.0.1（e405e283ad7f97b0b4e5d369c7de884c0caf9192） 锁方案变更，从 synchronized (taskId.intern()) 修改为分段锁，能大大减少内存占用，损失的只有理论并发度而已

参数:

subInstanceId - 子任务实例ID

taskId - task的ID（task为任务实例的执行单位）

newStatus - task的新状态

reportTime - 上报时间

result - task的执行结果，未执行完成时为空

submitTask

public boolean submitTask(List<TaskDO> newTaskList)

提交Task任务(MapReduce的Map，Broadcast的广播)，上层保证 batchSize，同时插入过多数据可能导致失败

参数:

newTaskList - 新增的子任务列表

receiveProcessorTrackerHeartbeat

public void receiveProcessorTrackerHeartbeat(ProcessorTrackerStatusReportReq heartbeatReq)

处理 ProcessorTracker 的心跳信息

参数:

heartbeatReq - ProcessorTracker（任务的执行管理器）发来的心跳包，包含了其当前状态

broadcast

public void broadcast(boolean preExecuteSuccess,
                      long subInstanceId,
                      String preTaskId,
                      String result)

生成广播任务

参数:

preExecuteSuccess - 预执行广播任务运行状态

subInstanceId - 子实例ID

preTaskId - 预执行广播任务的taskId

result - 预执行广播任务的结果

destroy

public void destroy()

销毁自身，释放资源

指定者:

destroy 在类中 TaskTracker

stopTask

public void stopTask()

从类复制的说明: TaskTracker

停止任务

指定者:

stopTask 在类中 TaskTracker

dispatchTask

protected void dispatchTask(TaskDO task,
                            String processorTrackerAddress)

派发任务到 ProcessorTracker

参数:

task - 需要被执行的任务

processorTrackerAddress - ProcessorTracker的地址（IP:Port）

getInstanceStatisticsHolder

protected HeavyTaskTracker.InstanceStatisticsHolder getInstanceStatisticsHolder(long subInstanceId)

获取任务实例产生的各个Task状态，用于分析任务实例执行情况

参数:

subInstanceId - 子任务实例ID

返回:

InstanceStatisticsHolder

initTaskTracker

protected abstract void initTaskTracker(ServerScheduleJobReq req)

初始化 TaskTracker

参数:

req - 服务器调度任务实例运行请求