任务总体存储结构

在dolphinscheduler中创建的所有任务都保存在t_ds_process_definition 表中.

该数据库表结构如下表所示:

序号 字段 类型 描述
1 id int(11) 主键
2 name varchar(255) 流程定义名称
3 version int(11) 流程定义版本
4 release_state tinyint(4) 流程定义的发布状态：0 未上线 , 1已上线
5 project_id int(11) 项目id
6 user_id int(11) 流程定义所属用户id
7 process_definition_json longtext 流程定义JSON
8 description text 流程定义描述
9 global_params text 全局参数
10 flag tinyint(4) 流程是否可用：0 不可用，1 可用
11 locations text 节点坐标信息
12 connects text 节点连线信息
13 receivers text 收件人
14 receivers_cc text 抄送人
15 create_time datetime 创建时间
16 timeout int(11) 超时时间
17 tenant_id int(11) 租户id
18 update_time datetime 更新时间
19 modify_by varchar(36) 修改用户
20 resource_ids varchar(255) 资源ids

其中process_definition_json 字段为核心字段, 定义了 DAG 图中的任务信息.该数据以JSON 的方式进行存储.

公共的数据结构如下表.

序号 字段 类型 描述
1 globalParams Array 全局参数
2 tasks Array 流程中的任务集合 [ 各个类型的结构请参考如下章节]
3 tenantId int 租户id
4 timeout int 超时时间

数据示例:

  1. {
  2.     "globalParams":[
  3.         {
  4.             "prop":"golbal_bizdate",
  5.             "direct":"IN",
  6.             "type":"VARCHAR",
  7.             "value":"${system.biz.date}"
  8.         }
  9.     ],
  10.     "tasks":Array[1],
  11.     "tenantId":0,
  12.     "timeout":0
  13. }

各任务类型存储结构详解

Shell节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SHELL
3 name String 名称
4 params Object 自定义参数 Json 格式
5 rawScript String Shell脚本
6 localParams Array 自定义参数
7 resourceList Array 资源文件
8 description String 描述
9 runFlag String 运行标识
10 conditionResult Object 条件分支
11 successNode Array 成功跳转节点
12 failedNode Array 失败跳转节点
13 dependence Object 任务依赖 与params互斥
14 maxRetryTimes String 最大重试次数
15 retryInterval String 重试间隔
16 timeout Object 超时控制
17 taskInstancePriority String 任务优先级
18 workerGroup String Worker 分组
19 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"SHELL",
  3.     "id":"tasks-80760",
  4.     "name":"Shell Task",
  5.     "params":{
  6.         "resourceList":[
  7.             {
  8.                 "id":3,
  9.                 "name":"run.sh",
  10.                 "res":"run.sh"
  11.             }
  12.         ],
  13.         "localParams":[
  15.         ],
  16.         "rawScript":"echo "This is a shell script""
  17.     },
  18.     "description":"",
  19.     "runFlag":"NORMAL",
  20.     "conditionResult":{
  21.         "successNode":[
  22.             ""
  23.         ],
  24.         "failedNode":[
  25.             ""
  26.         ]
  27.     },
  28.     "dependence":{
  30.     },
  31.     "maxRetryTimes":"0",
  32.     "retryInterval":"1",
  33.     "timeout":{
  34.         "strategy":"",
  35.         "interval":null,
  36.         "enable":false
  37.     },
  38.     "taskInstancePriority":"MEDIUM",
  39.     "workerGroup":"default",
  40.     "preTasks":[
  42.     ]
  43. }

SQL节点

通过 SQL对指定的数据源进行数据查询、更新操作.

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SQL
3 name String 名称
4 params Object 自定义参数 Json 格式
5 type String 数据库类型
6 datasource Int 数据源id
7 sql String 查询SQL语句
8 udfs String udf函数 UDF函数id,以逗号分隔.
9 sqlType String SQL节点类型 0 查询 , 1 非查询
10 title String 邮件标题
11 receivers String 收件人
12 receiversCc String 抄送人
13 showType String 邮件显示类型 TABLE 表格 , ATTACHMENT附件
14 connParams String 连接参数
15 preStatements Array 前置SQL
16 postStatements Array 后置SQL
17 localParams Array 自定义参数
18 description String 描述
19 runFlag String 运行标识
20 conditionResult Object 条件分支
21 successNode Array 成功跳转节点
22 failedNode Array 失败跳转节点
23 dependence Object 任务依赖 与params互斥
24 maxRetryTimes String 最大重试次数
25 retryInterval String 重试间隔
26 timeout Object 超时控制
27 taskInstancePriority String 任务优先级
28 workerGroup String Worker 分组
29 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"SQL",
  3.     "id":"tasks-95648",
  4.     "name":"SqlTask-Query",
  5.     "params":{
  6.         "type":"MYSQL",
  7.         "datasource":1,
  8.         "sql":"select id , namge , age from emp where id =  ${id}",
  9.         "udfs":"",
  10.         "sqlType":"0",
  11.         "title":"xxxx@xxx.com",
  12.         "receivers":"xxxx@xxx.com",
  13.         "receiversCc":"",
  14.         "showType":"TABLE",
  15.         "localParams":[
  16.             {
  17.                 "prop":"id",
  18.                 "direct":"IN",
  19.                 "type":"INTEGER",
  20.                 "value":"1"
  21.             }
  22.         ],
  23.         "connParams":"",
  24.         "preStatements":[
  25.             "insert into emp ( id,name ) value (1,'Li' )"
  26.         ],
  27.         "postStatements":[
  29.         ]
  30.     },
  31.     "description":"",
  32.     "runFlag":"NORMAL",
  33.     "conditionResult":{
  34.         "successNode":[
  35.             ""
  36.         ],
  37.         "failedNode":[
  38.             ""
  39.         ]
  40.     },
  41.     "dependence":{
  43.     },
  44.     "maxRetryTimes":"0",
  45.     "retryInterval":"1",
  46.     "timeout":{
  47.         "strategy":"",
  48.         "interval":null,
  49.         "enable":false
  50.     },
  51.     "taskInstancePriority":"MEDIUM",
  52.     "workerGroup":"default",
  53.     "preTasks":[
  55.     ]
  56. }

PROCEDURE[存储过程]节点

节点数据结构如下: 节点数据样例:

SPARK节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SPARK
3 name String 名称
4 params Object 自定义参数 Json 格式
5 mainClass String 运行主类
6 mainArgs String 运行参数
7 others String 其他参数
8 mainJar Object 程序 jar 包
9 deployMode String 部署模式 local,client,cluster
10 driverCores String driver核数
11 driverMemory String driver 内存数
12 numExecutors String executor数量
13 executorMemory String executor内存
14 executorCores String executor核数
15 programType String 程序类型 JAVA,SCALA,PYTHON
16 localParams Array 自定义参数
17 resourceList Array 资源文件
18 description String 描述
19 runFlag String 运行标识
20 conditionResult Object 条件分支
21 successNode Array 成功跳转节点
22 failedNode Array 失败跳转节点
23 dependence Object 任务依赖 与params互斥
24 maxRetryTimes String 最大重试次数
25 retryInterval String 重试间隔
26 timeout Object 超时控制
27 taskInstancePriority String 任务优先级
28 workerGroup String Worker 分组
29 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"SPARK",
  3.     "id":"tasks-87430",
  4.     "name":"SparkTask",
  5.     "params":{
  6.         "mainClass":"org.apache.spark.examples.SparkPi",
  7.         "mainJar":{
  8.             "id":4
  9.         },
  10.         "deployMode":"cluster",
  11.         "resourceList":[
  12.             {
  13.                 "id":3,
  14.                 "name":"run.sh",
  15.                 "res":"run.sh"
  16.             }
  17.         ],
  18.         "localParams":[
  20.         ],
  21.         "driverCores":1,
  22.         "driverMemory":"512M",
  23.         "numExecutors":2,
  24.         "executorMemory":"2G",
  25.         "executorCores":2,
  26.         "mainArgs":"10",
  27.         "others":"",
  28.         "programType":"SCALA"
  29.     },
  30.     "description":"",
  31.     "runFlag":"NORMAL",
  32.     "conditionResult":{
  33.         "successNode":[
  34.             ""
  35.         ],
  36.         "failedNode":[
  37.             ""
  38.         ]
  39.     },
  40.     "dependence":{
  42.     },
  43.     "maxRetryTimes":"0",
  44.     "retryInterval":"1",
  45.     "timeout":{
  46.         "strategy":"",
  47.         "interval":null,
  48.         "enable":false
  49.     },
  50.     "taskInstancePriority":"MEDIUM",
  51.     "workerGroup":"default",
  52.     "preTasks":[
  54.     ]
  55. }

MapReduce(MR)节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 MR
3 name String 名称
4 params Object 自定义参数 Json 格式
5 mainClass String 运行主类
6 mainArgs String 运行参数
7 others String 其他参数
8 mainJar Object 程序 jar 包
9 programType String 程序类型 JAVA,PYTHON
10 localParams Array 自定义参数
11 resourceList Array 资源文件
12 description String 描述
13 runFlag String 运行标识
14 conditionResult Object 条件分支
15 successNode Array 成功跳转节点
16 failedNode Array 失败跳转节点
17 dependence Object 任务依赖 与params互斥
18 maxRetryTimes String 最大重试次数
19 retryInterval String 重试间隔
20 timeout Object 超时控制
21 taskInstancePriority String 任务优先级
22 workerGroup String Worker 分组
23 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"MR",
  3.     "id":"tasks-28997",
  4.     "name":"MRTask",
  5.     "params":{
  6.         "mainClass":"wordcount",
  7.         "mainJar":{
  8.             "id":5
  9.         },
  10.         "resourceList":[
  11.             {
  12.                 "id":3,
  13.                 "name":"run.sh",
  14.                 "res":"run.sh"
  15.             }
  16.         ],
  17.         "localParams":[
  19.         ],
  20.         "mainArgs":"/tmp/wordcount/input /tmp/wordcount/output/",
  21.         "others":"",
  22.         "programType":"JAVA"
  23.     },
  24.     "description":"",
  25.     "runFlag":"NORMAL",
  26.     "conditionResult":{
  27.         "successNode":[
  28.             ""
  29.         ],
  30.         "failedNode":[
  31.             ""
  32.         ]
  33.     },
  34.     "dependence":{
  36.     },
  37.     "maxRetryTimes":"0",
  38.     "retryInterval":"1",
  39.     "timeout":{
  40.         "strategy":"",
  41.         "interval":null,
  42.         "enable":false
  43.     },
  44.     "taskInstancePriority":"MEDIUM",
  45.     "workerGroup":"default",
  46.     "preTasks":[
  48.     ]
  49. }

Python节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 PYTHON
3 name String 名称
4 params Object 自定义参数 Json 格式
5 rawScript String Python脚本
6 localParams Array 自定义参数
7 resourceList Array 资源文件
8 description String 描述
9 runFlag String 运行标识
10 conditionResult Object 条件分支
11 successNode Array 成功跳转节点
12 failedNode Array 失败跳转节点
13 dependence Object 任务依赖 与params互斥
14 maxRetryTimes String 最大重试次数
15 retryInterval String 重试间隔
16 timeout Object 超时控制
17 taskInstancePriority String 任务优先级
18 workerGroup String Worker 分组
19 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"PYTHON",
  3.     "id":"tasks-5463",
  4.     "name":"Python Task",
  5.     "params":{
  6.         "resourceList":[
  7.             {
  8.                 "id":3,
  9.                 "name":"run.sh",
  10.                 "res":"run.sh"
  11.             }
  12.         ],
  13.         "localParams":[
  15.         ],
  16.         "rawScript":"print("This is a python script")"
  17.     },
  18.     "description":"",
  19.     "runFlag":"NORMAL",
  20.     "conditionResult":{
  21.         "successNode":[
  22.             ""
  23.         ],
  24.         "failedNode":[
  25.             ""
  26.         ]
  27.     },
  28.     "dependence":{
  30.     },
  31.     "maxRetryTimes":"0",
  32.     "retryInterval":"1",
  33.     "timeout":{
  34.         "strategy":"",
  35.         "interval":null,
  36.         "enable":false
  37.     },
  38.     "taskInstancePriority":"MEDIUM",
  39.     "workerGroup":"default",
  40.     "preTasks":[
  42.     ]
  43. }

Flink节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 FLINK
3 name String 名称
4 params Object 自定义参数 Json 格式
5 mainClass String 运行主类
6 mainArgs String 运行参数
7 others String 其他参数
8 mainJar Object 程序 jar 包
9 deployMode String 部署模式 local,client,cluster
10 slot String slot数量
11 taskManager String taskManager数量
12 taskManagerMemory String taskManager内存数
13 jobManagerMemory String jobManager内存数
14 programType String 程序类型 JAVA,SCALA,PYTHON
15 localParams Array 自定义参数
16 resourceList Array 资源文件
17 description String 描述
18 runFlag String 运行标识
19 conditionResult Object 条件分支
20 successNode Array 成功跳转节点
21 failedNode Array 失败跳转节点
22 dependence Object 任务依赖 与params互斥
23 maxRetryTimes String 最大重试次数
24 retryInterval String 重试间隔
25 timeout Object 超时控制
26 taskInstancePriority String 任务优先级
27 workerGroup String Worker 分组
38 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"FLINK",
  3.     "id":"tasks-17135",
  4.     "name":"FlinkTask",
  5.     "params":{
  6.         "mainClass":"com.flink.demo",
  7.         "mainJar":{
  8.             "id":6
  9.         },
  10.         "deployMode":"cluster",
  11.         "resourceList":[
  12.             {
  13.                 "id":3,
  14.                 "name":"run.sh",
  15.                 "res":"run.sh"
  16.             }
  17.         ],
  18.         "localParams":[
  20.         ],
  21.         "slot":1,
  22.         "taskManager":"2",
  23.         "jobManagerMemory":"1G",
  24.         "taskManagerMemory":"2G",
  25.         "executorCores":2,
  26.         "mainArgs":"100",
  27.         "others":"",
  28.         "programType":"SCALA"
  29.     },
  30.     "description":"",
  31.     "runFlag":"NORMAL",
  32.     "conditionResult":{
  33.         "successNode":[
  34.             ""
  35.         ],
  36.         "failedNode":[
  37.             ""
  38.         ]
  39.     },
  40.     "dependence":{
  42.     },
  43.     "maxRetryTimes":"0",
  44.     "retryInterval":"1",
  45.     "timeout":{
  46.         "strategy":"",
  47.         "interval":null,
  48.         "enable":false
  49.     },
  50.     "taskInstancePriority":"MEDIUM",
  51.     "workerGroup":"default",
  52.     "preTasks":[
  54.     ]
  55. }

HTTP节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 HTTP
3 name String 名称
4 params Object 自定义参数 Json 格式
5 url String 请求地址
6 httpMethod String 请求方式 GET,POST,HEAD,PUT,DELETE
7 httpParams Array 请求参数
8 httpCheckCondition String 校验条件 默认响应码200
9 condition String 校验内容
10 localParams Array 自定义参数
11 description String 描述
12 runFlag String 运行标识
13 conditionResult Object 条件分支
14 successNode Array 成功跳转节点
15 failedNode Array 失败跳转节点
16 dependence Object 任务依赖 与params互斥
17 maxRetryTimes String 最大重试次数
18 retryInterval String 重试间隔
19 timeout Object 超时控制
20 taskInstancePriority String 任务优先级
21 workerGroup String Worker 分组
22 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"HTTP",
  3.     "id":"tasks-60499",
  4.     "name":"HttpTask",
  5.     "params":{
  6.         "localParams":[
  8.         ],
  9.         "httpParams":[
  10.             {
  11.                 "prop":"id",
  12.                 "httpParametersType":"PARAMETER",
  13.                 "value":"1"
  14.             },
  15.             {
  16.                 "prop":"name",
  17.                 "httpParametersType":"PARAMETER",
  18.                 "value":"Bo"
  19.             }
  20.         ],
  21.         "url":"https://www.xxxxx.com:9012",
  22.         "httpMethod":"POST",
  23.         "httpCheckCondition":"STATUS_CODE_DEFAULT",
  24.         "condition":""
  25.     },
  26.     "description":"",
  27.     "runFlag":"NORMAL",
  28.     "conditionResult":{
  29.         "successNode":[
  30.             ""
  31.         ],
  32.         "failedNode":[
  33.             ""
  34.         ]
  35.     },
  36.     "dependence":{
  38.     },
  39.     "maxRetryTimes":"0",
  40.     "retryInterval":"1",
  41.     "timeout":{
  42.         "strategy":"",
  43.         "interval":null,
  44.         "enable":false
  45.     },
  46.     "taskInstancePriority":"MEDIUM",
  47.     "workerGroup":"default",
  48.     "preTasks":[
  50.     ]
  51. }

DataX节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 DATAX
3 name String 名称
4 params Object 自定义参数 Json 格式
5 customConfig Int 自定义类型 0定制 , 1自定义
6 dsType String 源数据库类型
7 dataSource Int 源数据库ID
8 dtType String 目标数据库类型
9 dataTarget Int 目标数据库ID
10 sql String SQL语句
11 targetTable String 目标表
12 jobSpeedByte Int 限流(字节数)
13 jobSpeedRecord Int 限流(记录数)
14 preStatements Array 前置SQL
15 postStatements Array 后置SQL
16 json String 自定义配置 customConfig=1时生效
17 localParams Array 自定义参数 customConfig=1时生效
18 description String 描述
19 runFlag String 运行标识
20 conditionResult Object 条件分支
21 successNode Array 成功跳转节点
22 failedNode Array 失败跳转节点
23 dependence Object 任务依赖 与params互斥
24 maxRetryTimes String 最大重试次数
25 retryInterval String 重试间隔
26 timeout Object 超时控制
27 taskInstancePriority String 任务优先级
28 workerGroup String Worker 分组
29 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"DATAX",
  3.     "id":"tasks-91196",
  4.     "name":"DataxTask-DB",
  5.     "params":{
  6.         "customConfig":0,
  7.         "dsType":"MYSQL",
  8.         "dataSource":1,
  9.         "dtType":"MYSQL",
  10.         "dataTarget":1,
  11.         "sql":"select id, name ,age from user ",
  12.         "targetTable":"emp",
  13.         "jobSpeedByte":524288,
  14.         "jobSpeedRecord":500,
  15.         "preStatements":[
  16.             "truncate table emp "
  17.         ],
  18.         "postStatements":[
  19.             "truncate table user"
  20.         ]
  21.     },
  22.     "description":"",
  23.     "runFlag":"NORMAL",
  24.     "conditionResult":{
  25.         "successNode":[
  26.             ""
  27.         ],
  28.         "failedNode":[
  29.             ""
  30.         ]
  31.     },
  32.     "dependence":{
  34.     },
  35.     "maxRetryTimes":"0",
  36.     "retryInterval":"1",
  37.     "timeout":{
  38.         "strategy":"",
  39.         "interval":null,
  40.         "enable":false
  41.     },
  42.     "taskInstancePriority":"MEDIUM",
  43.     "workerGroup":"default",
  44.     "preTasks":[
  46.     ]
  47. }

Sqoop节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SQOOP
3 name String 名称
4 params Object 自定义参数 JSON 格式
5 concurrency Int 并发度
6 modelType String 流向 import,export
7 sourceType String 数据源类型
8 sourceParams String 数据源参数 JSON格式
9 targetType String 目标数据类型
10 targetParams String 目标数据参数 JSON格式
11 localParams Array 自定义参数
12 description String 描述
13 runFlag String 运行标识
14 conditionResult Object 条件分支
15 successNode Array 成功跳转节点
16 failedNode Array 失败跳转节点
17 dependence Object 任务依赖 与params互斥
18 maxRetryTimes String 最大重试次数
19 retryInterval String 重试间隔
20 timeout Object 超时控制
21 taskInstancePriority String 任务优先级
22 workerGroup String Worker 分组
23 preTasks Array 前置任务

节点数据样例:

  1. {
  2.             "type":"SQOOP",
  3.             "id":"tasks-82041",
  4.             "name":"Sqoop Task",
  5.             "params":{
  6.                 "concurrency":1,
  7.                 "modelType":"import",
  8.                 "sourceType":"MYSQL",
  9.                 "targetType":"HDFS",
  10.                 "sourceParams":"{"srcType":"MYSQL","srcDatasource":1,"srcTable":"","srcQueryType":"1","srcQuerySql":"selec id , name from user","srcColumnType":"0","srcColumns":"","srcConditionList":[],"mapColumnHive":[{"prop":"hivetype-key","direct":"IN","type":"VARCHAR","value":"hivetype-value"}],"mapColumnJava":[{"prop":"javatype-key","direct":"IN","type":"VARCHAR","value":"javatype-value"}]}",
  11.                 "targetParams":"{"targetPath":"/user/hive/warehouse/ods.db/user","deleteTargetDir":false,"fileType":"--as-avrodatafile","compressionCodec":"snappy","fieldsTerminated":",","linesTerminated":"@"}",
  12.                 "localParams":[
  14.                 ]
  15.             },
  16.             "description":"",
  17.             "runFlag":"NORMAL",
  18.             "conditionResult":{
  19.                 "successNode":[
  20.                     ""
  21.                 ],
  22.                 "failedNode":[
  23.                     ""
  24.                 ]
  25.             },
  26.             "dependence":{
  28.             },
  29.             "maxRetryTimes":"0",
  30.             "retryInterval":"1",
  31.             "timeout":{
  32.                 "strategy":"",
  33.                 "interval":null,
  34.                 "enable":false
  35.             },
  36.             "taskInstancePriority":"MEDIUM",
  37.             "workerGroup":"default",
  38.             "preTasks":[
  40.             ]
  41.         }

条件分支节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SHELL
3 name String 名称
4 params Object 自定义参数 null
5 description String 描述
6 runFlag String 运行标识
7 conditionResult Object 条件分支
8 successNode Array 成功跳转节点
9 failedNode Array 失败跳转节点
10 dependence Object 任务依赖 与params互斥
11 maxRetryTimes String 最大重试次数
12 retryInterval String 重试间隔
13 timeout Object 超时控制
14 taskInstancePriority String 任务优先级
15 workerGroup String Worker 分组
16 preTasks Array 前置任务

节点数据样例:

  1. {
  2.     "type":"CONDITIONS",
  3.     "id":"tasks-96189",
  4.     "name":"条件",
  5.     "params":{
  7.     },
  8.     "description":"",
  9.     "runFlag":"NORMAL",
  10.     "conditionResult":{
  11.         "successNode":[
  12.             "test04"
  13.         ],
  14.         "failedNode":[
  15.             "test05"
  16.         ]
  17.     },
  18.     "dependence":{
  19.         "relation":"AND",
  20.         "dependTaskList":[
  22.         ]
  23.     },
  24.     "maxRetryTimes":"0",
  25.     "retryInterval":"1",
  26.     "timeout":{
  27.         "strategy":"",
  28.         "interval":null,
  29.         "enable":false
  30.     },
  31.     "taskInstancePriority":"MEDIUM",
  32.     "workerGroup":"default",
  33.     "preTasks":[
  34.         "test01",
  35.         "test02"
  36.     ]
  37. }

子流程节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 SHELL
3 name String 名称
4 params Object 自定义参数 Json 格式
5 processDefinitionId Int 流程定义id
6 description String 描述
7 runFlag String 运行标识
8 conditionResult Object 条件分支
9 successNode Array 成功跳转节点
10 failedNode Array 失败跳转节点
11 dependence Object 任务依赖 与params互斥
12 maxRetryTimes String 最大重试次数
13 retryInterval String 重试间隔
14 timeout Object 超时控制
15 taskInstancePriority String 任务优先级
16 workerGroup String Worker 分组
17 preTasks Array 前置任务

节点数据样例:

  1. {
  2.             "type":"SUB_PROCESS",
  3.             "id":"tasks-14806",
  4.             "name":"SubProcessTask",
  5.             "params":{
  6.                 "processDefinitionId":2
  7.             },
  8.             "description":"",
  9.             "runFlag":"NORMAL",
  10.             "conditionResult":{
  11.                 "successNode":[
  12.                     ""
  13.                 ],
  14.                 "failedNode":[
  15.                     ""
  16.                 ]
  17.             },
  18.             "dependence":{
  20.             },
  21.             "timeout":{
  22.                 "strategy":"",
  23.                 "interval":null,
  24.                 "enable":false
  25.             },
  26.             "taskInstancePriority":"MEDIUM",
  27.             "workerGroup":"default",
  28.             "preTasks":[
  30.             ]
  31.         }

依赖(DEPENDENT)节点

节点数据结构如下:

序号 参数名 类型 描述 描述
1 id String 任务编码
2 type String 类型 DEPENDENT
3 name String 名称
4 params Object 自定义参数 Json 格式
5 rawScript String Shell脚本
6 localParams Array 自定义参数
7 resourceList Array 资源文件
8 description String 描述
9 runFlag String 运行标识
10 conditionResult Object 条件分支
11 successNode Array 成功跳转节点
12 failedNode Array 失败跳转节点
13 dependence Object 任务依赖 与params互斥
14 relation String 关系 AND,OR
15 dependTaskList Array 依赖任务清单
16 maxRetryTimes String 最大重试次数
17 retryInterval String 重试间隔
18 timeout Object 超时控制
19 taskInstancePriority String 任务优先级
20 workerGroup String Worker 分组
21 preTasks Array 前置任务

节点数据样例:

  1. {
  2.             "type":"DEPENDENT",
  3.             "id":"tasks-57057",
  4.             "name":"DenpendentTask",
  5.             "params":{
  7.             },
  8.             "description":"",
  9.             "runFlag":"NORMAL",
  10.             "conditionResult":{
  11.                 "successNode":[
  12.                     ""
  13.                 ],
  14.                 "failedNode":[
  15.                     ""
  16.                 ]
  17.             },
  18.             "dependence":{
  19.                 "relation":"AND",
  20.                 "dependTaskList":[
  21.                     {
  22.                         "relation":"AND",
  23.                         "dependItemList":[
  24.                             {
  25.                                 "projectId":1,
  26.                                 "definitionId":7,
  27.                                 "definitionList":[
  28.                                     {
  29.                                         "value":8,
  30.                                         "label":"MRTask"
  31.                                     },
  32.                                     {
  33.                                         "value":7,
  34.                                         "label":"FlinkTask"
  35.                                     },
  36.                                     {
  37.                                         "value":6,
  38.                                         "label":"SparkTask"
  39.                                     },
  40.                                     {
  41.                                         "value":5,
  42.                                         "label":"SqlTask-Update"
  43.                                     },
  44.                                     {
  45.                                         "value":4,
  46.                                         "label":"SqlTask-Query"
  47.                                     },
  48.                                     {
  49.                                         "value":3,
  50.                                         "label":"SubProcessTask"
  51.                                     },
  52.                                     {
  53.                                         "value":2,
  54.                                         "label":"Python Task"
  55.                                     },
  56.                                     {
  57.                                         "value":1,
  58.                                         "label":"Shell Task"
  59.                                     }
  60.                                 ],
  61.                                 "depTasks":"ALL",
  62.                                 "cycle":"day",
  63.                                 "dateValue":"today"
  64.                             }
  65.                         ]
  66.                     },
  67.                     {
  68.                         "relation":"AND",
  69.                         "dependItemList":[
  70.                             {
  71.                                 "projectId":1,
  72.                                 "definitionId":5,
  73.                                 "definitionList":[
  74.                                     {
  75.                                         "value":8,
  76.                                         "label":"MRTask"
  77.                                     },
  78.                                     {
  79.                                         "value":7,
  80.                                         "label":"FlinkTask"
  81.                                     },
  82.                                     {
  83.                                         "value":6,
  84.                                         "label":"SparkTask"
  85.                                     },
  86.                                     {
  87.                                         "value":5,
  88.                                         "label":"SqlTask-Update"
  89.                                     },
  90.                                     {
  91.                                         "value":4,
  92.                                         "label":"SqlTask-Query"
  93.                                     },
  94.                                     {
  95.                                         "value":3,
  96.                                         "label":"SubProcessTask"
  97.                                     },
  98.                                     {
  99.                                         "value":2,
  100.                                         "label":"Python Task"
  101.                                     },
  102.                                     {
  103.                                         "value":1,
  104.                                         "label":"Shell Task"
  105.                                     }
  106.                                 ],
  107.                                 "depTasks":"SqlTask-Update",
  108.                                 "cycle":"day",
  109.                                 "dateValue":"today"
  110.                             }
  111.                         ]
  112.                     }
  113.                 ]
  114.             },
  115.             "maxRetryTimes":"0",
  116.             "retryInterval":"1",
  117.             "timeout":{
  118.                 "strategy":"",
  119.                 "interval":null,
  120.                 "enable":false
  121.             },
  122.             "taskInstancePriority":"MEDIUM",
  123.             "workerGroup":"default",
  124.             "preTasks":[
  126.             ]
  127.         }