-
本地参数
本地参数 作用域 在任务定义页面配置的参数，默认作用域仅限该任务，如果配置了参数传递 则可将该参数作用到下游任务中。 使用方式 本地参数配置方式如下：在任务定义页面，点击“自定义参数”右边的加号，填写对应的变量名称和对应的值，保存即可。 如果要在单个任务中使用参数，请参阅通过自定义参数使用 如果要在任务中使用配置参数并在下游任务中使用它们： 如果... -
HTTP
HTTP 节点 综述 创建任务 任务参数 任务输出参数 任务样例 注意事项 HTTP 节点 综述 该节点用于执行 http 类型的任务，例如常见的 POST、GET 等请求类型，此外还支持 http 请求校验等功能。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面： 拖动... -
Jupyter
Jupyter 综述 Conda虚拟环境配置 Python依赖管理 使用预装好的Conda环境 使用打包的Conda环境 由依赖需求文本文件临时构建 创建任务 任务参数 任务样例 简单的Jupyter任务样例 Jupyter 综述 Jupyter 任务类型，用于创建并执行Jupyter 类型任务。worker 执行该任务的时候，会... -
简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂... -
元数据文档
表概览 用户 队列 数据源 项目 资源 告警 命令 流程 任务 核心表Schema t_ds_process_definition t_ds_process_instance t_ds_task_instance t_ds_schedules t_ds_command 表概览 表名 表信息 t_ds_access_t... -
SeaTunnel
Apache SeaTunnel 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 SeaTunnel 环境 配置 SeaTunnel 任务节点 Config 样例 支持 SeaTunnel 版本 Apache SeaTunnel 综述 SeaTunnel 任务类型，用于创建并执行 SeaTunnel... -
Dynamic
动态节点 综述 创建任务 任务参数 任务参数输出 运行状态 动态节点 综述 动态节点可以通过输入多个参数列表，通过笛卡尔积计算出多所有的参数组合，然后将每个参数组合作为一个子工作流节点执行。 比如我们有一个工作流，它具有两个输入参数，a, b。 我们可以通过动态节点，将这个工作流定义当做一个节点，然后输入参数列表 参数a：a1, a2... -
元数据文档
表概览 用户 队列 数据源 项目 资源 告警 命令 流程 任务 核心表Schema t_ds_process_definition t_ds_process_instance t_ds_task_instance t_ds_schedules t_ds_command 表概览 表名 表信息 t_ds_access_t... -
DVC
DVC节点 综述 创建任务 任务样例 Init DVC Upload Download 环境准备 dvc 安装 DVC节点 综述 DVC（Data Version Control） 是一个MLops领域一个优秀的开机器学习版本管理系统。 DVC 组件用于在DS上使用DVC的数据版本管理功能，帮助用户简易地进行数据的版本管理。组件提... -
Python
Python 节点 综述 创建任务 任务参数 任务样例 简单打印一行文字 使用自定义参数 注意事项 Python 节点 综述 Python 任务类型，用于创建 Python 类型的任务并执行一系列的 Python 脚本。worker 执行该任务的时候，会生成一个临时python脚本， 并使用与租户同名的 linux 用户执行这个脚本。 ...