-
文件参数传递
文件参数 使用方式 配置文件参数 输出文件给下游任务 获取上游任务的文件 其他 备注 样例 文件参数 通过配置文件参数，在同一工作流实例中，可以将上游任务工作目录下的文件(或文件夹，下统一以文件 代替)传递给下游任务。 如以下场景可能使用到 在ETL任务中，将多个上游任务处理好的数据文件一起传递给特定的下游任务。 在机器学习场景中，将... -
Python
Python 节点 综述 创建任务 任务参数 任务样例 简单打印一行文字 使用自定义参数 注意事项 Python 节点 综述 Python 任务类型，用于创建 Python 类型的任务并执行一系列的 Python 脚本。worker 执行该任务的时候，会生成一个临时python脚本， 并使用与租户同名的 linux 用户执行这个脚本。 ... -
文件管理
文件管理 基础操作 创建文件 上传文件 文件查看 下载文件 文件重命名 删除文件 任务样例 创建 shell 文件 创建工作流执行文件 查看结果 文件管理 当在调度过程中需要使用到第三方的 jar 或者用户需要自定义脚本的情况，可以通过在该页面完成相关操作。可创建的文件类型包括：txt/log/sh/conf/py/java 等... -
简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂... -
Dynamic
动态节点 综述 创建任务 任务参数 任务参数输出 运行状态 动态节点 综述 动态节点可以通过输入多个参数列表，通过笛卡尔积计算出多所有的参数组合，然后将每个参数组合作为一个子工作流节点执行。 比如我们有一个工作流，它具有两个输入参数，a, b。 我们可以通过动态节点，将这个工作流定义当做一个节点，然后输入参数列表 参数a：a1, a2... -
元数据文档
表概览 用户 队列 数据源 项目 资源 告警 命令 流程 任务 核心表Schema t_ds_process_definition t_ds_process_instance t_ds_task_instance t_ds_schedules t_ds_command 表概览 表名 表信息 t_ds_access_t... -
告警组件向导
如何创建告警插件以及告警组 如何创建告警插件以及告警组 在 2.0.0 版本中，用户需要创建告警实例，在创建告警实例时，需要选择告警策略，有三个选项，成功发、失败发，以及成功和失败都发。在执行完工作流或任务时，如果触发告警，调用告警实例发送方法会进行逻辑判断，将告警实例与任务状态进行匹配，匹配则执行该告警实例发送逻辑，不匹配则过滤。创建完告警实例后，需... -
集群部署(Cluster)
集群部署(Cluster) 部署步骤 前置准备工作 && 准备 DolphinScheduler 启动环境 修改相关配置 启动 DolphinScheduler && 登录 DolphinScheduler && 启停服务 集群部署(Cluster) 集群部署目的是在多台机器部署 DolphinScheduler 服务，用于运行大量任务情况。 ... -
Pytorch
Pytorch 节点（试验版） 综述 创建任务 任务样例 Pytorch参数 运行参数 python环境参数 Demo 环境配置 指定python路径 使用Conda创建新环境 使用virtualenv创建新环境 其他 Pytorch 节点（试验版） 综述 Pytorch 是一个的主流Python机器学习库。 为了用户能够... -
全局参数
全局参数 作用域 使用方式 创建 Shell 任务 保存工作流，并设置全局参数 任务实例查看执行结果 全局参数 作用域 全局参数在工作流定义页面配置。 方向是 IN 的变量是针对整个工作流 的所有任务节点都有效的参数。 方向是 OUT 的变量作为该工作流的输出参数，传递到父工作流中对应 SubProcess 任务的下游任务。 使用方...
