-
HTTP
HTTP 节点 综述 创建任务 任务参数 任务输出参数 任务样例 注意事项 HTTP 节点 综述 该节点用于执行 http 类型的任务，例如常见的 POST、GET 等请求类型，此外还支持 http 请求校验等功能。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面： 拖动... -
本地参数
本地参数 作用域 在任务定义页面配置的参数，默认作用域仅限该任务，如果配置了参数传递 则可将该参数作用到下游任务中。 使用方式 本地参数配置方式如下：在任务定义页面，点击“自定义参数”右边的加号，填写对应的变量名称和对应的值，保存即可。 如果要在单个任务中使用参数，请参阅通过自定义参数使用 如果要在任务中使用配置参数并在下游任务中使用它们： 如果... -
简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂... -
Jupyter
Jupyter 综述 Conda虚拟环境配置 Python依赖管理 使用预装好的Conda环境 使用打包的Conda环境 由依赖需求文本文件临时构建 创建任务 任务参数 任务样例 简单的Jupyter任务样例 Jupyter 综述 Jupyter 任务类型，用于创建并执行Jupyter 类型任务。worker 执行该任务的时候，会... -
SeaTunnel
Apache SeaTunnel 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 SeaTunnel 环境 配置 SeaTunnel 任务节点 Config 样例 支持 SeaTunnel 版本 Apache SeaTunnel 综述 SeaTunnel 任务类型，用于创建并执行 SeaTunnel... -
Dynamic
动态节点 综述 创建任务 任务参数 任务参数输出 运行状态 动态节点 综述 动态节点可以通过输入多个参数列表，通过笛卡尔积计算出多所有的参数组合，然后将每个参数组合作为一个子工作流节点执行。 比如我们有一个工作流，它具有两个输入参数，a, b。 我们可以通过动态节点，将这个工作流定义当做一个节点，然后输入参数列表 参数a：a1, a2... -
文件参数传递
文件参数 使用方式 配置文件参数 输出文件给下游任务 获取上游任务的文件 其他 备注 样例 文件参数 通过配置文件参数，在同一工作流实例中，可以将上游任务工作目录下的文件(或文件夹，下统一以文件 代替)传递给下游任务。 如以下场景可能使用到 在ETL任务中，将多个上游任务处理好的数据文件一起传递给特定的下游任务。 在机器学习场景中，将... -
Python
Python 节点 综述 创建任务 任务参数 任务样例 简单打印一行文字 使用自定义参数 注意事项 Python 节点 综述 Python 任务类型，用于创建 Python 类型的任务并执行一系列的 Python 脚本。worker 执行该任务的时候，会生成一个临时python脚本， 并使用与租户同名的 linux 用户执行这个脚本。 ... -
集群部署(Cluster)
集群部署(Cluster) 部署步骤 前置准备工作 && 准备 DolphinScheduler 启动环境 修改相关配置 启动 DolphinScheduler && 登录 DolphinScheduler && 启停服务 集群部署(Cluster) 集群部署目的是在多台机器部署 DolphinScheduler 服务，用于运行大量任务情况。 ... -
元数据文档
DolphinScheduler 元数据文档 表Schema E-R图 用户 队列 数据源 项目 资源 告警 项目 - 租户 - 工作流定义 - 定时 工作流定义和执行 DolphinScheduler 元数据文档 表Schema 详见dolphinscheduler/dolphinscheduler-dao/sr...