-
元数据文档
DolphinScheduler 元数据文档 表Schema E-R图 用户 队列 数据源 项目 资源 告警 项目 - 租户 - 工作流定义 - 定时 工作流定义和执行 DolphinScheduler 元数据文档 表Schema 详见dolphinscheduler/dolphinscheduler-dao/sr... -
AWS Datasync
DataSync 节点 综述 创建任务 任务样例 独有参数 环境配置 DataSync 节点 综述 AWS DataSync 是一种在线数据传输服务，可简化、自动化和加速本地存储系统和 AWS Storage 服务之间，以及不同 AWS Storage 服务之间的数据移动。 DataSync 支持的组件: Network File ... -
集群部署(Cluster)
集群部署(Cluster) 部署步骤 前置准备工作 && 准备 DolphinScheduler 启动环境 修改相关配置 启动 DolphinScheduler && 登录 DolphinScheduler && 启停服务 集群部署(Cluster) 集群部署目的是在多台机器部署 DolphinScheduler 服务，用于运行大量任务情况。 ... -
文件参数传递
文件参数 使用方式 配置文件参数 输出文件给下游任务 获取上游任务的文件 其他 备注 样例 文件参数 通过配置文件参数，在同一工作流实例中，可以将上游任务工作目录下的文件(或文件夹，下统一以文件 代替)传递给下游任务。 如以下场景可能使用到 在ETL任务中，将多个上游任务处理好的数据文件一起传递给特定的下游任务。 在机器学习场景中，将... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建... -
SageMaker
SageMaker 节点 综述 创建任务 任务样例 环境配置 SageMaker 节点 综述 Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。 Amazon SageMaker Model Building Pipelines 是一个可以直接使用Sa... -
基于Rainbond部署(Cluster)
基于 Rainbond 部署 DolphinScheduler 高可用集群 前提条件 DolphinScheduler 集群一键部署 API Master Worker 节点伸缩 配置文件 如何支持 Python 3？ 如何支持 Hadoop, Spark, DataX 等？ 基于 Rainbond 部署 DolphinScheduler ... -
Kubernetes
Kubernetes 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 kubernetes 集群环境 配置 kubernetes 任务节点 注意事项 Kubernetes 综述 kubernetes任务类型，用于在kubernetes上执行一个短时和批处理的任务。worker最终会通过使用kuberne... -
Demo
DolphinScheduler 初始化工作流 demo 准备工作 备份上一版本文件和数据库 下载新版本的安装包 服务启动步骤 开启 dolphinscheduler 服务 数据库配置 租户配置 修改 dolphinscheduler-tools/resources/application.yaml 配置内容 DolphinSched... -
负载均衡
负载均衡 DolphinScheduler-Worker 负载均衡算法 Worker 负载均衡配置 权重 预热 负载均衡算法细述 随机（加权） 平滑轮询（加权） 线性加权(默认算法) 负载均衡 负载均衡即通过路由算法（通常是集群环境），合理的分摊服务器压力，达到服务器性能的最大优化。 DolphinScheduler-Worker ...