-
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建... -
Dependent
Dependent 节点 综述 创建任务 任务参数 任务样例 Dependent 节点 综述 Dependent 节点，就是依赖检查节点 。比如 A 流程依赖昨天的 B 流程执行成功，依赖节点会去检查 B 流程在昨天是否有执行成功的实例。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编... -
负载均衡
负载均衡 DolphinScheduler-Worker 负载均衡算法 Worker 负载均衡配置 权重 预热 负载均衡算法细述 随机（加权） 平滑轮询（加权） 线性加权(默认算法) 负载均衡 负载均衡即通过路由算法（通常是集群环境），合理的分摊服务器压力，达到服务器性能的最大优化。 DolphinScheduler-Worker ... -
HIVE
HIVE数据源 使用HiveServer2 使用 HiveServer2 HA Zookeeper 是否原生支持 HIVE数据源 使用HiveServer2 数据源：选择 HIVE 数据源名称：输入数据源的名称 描述：输入数据源的描述 IP 主机名：输入连接 HIVE 的 IP 端口：输入连接 HIVE 的端口 用户名：设置连接 HIVE... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
ChunJun
ChunJun节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 ChunJun 环境 配置 ChunJun 任务节点 ChunJun节点 综述 ChunJun 任务类型，用于执行 ChunJun 程序。对于 ChunJun 节点，worker 会通过执行 ${CHUNJUN_HOME}/bin/sta... -
升级文档
1. 备份上一版本文件和数据库 2. 停止dolphinscheduler所有服务 3. 下载新版本的安装包 4. 数据库升级 5. 后端服务升级 6. 前端服务升级 1. 备份上一版本文件和数据库 2. 停止dolphinscheduler所有服务 sh ./script/stop-all.sh 3. 下载新版本的安装包 下载 ,... -
Task SPI
DolphinScheduler Task SPI 扩展 如何进行任务插件开发？ DolphinScheduler Task SPI 扩展 如何进行任务插件开发？ org.apache.dolphinscheduler.spi.task.TaskChannel 插件实现以上接口即可。主要包含创建任务（任务初始化，任务运行等方法）、任务取消，如果是... -
Gobblin on Yarn
Introduction Architecture Overview The Role of Apache Helix Gobblin Yarn Application Launcher YarnAppSecurityManager LogCopier Gobblin ApplicationMaster YarnService GobblinH...
