-
部署参数分析
Dolphin Scheduler目录配置文件解读 bin conf common目录 config目录 alert.properties application-api.properties application-dao.properties master.properties worker.properties Zookeeper.p... -
集群部署(Cluster)
1.1 : 基础软件安装(必装项请自行安装) 1.2 : 下载后端tar.gz包 1.3：创建部署用户和hosts映射 1.4 : 配置hosts映射和ssh打通及修改目录权限 1.5 : 数据库初始化 1.6 : 修改运行参数 1.7 : 执行install.sh部署脚本 1.8 ： 登录系统 1.2.1之前DolphinSchedule... -
软硬件环境建议配置
Linux 操作系统版本要求 服务器建议配置 生产环境 网络要求 客户端 Web 浏览器要求 时钟同步 DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下，并支持主流的Linux操作系统环境 Linux 操作系统版本要求 操作系统 版本 ... -
工作流定义
创建工作流定义 工作流定义操作功能 单个工作流支持的操作 工作流批量操作 运行工作流 单独运行任务 工作流定时 导入工作流 创建工作流定义 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑 页面，如下图所示： 工具栏中拖拽 到画板中，新增一个Shell任务,如下图所示： ... -
认证方式
认证方式 修改认证方式 开发者LDAP测试 通过 Casdoor 实现 SSO 登录 步骤1. 部署 Casdoor 步骤2. 配置 Casdoor 步骤3. 配置 Dolphinscheduler 通过OAuth2授权认证登录 步骤1. 获取OAuth2客户端凭据 步骤2. 在api的配置文件中开启oauth2登录 步骤3.使用oauth2... -
DataX
DATAX 节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 DataX 环境 配置 DataX 任务节点 查看运行结果 注意事项： DATAX 节点 综述 DataX 任务类型，用于执行 DataX 程序。对于 DataX 节点，worker 会通过执行 ${DATAX_LAUNCHER} 来... -
任务结构
任务总体存储结构 各任务类型存储结构详解 Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 任务总体存储结构 在dolphin... -
参数传递
参数的引用 本地任务引用全局参数 上游任务传递给下游任务 任务样例 创建 SHELL 任务并设置参数 创建 SQL 任务并使用参数 保存工作流并设置全局参数 查看运行结果 Python 任务传递参数 SubProcess 任务传递参数 Kubernetes 任务传递参数 参数的引用 DolphinScheduler 提供参数间相互引... -
单机部署 (Standalone)
PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可 JDK (1.8+)：必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 pstree or psmisc：Mac OS必装pstree，Fedora/Red/Hat/Ce... -
Spark
SPARK节点 综述 创建任务 任务参数 任务样例 spark submit 执行 WordCount 程序 在 DolphinScheduler 中配置 Spark 环境 上传主程序包 配置 Spark 节点 spark sql 执行 DDL 和 DML 语句 注意事项： SPARK节点 综述 Spark 任务类型用于执行...