-
认证方式
认证方式 修改认证方式 开发者LDAP测试 通过 Casdoor 实现 SSO 登录 步骤1. 部署 Casdoor 步骤2. 配置 Casdoor 步骤3. 配置 Dolphinscheduler 通过OAuth2授权认证登录 步骤1. 获取OAuth2客户端凭据 步骤2. 在api的配置文件中开启oauth2登录 步骤3.使用oauth2... -
软硬件环境建议配置
Linux 操作系统版本要求 服务器建议配置 生产环境 网络要求 客户端 Web 浏览器要求 时钟同步 DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好地部署和运行在 Intel 架构服务器及主流虚拟化环境下，并支持主流的Linux操作系统环境 Linux 操作系统版本要求 操作系统 版本 ... -
任务结构
任务总体存储结构 各任务类型存储结构详解 Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 任务总体存储结构 在dolphin... -
DataX
DATAX 节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 DataX 环境 配置 DataX 任务节点 查看运行结果 注意事项： DATAX 节点 综述 DataX 任务类型，用于执行 DataX 程序。对于 DataX 节点，worker 会通过执行 ${DATAX_LAUNCHER} 来... -
单机部署 (Standalone)
PostgreSQL (8.2.15+) or MySQL (5.7系列)：两者任选其一即可 JDK (1.8+)：必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+)：必装 pstree or psmisc：Mac OS必装pstree，Fedora/Red/Hat/Ce... -
参数传递
参数的引用 本地任务引用全局参数 上游任务传递给下游任务 任务样例 创建 SHELL 任务并设置参数 创建 SQL 任务并使用参数 保存工作流并设置全局参数 查看运行结果 Python 任务传递参数 SubProcess 任务传递参数 Kubernetes 任务传递参数 参数的引用 DolphinScheduler 提供参数间相互引... -
Apache HBase Connector
HBase写入依赖 常规方式写入读取HBase 1.创建库表 2.写入读取demo Apache StreamPark™ 读写 HBase 1. 配置策略和连接信息 2. 读写入HBase 其他配置 Apache HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价服务器上搭建起大规模结构化存... -
Clickhouse Connector
JDBC 同步写入 常规方式写入 Apache StreamPark™ 方式写入 配置信息 写入clickhouse HTTP 异步写入 常规方式写入 Apache StreamPark™ 方式写入 异步写入配置及失败恢复组件配置 写入clickhouse 其他配置 ClickHouse 是一个用于联机分析（OLAP）的列式数据库管... -
Spark
SPARK节点 综述 创建任务 任务参数 任务样例 spark submit 执行 WordCount 程序 在 DolphinScheduler 中配置 Spark 环境 上传主程序包 配置 Spark 节点 spark sql 执行 DDL 和 DML 语句 注意事项： SPARK节点 综述 Spark 任务类型用于执行... -
工作流定义
创建工作流定义 工作流定义操作功能 单个工作流支持的操作 工作流批量操作 运行工作流 单独运行任务 工作流定时 导入工作流 创建工作流定义 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑 页面，如下图所示： 工具栏中拖拽 到画板中，新增一个Shell任务,如下图所示： ...