-
Flink
Flink节点 综述 Flink 任务类型，用于执行 Flink 程序。对于 Flink 节点： 当程序类型为 Java、Scala 或 Python 时，worker 使用 Flink 命令提交任务 flink run 。更多详情查看 flink cli 。 当程序类型为 SQL 时，worker 使用sql-client.sh 提交任务。... -
Alert SPI
DolphinScheduler Alert SPI 主要设计 DolphinScheduler SPI 设计 主要模块 Alert SPI 主要类信息： Alert SPI 内置实现 DolphinScheduler Alert SPI 主要设计 DolphinScheduler SPI 设计 DolphinScheduler 正在处于微内... -
告警通知
webapi.conf server.conf 夜莺告警通知，内置支持邮件、钉钉机器人、企微机器人、飞书机器人多种方式作为发送通道，也支持调用自定义脚本和Webhook，给用户自定义发送通道的能力。相关配置在 webapi.conf 和 server.conf 中都有涉及。这里分别讲解。 webapi.conf [[ NotifyChannels ... -
升级步骤
DolphinScheduler 升级 准备工作 检查不向前兼容的更改 备份上一版本文件和数据库 下载新版本的安装包 升级步骤 停止 dolphinscheduler 所有服务 数据库升级 资源迁移 示例： 服务升级 修改 bin/env/install_env.sh 配置内容 注意事项 worker 分组的区别（以 1.3.1 版本... -
Appendix
DolphinScheduler任务参数附录 默认任务参数 DolphinScheduler任务参数附录 DolphinScheduler 任务插件有一些公共参数，我们将这些公共参数列在文档中供您查阅。每种任务都有如下的所有或者部分 默认参数： 默认任务参数 任务参数 描述 任务名称 任务的名称，同一个工作流定义中的节点名... -
Java
JAVA 节点 综述 创建任务 任务参数 任务样例 注意事项 JAVA 节点 综述 该节点用于执行 java 类型的任务，支持使用单文件和jar包作为程序入口。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面： 拖动工具栏的JAVA任务节点到画板中。 任务参数 默... -
MLflow
MLflow节点 综述 创建任务 任务样例 MLflow Projects BasicAlgorithm AutoML Custom projects MLflow Models MLFLOW Docker 环境准备 conda 环境配置 MLflow service 启动 内置算法仓库配置 MLflow节点 综述 MLf... -
使用插件
介绍 官方插件 插件类型 建造 先决条件 命令 构建docker镜像与插件从回答基础镜像 第三方插件 用法 升级 开发和贡献 设计与原理 当我们需要对Answer的功能做一些扩展时，例如OAuth登录，我们设计了一种使用插件的方式来实现这些功能。 介绍 官方插件 您可以在[此处]找到官方支持的 Answer 插件列表(h... -
任务结构
Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 在dolphinscheduler中创建的所有任务都保存在t_ds_process... -
软硬件环境建议配置
1. Linux 操作系统版本要求 2. 服务器建议配置 生产环境 3. 网络要求 4. 客户端 Web 浏览器要求 DolphinScheduler 作为一款开源分布式工作流任务调度系统，可以很好的部署和运行在 Intel 架构服务器环境及主流虚拟化环境下，并支持主流的Linux操作系统环境。 1. Linux 操作系统版本要求 操作...