-
基于Rainbond部署(Cluster)
基于 Rainbond 部署 DolphinScheduler 高可用集群 前提条件 DolphinScheduler 集群一键部署 API Master Worker 节点伸缩 配置文件 如何支持 Python 3？ 如何支持 Hadoop, Spark, DataX 等？ 基于 Rainbond 部署 DolphinScheduler ... -
版本升级指南
升级前准备 找到升级脚本 执行升级脚本 示例：从 2.0.0 升级到 2.1.2 验证升级 遇到问题怎么办 下一步 升级前准备 在开始升级之前，请确保已完成以下准备工作，以确保升级过程顺利进行。 备份数据库 ：非常重要的一步，确保有完整的数据库备份，以便在升级过程中遇到问题时可以恢复到升级前的状态。 检查版本兼容性 ：确认当前的版本号，... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
远程日志存储
远程日志存储（Remote Logging） 开启远程日志存储 将任务日志写入 阿里云对象存储（OSS） 将任务日志写入 Amazon S3 将任务日志写入 Google Cloud Storage (GCS) 将任务日志写入 Azure Blob Storage (ABS) 注意事项 远程日志存储（Remote Logging） ... -
Sqoop
SQOOP 节点 综述 创建任务 任务参数 任务样例 配置 Sqoop 环境 配置 Sqoop 任务节点 查看运行结果 SQOOP 节点 综述 SQOOP 任务类型，用于执行 SQOOP 程序。对于 SQOOP 节点，worker 会通过执行 sqoop 命令来执行 SQOOP 任务。 创建任务 点击项目管理 -> 项目名称 -... -
Openmldb
OpenMLDB 节点 综述 创建任务 任务样例 导入数据 特征抽取 环境准备 OpenMLDB 启动 Python 环境 OpenMLDB 节点 综述 OpenMLDB 是一个优秀的开源机器学习数据库，提供生产级数据及特征开发全栈解决方案。 OpenMLDB任务组件可以连接OpenMLDB集群执行任务。 创建任务 点击项目... -
为 Ranger 配置 MySQL
先决条件 使用 MySQL 时，用于 Ranger 管理策略存储表的存储引擎必须支持事务。 InnoDB 是支持事务的引擎的一个例子。不支持事务的存储引擎不适合作为策略存储。 操作步骤 如果您使用 Amazon RDS，请参阅 Amazon RDS 要求 。 应使用 MySQL 数据库管理员来创建 Ranger 数据库。 以下一系列命令可用于... -
Dependent
Dependent 节点 综述 创建任务 任务参数 任务样例 Dependent 节点 综述 Dependent 节点，就是依赖检查节点 。比如 A 流程依赖昨天的 B 流程执行成功，依赖节点会去检查 B 流程在昨天是否有执行成功的实例。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编... -
MySQL
MySQL 数据源 是否原生支持 MySQL 数据源 数据源：选择 MYSQL 数据源名称：输入数据源的名称 描述：输入数据源的描述 IP 主机名：输入连接 MySQL 的 IP 端口：输入连接 MySQL 的端口 用户名：设置连接 MySQL 的用户名 密码：设置连接 MySQL 的密码 数据库名：输入连接 MySQL 的数据库名称 Jdbc... -
MapReduce
MapReduce(MR) 节点 综述 创建任务 任务参数 JAVA/SCALA 程序 Python 程序 任务样例 执行 WordCount 程序 在 DolphinScheduler 中配置 MapReduce 环境 上传主程序包 配置 MapReduce 节点 MapReduce(MR) 节点 综述 MapReduce(MR...