-
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
基于Rainbond部署(Cluster)
基于 Rainbond 部署 DolphinScheduler 高可用集群 前提条件 DolphinScheduler 集群一键部署 API Master Worker 节点伸缩 配置文件 如何支持 Python 3？ 如何支持 Hadoop, Spark, DataX 等？ 基于 Rainbond 部署 DolphinScheduler ... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
远程日志存储
远程日志存储（Remote Logging） 开启远程日志存储 将任务日志写入 阿里云对象存储（OSS） 将任务日志写入 Amazon S3 将任务日志写入 Google Cloud Storage (GCS) 将任务日志写入 Azure Blob Storage (ABS) 注意事项 远程日志存储（Remote Logging） ... -
Sqoop
SQOOP 节点 综述 创建任务 任务参数 任务样例 配置 Sqoop 环境 配置 Sqoop 任务节点 查看运行结果 SQOOP 节点 综述 SQOOP 任务类型，用于执行 SQOOP 程序。对于 SQOOP 节点，worker 会通过执行 sqoop 命令来执行 SQOOP 任务。 创建任务 点击项目管理 -> 项目名称 -... -
Openmldb
OpenMLDB 节点 综述 创建任务 任务样例 导入数据 特征抽取 环境准备 OpenMLDB 启动 Python 环境 OpenMLDB 节点 综述 OpenMLDB 是一个优秀的开源机器学习数据库，提供生产级数据及特征开发全栈解决方案。 OpenMLDB任务组件可以连接OpenMLDB集群执行任务。 创建任务 点击项目... -
工作流实例
查看工作流实例 查看任务日志 查看任务历史记录 查看运行参数 工作流实例操作功能 查看工作流实例 点击项目管理->工作流->工作流实例，进入工作流实例页面，如下图所示： 点击工作流名称，进入DAG查看页面，查看任务执行状态，如下图所示。 查看任务日志 进入工作流实例页面，点击工作流名称，进入DAG查看页面，双击任务节点，如下... -
Conditions
Conditions 节点 创建任务 任务参数 相关任务 任务样例 1、创建工作流 2、查看执行结果 注意事项 Conditions 节点 Conditions 是一个条件节点，根据上游任务运行状态，判断应该运行哪个下游任务。截止目前 Conditions 支持多个上游任务，但只支持两个下游任务。当上游任务数超过一个时，可以通过且 以及或... -
Dependent
Dependent 节点 综述 创建任务 任务参数 任务样例 Dependent 节点 综述 Dependent 节点，就是依赖检查节点 。比如 A 流程依赖昨天的 B 流程执行成功，依赖节点会去检查 B 流程在昨天是否有执行成功的实例。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编... -
MapReduce
MapReduce(MR) 节点 综述 创建任务 任务参数 JAVA/SCALA 程序 Python 程序 任务样例 执行 WordCount 程序 在 DolphinScheduler 中配置 MapReduce 环境 上传主程序包 配置 MapReduce 节点 MapReduce(MR) 节点 综述 MapReduce(MR...