-
SageMaker
SageMaker 节点 综述 创建任务 任务样例 环境配置 SageMaker 节点 综述 Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。 Amazon SageMaker Model Building Pipelines 是一个可以直接使用Sa... -
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
Demo
DolphinScheduler 初始化工作流 demo 准备工作 备份上一版本文件和数据库 下载新版本的安装包 服务启动步骤 开启 dolphinscheduler 服务 数据库配置 租户配置 修改 dolphinscheduler-tools/resources/application.yaml 配置内容 DolphinSched... -
基于Rainbond部署(Cluster)
基于 Rainbond 部署 DolphinScheduler 高可用集群 前提条件 DolphinScheduler 集群一键部署 API Master Worker 节点伸缩 配置文件 如何支持 Python 3？ 如何支持 Hadoop, Spark, DataX 等？ 基于 Rainbond 部署 DolphinScheduler ... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
远程日志存储
远程日志存储（Remote Logging） 开启远程日志存储 将任务日志写入 阿里云对象存储（OSS） 将任务日志写入 Amazon S3 将任务日志写入 Google Cloud Storage (GCS) 将任务日志写入 Azure Blob Storage (ABS) 注意事项 远程日志存储（Remote Logging） ... -
Sqoop
SQOOP 节点 综述 创建任务 任务参数 任务样例 配置 Sqoop 环境 配置 Sqoop 任务节点 查看运行结果 SQOOP 节点 综述 SQOOP 任务类型，用于执行 SQOOP 程序。对于 SQOOP 节点，worker 会通过执行 sqoop 命令来执行 SQOOP 任务。 创建任务 点击项目管理 -> 项目名称 -... -
Openmldb
OpenMLDB 节点 综述 创建任务 任务样例 导入数据 特征抽取 环境准备 OpenMLDB 启动 Python 环境 OpenMLDB 节点 综述 OpenMLDB 是一个优秀的开源机器学习数据库，提供生产级数据及特征开发全栈解决方案。 OpenMLDB任务组件可以连接OpenMLDB集群执行任务。 创建任务 点击项目... -
工作流实例
查看工作流实例 查看任务日志 查看任务历史记录 查看运行参数 工作流实例操作功能 查看工作流实例 点击项目管理->工作流->工作流实例，进入工作流实例页面，如下图所示： 点击工作流名称，进入DAG查看页面，查看任务执行状态，如下图所示。 查看任务日志 进入工作流实例页面，点击工作流名称，进入DAG查看页面，双击任务节点，如下... -
Conditions
Conditions 节点 创建任务 任务参数 相关任务 任务样例 1、创建工作流 2、查看执行结果 注意事项 Conditions 节点 Conditions 是一个条件节点，根据上游任务运行状态，判断应该运行哪个下游任务。截止目前 Conditions 支持多个上游任务，但只支持两个下游任务。当上游任务数超过一个时，可以通过且 以及或...