-
Jupyter
Jupyter 综述 Conda虚拟环境配置 Python依赖管理 使用预装好的Conda环境 使用打包的Conda环境 由依赖需求文本文件临时构建 创建任务 任务参数 任务样例 简单的Jupyter任务样例 Jupyter 综述 Jupyter 任务类型，用于创建并执行Jupyter 类型任务。worker 执行该任务的时候，会... -
产品互操作性
Ambari 2.7.5 仅支持 HDP-3.1.5 和 HDF-3.2.0 支持矩阵工具提供以下信息： 操作系统 数据库 浏览器 JDK 使用以下 URL 确定对每个产品版本的支持。 https://supportmatrix.hortonworks.com -
AWS Datasync
DataSync 节点 综述 创建任务 任务样例 独有参数 环境配置 DataSync 节点 综述 AWS DataSync 是一种在线数据传输服务，可简化、自动化和加速本地存储系统和 AWS Storage 服务之间，以及不同 AWS Storage 服务之间的数据移动。 DataSync 支持的组件: Network File ... -
Dynamic
动态节点 综述 创建任务 任务参数 任务参数输出 运行状态 动态节点 综述 动态节点可以通过输入多个参数列表，通过笛卡尔积计算出多所有的参数组合，然后将每个参数组合作为一个子工作流节点执行。 比如我们有一个工作流，它具有两个输入参数，a, b。 我们可以通过动态节点，将这个工作流定义当做一个节点，然后输入参数列表 参数a：a1, a2... -
Python
Python 节点 综述 创建任务 任务参数 任务样例 简单打印一行文字 使用自定义参数 注意事项 Python 节点 综述 Python 任务类型，用于创建 Python 类型的任务并执行一系列的 Python 脚本。worker 执行该任务的时候，会生成一个临时python脚本， 并使用与租户同名的 linux 用户执行这个脚本。 ... -
Pytorch
Pytorch 节点（试验版） 综述 创建任务 任务样例 Pytorch参数 运行参数 python环境参数 Demo 环境配置 指定python路径 使用Conda创建新环境 使用virtualenv创建新环境 其他 Pytorch 节点（试验版） 综述 Pytorch 是一个的主流Python机器学习库。 为了用户能够... -
Sqoop
SQOOP 节点 综述 创建任务 任务参数 任务样例 配置 Sqoop 环境 配置 Sqoop 任务节点 查看运行结果 SQOOP 节点 综述 SQOOP 任务类型，用于执行 SQOOP 程序。对于 SQOOP 节点，worker 会通过执行 sqoop 命令来执行 SQOOP 任务。 创建任务 点击项目管理 -> 项目名称 -... -
SageMaker
SageMaker 节点 综述 创建任务 任务样例 环境配置 SageMaker 节点 综述 Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。 Amazon SageMaker Model Building Pipelines 是一个可以直接使用Sa... -
DVC
DVC节点 综述 创建任务 任务样例 Init DVC Upload Download 环境准备 dvc 安装 DVC节点 综述 DVC（Data Version Control） 是一个MLops领域一个优秀的开机器学习版本管理系统。 DVC 组件用于在DS上使用DVC的数据版本管理功能，帮助用户简易地进行数据的版本管理。组件提... -
Kubernetes
Kubernetes 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 kubernetes 集群环境 配置 kubernetes 任务节点 注意事项 Kubernetes 综述 kubernetes任务类型，用于在kubernetes上执行一个短时和批处理的任务。worker最终会通过使用kuberne...
