-
DVC
DVC节点 综述 创建任务 任务样例 Init DVC Upload Download 环境准备 dvc 安装 DVC节点 综述 DVC（Data Version Control） 是一个MLops领域一个优秀的开机器学习版本管理系统。 DVC 组件用于在DS上使用DVC的数据版本管理功能，帮助用户简易地进行数据的版本管理。组件提... -
元数据文档
表概览 用户 队列 数据源 项目 资源 告警 命令 流程 任务 核心表Schema t_ds_process_definition t_ds_process_instance t_ds_task_instance t_ds_schedules t_ds_command 表概览 表名 表信息 t_ds_access_t... -
Kyuubi v.s. Spark Thrift JDBC/ODBC Server (STS)
Introductions Barriers to common Spark job usage High Barrier Insecurity Compatibility Bootstrap latency Limitations of Spark ThriftServer Driver Bottleneck Resource isolati... -
不向前兼容的更新
不向前兼容的更新 dev 3.2.0 3.0.0 3.2.0 不向前兼容的更新 本文档记录了各版本之间不兼容的更新内容。在升级到相关版本前，请检查本文档。 dev 将mysql驱动版本从8.0.16升级至8.0.33 (#14684 ) 更改了环境变量名称，将 PYTHON_HOME 改为 PYTHON_LAUNCHER ， 将 DAT... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建... -
AWS Datasync
DataSync 节点 综述 创建任务 任务样例 独有参数 环境配置 DataSync 节点 综述 AWS DataSync 是一种在线数据传输服务，可简化、自动化和加速本地存储系统和 AWS Storage 服务之间，以及不同 AWS Storage 服务之间的数据移动。 DataSync 支持的组件: Network File ... -
Kubernetes
Kubernetes 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 kubernetes 集群环境 配置 kubernetes 任务节点 注意事项 Kubernetes 综述 kubernetes任务类型，用于在kubernetes上执行一个短时和批处理的任务。worker最终会通过使用kuberne... -
升级
1. 备份上一版本文件和数据库 2. 停止dolphinscheduler所有服务 3. 下载新版本的安装包 4. 数据库升级 5. 服务升级 5.1 修改conf/config/install_config.conf 配置内容 注意事项 升级时如何设置worker分组与之前一致 5.2 执行部署脚本 1. 备份上一版本文件和数据库 ... -
负载均衡
负载均衡 DolphinScheduler-Worker 负载均衡算法 Worker 负载均衡配置 权重 预热 负载均衡算法细述 随机（加权） 平滑轮询（加权） 线性加权(默认算法) 负载均衡 负载均衡即通过路由算法（通常是集群环境），合理的分摊服务器压力，达到服务器性能的最大优化。 DolphinScheduler-Worker ... -
Pytorch
Pytorch 节点（试验版） 综述 创建任务 任务样例 Pytorch参数 运行参数 python环境参数 Demo 环境配置 指定python路径 使用Conda创建新环境 使用virtualenv创建新环境 其他 Pytorch 节点（试验版） 综述 Pytorch 是一个的主流Python机器学习库。 为了用户能够...