-
MapReduce
MapReduce(MR) 节点 综述 创建任务 任务参数 JAVA/SCALA 程序 Python 程序 任务样例 执行 WordCount 程序 在 DolphinScheduler 中配置 MapReduce 环境 上传主程序包 配置 MapReduce 节点 MapReduce(MR) 节点 综述 MapReduce(MR... -
SSO 集成
背景介绍 SSO 登录工作流 如何启用SSO登录 注意事项 背景介绍 作为企业实践，在应用程序中应用单点登录 (SSO) 是很常见的，这样可以通过集中且安全的方式管理用户凭证。 基于 Streampark 使用 Apache Shiro 进行身份验证和授权的事实，我们将使用 Pac4j 框架来实现单点登录 (SSO) 支持功能。 Pac4j 是... -
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建... -
Dependent
Dependent 节点 综述 创建任务 任务参数 任务样例 Dependent 节点 综述 Dependent 节点，就是依赖检查节点 。比如 A 流程依赖昨天的 B 流程执行成功，依赖节点会去检查 B 流程在昨天是否有执行成功的实例。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编... -
工作流实例
查看工作流实例 查看任务日志 查看任务历史记录 查看运行参数 工作流实例操作功能 查看工作流实例 点击项目管理->工作流->工作流实例，进入工作流实例页面，如下图所示： 点击工作流名称，进入DAG查看页面，查看任务执行状态，如下图所示。 查看任务日志 进入工作流实例页面，点击工作流名称，进入DAG查看页面，双击任务节点，如下... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
GitHub 趋势日报 (2025年05月12日)
📈 今日整体趋势 Top 10 📊 分语言趋势 Top 5 C++ PHP TypeScript C Dart Vim Script Go Java Lua MDX C Markdown HTML Swift Kotlin Dockerfile Ruby Python PowerShell Rust CMake J... -
ChunJun
ChunJun节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 ChunJun 环境 配置 ChunJun 任务节点 ChunJun节点 综述 ChunJun 任务类型，用于执行 ChunJun 程序。对于 ChunJun 节点，worker 会通过执行 ${CHUNJUN_HOME}/bin/sta... -
SSH
RemoteShell 综述 创建任务 任务参数 任务样例 查看远程服务器(remote-server)的路径 注意事项 RemoteShell 综述 RemoteShell 任务类型，用于在远程服务器上执行命令。 创建任务 点击项目管理-项目名称-工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面。 工具栏中拖动 到画板...
