-
Sqoop
SQOOP 节点 综述 创建任务 任务参数 任务样例 配置 Sqoop 环境 配置 Sqoop 任务节点 查看运行结果 SQOOP 节点 综述 SQOOP 任务类型，用于执行 SQOOP 程序。对于 SQOOP 节点，worker 会通过执行 sqoop 命令来执行 SQOOP 任务。 创建任务 点击项目管理 -> 项目名称 -... -
Openmldb
OpenMLDB 节点 综述 创建任务 任务样例 导入数据 特征抽取 环境准备 OpenMLDB 启动 Python 环境 OpenMLDB 节点 综述 OpenMLDB 是一个优秀的开源机器学习数据库，提供生产级数据及特征开发全栈解决方案。 OpenMLDB任务组件可以连接OpenMLDB集群执行任务。 创建任务 点击项目... -
版本升级指南
升级前准备 找到升级脚本 执行升级脚本 示例：从 2.0.0 升级到 2.1.2 验证升级 遇到问题怎么办 下一步 升级前准备 在开始升级之前，请确保已完成以下准备工作，以确保升级过程顺利进行。 备份数据库 ：非常重要的一步，确保有完整的数据库备份，以便在升级过程中遇到问题时可以恢复到升级前的状态。 检查版本兼容性 ：确认当前的版本号，... -
Demo
DolphinScheduler 初始化工作流 demo 准备工作 备份上一版本文件和数据库 下载新版本的安装包 服务启动步骤 开启 dolphinscheduler 服务 数据库配置 租户配置 修改 dolphinscheduler-tools/resources/application.yaml 配置内容 DolphinSched... -
MapReduce
MapReduce(MR) 节点 综述 创建任务 任务参数 JAVA/SCALA 程序 Python 程序 任务样例 执行 WordCount 程序 在 DolphinScheduler 中配置 MapReduce 环境 上传主程序包 配置 MapReduce 节点 MapReduce(MR) 节点 综述 MapReduce(MR... -
SSO 集成
背景介绍 SSO 登录工作流 如何启用SSO登录 注意事项 背景介绍 作为企业实践，在应用程序中应用单点登录 (SSO) 是很常见的，这样可以通过集中且安全的方式管理用户凭证。 基于 Streampark 使用 Apache Shiro 进行身份验证和授权的事实，我们将使用 Pac4j 框架来实现单点登录 (SSO) 支持功能。 Pac4j 是... -
数据推送
OpenTSDB 协议 RemoteWrite 协议 推给客户端 在 采集器 章节可以看出，夜莺支持多种数据接收的接口（由 n9e-server 实现，推送数据就是推给 n9e-server 的 19000 端口），包括 OpenTSDB、Open-Falcon、RemoteWrite、Datadog 等协议。这节我们以 OpenTSDB 的数据接... -
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
Datasource SPI
DolphinScheduler Datasource SPI 主要设计 如何使用数据源？ 如何进行数据源插件开发？ 未来计划 DolphinScheduler Datasource SPI 主要设计 如何使用数据源？ 数据源中心默认支持POSTGRESQL、HIVE/IMPALA、SPARK、CLICKHOUSE、SQLSERVER数据源。... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建...
