-
Hive CLI
Hive CLI 综述 Hive CLI任务 VS 连接Hive数据源的SQL任务 创建任务 任务参数 任务样例 Hive CLI任务样例 Hive CLI 综述 使用Hive Cli任务插件 创建Hive Cli 类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e 命令执行hive SQL脚本语... -
负载均衡
负载均衡 DolphinScheduler-Worker 负载均衡算法 Worker 负载均衡配置 权重 预热 负载均衡算法细述 随机（加权） 平滑轮询（加权） 线性加权(默认算法) 负载均衡 负载均衡即通过路由算法（通常是集群环境），合理的分摊服务器压力，达到服务器性能的最大优化。 DolphinScheduler-Worker ... -
Switch
Switch 创建任务 任务参数 任务样例 创建工作流 设置条件 执行 Switch Switch 是一个条件判断节点，依据全局变量 的值和用户所编写的表达式判断结果执行对应分支。 注意 使用 javax.script.ScriptEngine.eval 执行表达式。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建... -
Demo
DolphinScheduler 初始化工作流 demo 准备工作 备份上一版本文件和数据库 下载新版本的安装包 服务启动步骤 开启 dolphinscheduler 服务 数据库配置 租户配置 修改 dolphinscheduler-tools/resources/application.yaml 配置内容 DolphinSched... -
6. 安装、配置和部署集群
使用浏览器中运行的 Ambari 集群安装向导来安装、配置和部署集群，如下所示： 启动 Ambari 服务器 登录 Apache Ambari 启动 Ambari 群集安装向导 为集群命名 选择版本 安装选项 确认主机 选择服务 分配主节点 分配子节点和客户端 定制服务 回顾 安装、启动和测试 完成 -
Dependent
Dependent 节点 综述 创建任务 任务参数 任务样例 Dependent 节点 综述 Dependent 节点，就是依赖检查节点 。比如 A 流程依赖昨天的 B 流程执行成功，依赖节点会去检查 B 流程在昨天是否有执行成功的实例。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击“创建工作流”按钮，进入 DAG 编... -
安装流程
🚀 启动 Answer 安装步骤 第一步：选择语言 第二步：配置数据库 第三步：创建配置文件 第四步：填写基本信息 第五步：完成 🚀 启动 Answer 有多种方法可以启动 Answer，你可以选择最适合你的一种。 Docker Compose 我们推荐使用 Docker Compose 运行 Answer。这是开始使用 Answ... -
MapReduce
MapReduce(MR) 节点 综述 创建任务 任务参数 JAVA/SCALA 程序 Python 程序 任务样例 执行 WordCount 程序 在 DolphinScheduler 中配置 MapReduce 环境 上传主程序包 配置 MapReduce 节点 MapReduce(MR) 节点 综述 MapReduce(MR... -
Kubeflow
Kubeflow 综述 创建任务 任务样例 首先介绍一些DS通用参数 Kubeflow组件独有的参数 环境配置 Kubeflow 综述 Kubeflow 任务类型，用于在Kubeflow上创建任务。 后台主要使用 kubectl 命令来创建kubeflow任务, 并持续Kubeflow上资源状态直至任务完成。 目前主要支持通过使用ya... -
数据推送
OpenTSDB 协议 RemoteWrite 协议 推给客户端 在 采集器 章节可以看出，夜莺支持多种数据接收的接口（由 n9e-server 实现，推送数据就是推给 n9e-server 的 19000 端口），包括 OpenTSDB、Open-Falcon、RemoteWrite、Datadog 等协议。这节我们以 OpenTSDB 的数据接...
