-
系统使用手册
操作指南 1. 首页 2. 项目管理 2.1 创建项目 2.2 项目首页 2.3 工作流定义 2.3.1 创建工作流定义 2.3.2 工作流定义操作功能 2.3.3 运行工作流 2.3.4 工作流定时 2.3.5 导入工作流 2.4 工作流实例 2.4.1 查看工作流实例 2.4.2 查看任务日志 2.4.3 查看任务历史记录 2.... -
集群部署(Cluster)
1.1 : 基础软件安装(必装项请自行安装) 1.2 : 下载后端tar.gz包 1.3：创建部署用户和hosts映射 1.4 : 配置hosts映射和ssh打通及修改目录权限 1.5 : 数据库初始化 1.6 : 修改运行参数 1.7 : 安装python的Zookeeper工具kazoo 2.1 自动化部署 2.2 手动部署 Dolp... -
单机部署(Standalone)
1.1 : 基础软件安装(必装项请自行安装) 1.2 : 下载后端tar.gz包 1.3：创建部署用户并赋予目录操作权限 1.4 : ssh免密配置 1.5 : 数据库初始化 1.6 : 修改运行参数 1.7 : 安装python的Zookeeper工具kazoo 2.1 自动化部署 2.2 手动部署 DolphinScheduler单机... -
工作流定义
创建工作流定义 工作流定义操作功能 单个工作流支持的操作 工作流批量操作 运行工作流 单独运行任务 工作流定时 导入工作流 创建工作流定义 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑 页面，如下图所示： 工具栏中拖拽 到画板中，新增一个Shell任务,如下图所示： ... -
DataX
DATAX 节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 DataX 环境 配置 DataX 任务节点 查看运行结果 注意事项： DATAX 节点 综述 DataX 任务类型，用于执行 DataX 程序。对于 DataX 节点，worker 会通过执行 ${DATAX_LAUNCHER} 来... -
Spark
SPARK节点 综述 创建任务 任务参数 任务样例 spark submit 执行 WordCount 程序 在 DolphinScheduler 中配置 Spark 环境 上传主程序包 配置 Spark 节点 spark sql 执行 DDL 和 DML 语句 注意事项： SPARK节点 综述 Spark 任务类型用于执行... -
SQL
SQL 综述 创建数据源 创建任务 任务参数 任务样例 Hive表创建示例 在hive中创建临时表并写入数据 运行该任务成功之后在hive中查询结果 使用前置sql和后置sql示例 注意事项 SQL 综述 SQL任务类型，用于连接数据库并执行相应SQL。 创建数据源 可参考 数据源配置 数据源中心 。 创建任务 点击项... -
应用监控
写在前面 埋点工具 夜莺自身监控 Webapi Server 数据抓取 参考资料 写在前面 应用监控实际要比 OS、中间件的监控更为关键，因为某个 OS 层面的指标异常，比如 CPU 飙高了，未必会影响终端用户的体验，但是应用层面的监控指标出问题，通常就会影响客户的感受、甚至影响客户的付费。 针对应用监控，Google提出了 4 个黄金指... -
产品互操作性
Ambari 2.7.5 仅支持 HDP-3.1.5 和 HDF-3.2.0 支持矩阵工具提供以下信息： 操作系统 数据库 浏览器 JDK 使用以下 URL 确定对每个产品版本的支持。 https://supportmatrix.hortonworks.com -
Flink
Flink节点 综述 Flink 任务类型，用于执行 Flink 程序。对于 Flink 节点： 当程序类型为 Java、Scala 或 Python 时，worker 使用 Flink 命令提交任务 flink run 。更多详情查看 flink cli 。 当程序类型为 SQL 时，worker 使用sql-client.sh 提交任务。...