-
Hadoop 资源集成
在 Flink on Kubernetes 上使用 Apache Hadoop 资源 1. Apache HDFS 1.1 添加 shade jar 1.2、添加 core-site.xml 和 hdfs-site.xml 2、Apache Hive i、添加 hive 相关的 jar 2.1. 添加 hive 的配置文件（hive-site.x... -
任务结构
Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 在dolphinscheduler中创建的所有任务都保存在t_ds_process... -
开发指南
环境要求 clone源码 构建项目 打开项目 解压缩包 复制路径 启动后台服务 启动前端服务 演示调试代码 环境要求 要求 版本 是否必须 其他事项 操作系统 Linux 支持 Windows, 推荐使用 Mac/Linux. IDE Intellij IDEA 推荐使用 Intellij I... -
告警自愈模块
概述 架构 项目地址 安装启动 初始化 sql 启动 server 启动agentd Ibex 是告警自愈功能依赖的模块，提供一个批量执行命令的通道，可以做到在告警的时候自动去目标机器执行脚本，如果大家没有此需求，无需阅读本节内容。 概述 所谓的告警自愈，典型手段是在告警触发时自动回调某个 webhook 地址，在这个 webhook 里... -
选择版本
选择堆栈 选择版本 选择存储库 redhat7 sles12 ubuntu16 ubuntu18 debian9 高级选项 更多信息 在此步骤中，您将为集群选择软件版本和交付方法。使用公共存储库需要互联网连接。使用本地存储库需要您在网络中可用的存储库中配置软件。 选择堆栈 可用版本显示在选项卡中。当您选择一个 TAB 时，Amba... -
Amazon DMS
DMS 节点 综述 创建任务 任务样例 首先介绍一些DS通用参数 DMS组件独有的参数 环境配置 DMS 节点 综述 AWS Database Migration Service (AWS DMS) 可帮助您快速并安全地将数据库迁移至 AWS。 源数据库在迁移过程中可继续正常运行，从而最大程度地减少依赖该数据库的应用程序的停机时间。 A... -
HTTP
HTTP 节点 综述 创建任务 任务参数 任务输出参数 任务样例 注意事项 HTTP 节点 综述 该节点用于执行 http 类型的任务，例如常见的 POST、GET 等请求类型，此外还支持 http 请求校验等功能。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面： 拖动... -
HTTP Connector
HTTP 异步写入 Apache StreamPark™ 方式写入 http异步写入支持类型 http异步写入配置参数列表 http异步写入数据 其他配置 一些后台服务通过 HTTP 请求接收数据，这种场景下 Apache Flink 可以通过 HTTP 请求写入结果数据，目前 Apache Flink 官方未提供通过 HTTP 请求写入 数据... -
本地参数
本地参数 作用域 在任务定义页面配置的参数，默认作用域仅限该任务，如果配置了参数传递 则可将该参数作用到下游任务中。 使用方式 本地参数配置方式如下：在任务定义页面，点击“自定义参数”右边的加号，填写对应的变量名称和对应的值，保存即可。 如果要在单个任务中使用参数，请参阅通过自定义参数使用 如果要在任务中使用配置参数并在下游任务中使用它们： 如果... -
Jupyter
Jupyter 综述 Conda虚拟环境配置 Python依赖管理 使用预装好的Conda环境 使用打包的Conda环境 由依赖需求文本文件临时构建 创建任务 任务参数 任务样例 简单的Jupyter任务样例 Jupyter 综述 Jupyter 任务类型，用于创建并执行Jupyter 类型任务。worker 执行该任务的时候，会...