-
Hadoop 资源集成
在 Flink on Kubernetes 上使用 Apache Hadoop 资源 1. Apache HDFS 1.1 添加 shade jar 1.2、添加 core-site.xml 和 hdfs-site.xml 2、Apache Hive i、添加 hive 相关的 jar 2.1. 添加 hive 的配置文件（hive-site.x... -
名词解释
名词解释 模块介绍 在对 Apache DolphinScheduler 了解之前，我们先来认识一下调度系统常用的名词 名词解释 DAG： 全称 Directed Acyclic Graph，简称 DAG。工作流中的 Task 任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。举例如下图： 流程定义 ：通过拖... -
Shell
Shell 综述 创建任务 任务参数 任务样例 简单打印一行文字 使用自定义参数 注意事项 Shell 综述 Shell 任务类型，用于创建 Shell 类型的任务并执行一系列的 Shell 脚本。worker 执行该任务的时候，会生成一个临时 shell 脚本，并使用与租户同名的 linux 用户执行这个脚本。 创建任务 点击项... -
HTTP
HTTP 节点 综述 创建任务 任务参数 任务输出参数 任务样例 注意事项 HTTP 节点 综述 该节点用于执行 http 类型的任务，例如常见的 POST、GET 等请求类型，此外还支持 http 请求校验等功能。 创建任务 点击项目管理 -> 项目名称 -> 工作流定义，点击”创建工作流”按钮，进入 DAG 编辑页面： 拖动... -
本地参数
本地参数 作用域 在任务定义页面配置的参数，默认作用域仅限该任务，如果配置了参数传递 则可将该参数作用到下游任务中。 使用方式 本地参数配置方式如下：在任务定义页面，点击“自定义参数”右边的加号，填写对应的变量名称和对应的值，保存即可。 如果要在单个任务中使用参数，请参阅通过自定义参数使用 如果要在任务中使用配置参数并在下游任务中使用它们： 如果... -
SeaTunnel
Apache SeaTunnel 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 SeaTunnel 环境 配置 SeaTunnel 任务节点 Config 样例 支持 SeaTunnel 版本 Apache SeaTunnel 综述 SeaTunnel 任务类型，用于创建并执行 SeaTunnel... -
Elasticsearch Connector
Elasticsearch 写入依赖 基于官网的Elasticsearch写入数据 Apache StreamPark™ 写入 Elasticsearch 1. 配置策略和连接信息 2. 写入Elasticsearch 其他配置 处理失败的 Elasticsearch 请求 配置内部批量处理器 Apache StreamPark™配置 E... -
文件管理
文件管理 基础操作 创建文件 上传文件 文件查看 下载文件 文件重命名 删除文件 任务样例 创建 shell 文件 创建工作流执行文件 查看结果 文件管理 当在调度过程中需要使用到第三方的 jar 或者用户需要自定义脚本的情况，可以通过在该页面完成相关操作。可创建的文件类型包括：txt/log/sh/conf/py/java 等... -
告警格式
需求：如何自定义展示标签 使用模板语法自定义规则备注 注意 告警事件的消息通知格式，是由模板控制的，模板文件在 etc/template 下： dingtalk.tpl 钉钉的消息模板 feishu.tpl 飞书的消息模板 wecom.tpl 企业微信的消息模板 subject.tpl 邮件标题模板 mailbody.tpl 邮件内容模板 这... -
文件参数传递
文件参数 使用方式 配置文件参数 输出文件给下游任务 获取上游任务的文件 其他 备注 样例 文件参数 通过配置文件参数，在同一工作流实例中，可以将上游任务工作目录下的文件(或文件夹，下统一以文件 代替)传递给下游任务。 如以下场景可能使用到 在ETL任务中，将多个上游任务处理好的数据文件一起传递给特定的下游任务。 在机器学习场景中，将...