-
部署参数分析
Dolphin Scheduler目录配置文件解读 bin conf install脚本 数据库配置 部署用户&目录 zk集群&角色指定 邮件配置&excel文件路径 资源中心&YARN 开发状态 角色参数 特别注意 Dolphin Scheduler目录配置文件解读 bin 启动脚本 conf 配置文件 lib ds依赖的... -
部署参数分析
Dolphin Scheduler目录配置文件解读 bin conf common目录 config目录 alert.properties application-api.properties application-dao.properties master.properties worker.properties Zookeeper.p... -
Apache Kafka Connector
依赖 Kafka Source (Consumer) 基础消费示例 高级配置参数 消费多个Kafka实例 消费多个Topic Topic 发现 配置开始消费的位置 指定分区Offset 指定deserializer 返回记录KafkaRecord 指定strategy Kafka Sink (Producer) 容错和语义 多实例k... -
工作流定义
创建工作流定义 工作流定义操作功能 单个工作流支持的操作 工作流批量操作 运行工作流 单独运行任务 工作流定时 导入工作流 创建工作流定义 点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑 页面，如下图所示： 工具栏中拖拽 到画板中，新增一个Shell任务,如下图所示： ... -
任务结构
任务总体存储结构 各任务类型存储结构详解 Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 任务总体存储结构 在dolphin... -
DataX
DATAX 节点 综述 创建任务 任务参数 任务样例 在 DolphinScheduler 中配置 DataX 环境 配置 DataX 任务节点 查看运行结果 注意事项： DATAX 节点 综述 DataX 任务类型，用于执行 DataX 程序。对于 DataX 节点，worker 会通过执行 ${DATAX_LAUNCHER} 来... -
参数传递
参数的引用 本地任务引用全局参数 上游任务传递给下游任务 任务样例 创建 SHELL 任务并设置参数 创建 SQL 任务并使用参数 保存工作流并设置全局参数 查看运行结果 Python 任务传递参数 SubProcess 任务传递参数 Kubernetes 任务传递参数 参数的引用 DolphinScheduler 提供参数间相互引... -
数据质量
概述 任务类型介绍 注意事项 检查逻辑详解 任务操作指南 单表检查之空值检查 检查介绍 界面操作指南 单表检查之及时性检查 检查介绍 界面操作指南 单表检查之字段长度校验 检查介绍 界面操作指南 单表检查之唯一性校验 检查介绍 界面操作指南 单表检查之正则表达式校验 检查介绍 界面操作指南 单表检查之枚举值校验 检查介绍... -
项目配置
为什么需要配置 flink option property 基础参数 Memory参数 配置总内存 Table app sql 总结 配置在StreamPark 中是非常重要的概念,先说说为什么需要配置 为什么需要配置 开发DataStream 程序,大体流程都可以抽象为以下4步 StreamExecutionEnvironm... -
SQL
SQL 综述 创建数据源 创建任务 任务参数 任务样例 Hive表创建示例 在hive中创建临时表并写入数据 运行该任务成功之后在hive中查询结果 使用前置sql和后置sql示例 注意事项 SQL 综述 SQL任务类型，用于连接数据库并执行相应SQL。 创建数据源 可参考 数据源配置 数据源中心 。 创建任务 点击项...