-
架构设计
1.名词解释 2.系统架构 2.1 系统架构图 2.2 启动流程活动图 2.3 架构说明 该服务内主要包含: 该服务包含： 2.3 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、分布式锁实践 三、线程不足循环等待问题 四、容错设计 1. 宕机容错 2.任务失败重试 五、任务优先级设计 六、Logback和net... -
框架介绍
Apache StreamPark™ 🚀 什么是 Apache StreamPark™ 🎉 Features 🏳🌈 组成部分 1️⃣ streampark-core 2️⃣ streampark-console Apache StreamPark™ 一个神奇的框架，让流处理更简单！ 🚀 什么是 Apache StreamPark™ 实时... -
架构设计
系统架构设计 系统架构 系统架构图 启动流程活动图 架构说明 该服务内主要包含: 该服务包含： 架构设计思想 一、去中心化vs中心化 中心化思想 去中心化 二、容错设计 宕机容错 三、任务失败重试 四、任务优先级设计 五、Logback和netty实现日志访问 总结 系统架构设计 系统架构 系统架构图 ... -
安装部署
环境要求 Hadoop Kubernetes 安装 初始化表结构 修改配置 修改连接信息 修改workspace 启动 系统登录 系统配置 System Setting Alert Setting Flink Home Flink Cluster StreamPark 总体组件栈架构如下， 由 streampark-core ... -
Spark
SPARK节点 综述 创建任务 任务参数 任务样例 spark submit 执行 WordCount 程序 在 DolphinScheduler 中配置 Spark 环境 上传主程序包 配置 Spark 节点 spark sql 执行 DDL 和 DML 语句 注意事项： SPARK节点 综述 Spark 任务类型用于执行... -
Flink
Flink节点 综述 Flink 任务类型，用于执行 Flink 程序。对于 Flink 节点： 当程序类型为 Java、Scala 或 Python 时，worker 使用 Flink 命令提交任务 flink run 。更多详情查看 flink cli 。 当程序类型为 SQL 时，worker 使用sql-client.sh 提交任务。... -
HTTP Connector
HTTP 异步写入 Apache StreamPark™ 方式写入 http异步写入支持类型 http异步写入配置参数列表 http异步写入数据 其他配置 一些后台服务通过 HTTP 请求接收数据，这种场景下 Apache Flink 可以通过 HTTP 请求写入结果数据，目前 Apache Flink 官方未提供通过 HTTP 请求写入 数据... -
简介
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂... -
SageMaker
SageMaker 节点 综述 创建任务 任务样例 环境配置 SageMaker 节点 综述 Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。 Amazon SageMaker Model Building Pipelines 是一个可以直接使用Sa...