DMS 节点

DMS 节点

综述

AWS Database Migration Service (AWS DMS) 可帮助您快速并安全地将数据库迁移至 AWS。源数据库在迁移过程中可继续正常运行，从而最大程度地减少依赖该数据库的应用程序的停机时间。 AWS Database Migration Service 可以在广泛使用的开源商业数据库之间迁移您的数据。

DMS任务组件帮助用户在DolphinScheduler中创建和启动DMS任务。

组件主要包含两个功能：

创建并启动迁移任务
重启已存在的迁移任务

组件的使用方式有两种：

通过界面创建
通过Json数据创建

DolphinScheduler 在启动DMS 任务后，会跟中DMS任务状态，直至DMS任务完成后才将任务设为成功状态。除了以下情况：

不跟踪无结束时间的CDC任务，即当迁移类型为 full-load-and-cdc 或者 cdc 时，且没有配置 cdcStopPosition 参数时，DolphinScheduler 在成功启动任务后，则会将任务状态设为成功。

创建任务

点击项目管理-项目名称-工作流定义，点击“创建工作流”按钮，进入 DAG 编辑页面；
拖动工具栏的任务节点到画板中。

任务样例

组件图示如下：

创建并启动迁移任务（通过界面）

重启已存在的迁移任务（通过界面）

创建并启动迁移任务（通过Json数据）

重启已存在的迁移任务（通过Json数据）

首先介绍一些DS通用参数

默认参数说明请参考DolphinScheduler任务参数附录默认任务参数一栏。

DMS组件独有的参数

isRestartTask：是否重启已存在的迁移任务
isJsonFormat：是否使用Json格式的数据创建任务
jsonData：Json格式的数据, 是有isJsonFormat为true时才会生效

创建并启动迁移任务时参数

migrationType：迁移类型, 可选值为：[ full-load, full-load-and-cdc, cdc]
replicationTaskIdentifier：迁移任务标识符, 任务名称
replicationInstanceArn：迁移实例的ARN
sourceEndpointArn：源端点的ARN
targetEndpointArn：目标端点的ARN
tableMappings：表映射

重启已存在的迁移任务时参数

replicationTaskArn：迁移任务的ARN

环境配置

需要进行AWS的一些配置，修改common.properties中的以下配置信息

# The AWS access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.access.key.id=<YOUR AWS ACCESS KEY>
# The AWS secret access key. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.secret.access.key=<YOUR AWS SECRET KEY>
# The AWS Region to use. if resource.storage.type=S3 or use EMR-Task, This configuration is required
resource.aws.region=<AWS REGION>

Amazon DMS