-
BigLake Metastore
Pre-requisites Steps Create BigLake Catalog Create BigLake Database Running sync Validating the results Conclusion This document walks through the steps to register a OneTa... -
全局参数
全局参数 作用域 使用方式 创建 Shell 任务 保存工作流，并设置全局参数 任务实例查看执行结果 全局参数 作用域 全局参数在工作流定义页面配置。 方向是 IN 的变量是针对整个工作流 的所有任务节点都有效的参数。 方向是 OUT 的变量作为该工作流的输出参数，传递到父工作流中对应 SubProcess 任务的下游任务。 使用方... -
Function
always comparator compose construct curry useWith flip groupBy identity invoker nAry once pipe tap binary unary ap empty of constructN converge curryN __ bin... -
FakeSource
Support Those Engines Description Key Features Source Options Task Example Simple: Random Generation Customize the data content Simple: Specified Data number Simple: Templa... -
Branching and Tagging
Overview Use Cases Historical Tags Audit Branch Usage Overview Iceberg table metadata maintains a snapshot log, which represents the changes applied to a table. Snapshots ar... -
Function
always comparator compose construct curry useWith flip groupBy identity invoker nAry once pipe tap binary unary ap empty of constructN converge curryN __ bin... -
Table Watermark
Table freshness Table watermark Table freshness Data freshness represents timeliness, and in many discussions, freshness is considered one of the important indicators of data q... -
SageMaker
SageMaker 节点 综述 创建任务 任务样例 环境配置 SageMaker 节点 综述 Amazon SageMaker 是一个云机器学习平台。 提供了完整的基础设施，工具和工作流来帮助用户可以创建、训练和发布机器学习模型。 Amazon SageMaker Model Building Pipelines 是一个可以直接使用Sa... -
DVC
DVC节点 综述 创建任务 任务样例 Init DVC Upload Download 环境准备 dvc 安装 DVC节点 综述 DVC（Data Version Control） 是一个MLops领域一个优秀的开机器学习版本管理系统。 DVC 组件用于在DS上使用DVC的数据版本管理功能，帮助用户简易地进行数据的版本管理。组件提... -
远程日志存储
远程日志存储（Remote Logging） 开启远程日志存储 将任务日志写入 阿里云对象存储（OSS） 将任务日志写入 Amazon S3 将任务日志写入 Google Cloud Storage (GCS) 将任务日志写入 Azure Blob Storage (ABS) 注意事项 远程日志存储（Remote Logging） ...
