背景
阿里云日志服务(SLS)是一种实时日志数据收集、存储、查询 、分析 的全托管服务,帮助用户高效管理和利用日志数据。我司将线上服务日志收集到 SLS ,但是 SLS控制台 分析日志很不方便,想将日志 Sink 到数仓中再进行。在这里我将使用 2 中方式达成上述目标。
DataWorks 离线同步
首先,我们使用 DataWorks 的离线同步功能,这种方式方便快捷,需要先创建一个 Di 任务 ,具体如下:
选择 source 和 target 数据源,接着 一键创建表结构,配置好 字段映射 ,最后同步数据即可。
SLS Sink
其次,SLS 控制台日志存储 列表中有数据导出功能,具体如下图:
点击 导出>MaxCompute 创建 投递任务,具体如下图:
首先要创建 target table ,然后给自定义角色赋权,详细赋权操作内容可见通过自定义RAM角色写数据到MaxCompute。
其次,要配置好字段映射,分区列 设置可见保留字段,投递模式可以选择 实时
或者批投递
。创建完成之后开启任务即可,任务详情可见:
以上就是将 SLS 日志数据同步 MaxCompute 的两种方法,有任何问题欢迎大家在评论区留言。