首页 > 其他分享 >阿里云 SLS 日志数据同步 MaxCompute 实操

阿里云 SLS 日志数据同步 MaxCompute 实操

时间:2024-08-21 19:25:40浏览次数:10  
标签:同步 创建 MaxCompute SLS 实操 日志 数据

背景

阿里云日志服务(SLS)是一种实时日志数据收集存储查询分析 的全托管服务,帮助用户高效管理和利用日志数据。我司将线上服务日志收集到 SLS ,但是 SLS控制台 分析日志很不方便,想将日志 Sink 到数仓中再进行。在这里我将使用 2 中方式达成上述目标。

DataWorks 离线同步

首先,我们使用 DataWorks 的离线同步功能,这种方式方便快捷,需要先创建一个 Di 任务 ,具体如下:
在这里插入图片描述
选择 sourcetarget 数据源,接着 一键创建表结构,配置好 字段映射 ,最后同步数据即可。

SLS Sink

其次,SLS 控制台日志存储 列表中有数据导出功能,具体如下图:

Alt
点击 导出>MaxCompute 创建 投递任务,具体如下图:
在这里插入图片描述
首先要创建 target table ,然后给自定义角色赋权,详细赋权操作内容可见通过自定义RAM角色写数据到MaxCompute
在这里插入图片描述
其次,要配置好字段映射分区列 设置可见保留字段投递模式可以选择 实时或者批投递。创建完成之后开启任务即可,任务详情可见:

在这里插入图片描述
以上就是将 SLS 日志数据同步 MaxCompute 的两种方法,有任何问题欢迎大家在评论区留言。

标签:同步,创建,MaxCompute,SLS,实操,日志,数据
From: https://blog.csdn.net/weixin_43145550/article/details/141400507

相关文章

  • 更快更强,SLS 推出高性能 SPL 日志查询模式
    作者:无哲引言随着数字化进程的持续深化,可观测性一直是近年来非常火热的话题,在可观测的三大支柱Log/Trace/Metric中,日志(Log)数据一般是最为常见的,企业迈向可观测性的第一步,也往往始于日志数据的采集上云。日志完成收集后,最直接的需求就是从海量日志数据中检索分析出有价值的信息......
  • 数据库运维实操优质文章分享(含Oracle、MySQL等) | 2024年7月刊
    本文为大家整理了墨天轮数据社区2024年7月发布的优质技术文章/文档,主题涵盖Oracle、MySQL、PostgreSQL等主流数据库系统以及国产数据库的深度教程和实用指南。从基础的安装配置到复杂的故障排查,再到性能优化的高级技巧,每篇文章都是由领域专家精心撰写。此外,还有常用脚本和操作注意......
  • (4-7-01)文生图大模型实操:基于深度学习的图文匹配系统(1)工具类
    4.7 跨模态配对实战:基于深度学习的图文匹配系统本项目旨在构建一个多模态学习系统,专注于处理图像和文本数据的配对任务,主要基于CUHK-PEDES数据集。本项目实现了多种深度学习模型,包括LSTM、MobileNetV1和ResNet,以分别处理文本和图像特征的提取与融合。通过这些模型的结合,系......
  • postman实操
    一、postman参数化1、{{变量名}}花括号,时两个括号在环境变量中设置变量参数,作用于所有的接口设置变量:当前所有的接口都可以调用这个参数get中设置变量:http://cms.duoceshi.cn/manage/loginJump.do?userAccount={{u1}}&loginPwd={{p1}}二、断言test中的内容详解:常用......
  • 使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照
    作者:灵圣概述如前一篇《SLS数据加工全面升级,集成SPL语法》所述,SLS数据加工集成了SLS数据处理语法SPL。与旧版本数据加工DSL相比,SPL在处理非结构化数据的场景中,其语法简洁度上有很多提升,比如中间类型保持、字段引用、无缝兼容SQL函数等。这里我们继续讨论在不同的数......
  • 车载网络测试实操源码_使用CAPL脚本控制继电器实现CAN线、电源线的通断
    系列文章目录使用CAPL脚本解析hex、S19、vbf文件使用CAPL脚本对CAN报文的Counter、CRC、周期、错误帧进行实时监控使用CAPL脚本模拟发送符合协议要求(Counter和CRC)的CAN报文使用CAPL脚本控制继电器实现CAN线、电源线的通断使用CAPL脚本实现BUSOFF干扰测试使用CAPL脚......
  • 短剧+付费进群+网盘拉新项目实操教程
    近期,短剧的热度可谓是空前高涨,相信许多人都感受到了这股热潮。然而,当你想要一次性观看全集时,往往会发现只有前几集是免费的。一旦你被剧情吸引,想要继续观看后续内容,就必须支付费用了。通常来说,想要完整地观看一部短剧,要么成为会员,要么购买全集,而这样的花费平均在60元左右,有些甚......
  • 【Windows Server2016下Oracle19c DG配置实操步骤】
    WindowsServer2016下Oracle19cDG配置实操步骤文章目录WindowsServer2016下Oracle19cDG配置实操步骤前言一、部署规划1.1、虚拟机搭建:1.2、环境规划:1.3、主库操作系统配置1.4、安装Oracle数据库。1.5、克隆虚拟机二、主库配置2.1、查看主库归档和附加日志配置2.3、......
  • A-CSPO课程概念澄清和实操:假定(Assumptions)、实验(Experiments)、假设(Hypotheses)
    “确保你把这当作一个实验。”“我们的工作假设是客户想要这个。”这些场景熟悉吗?你的团队(或整个组织)可能会经常混淆假定(Assumptions)、实验(Experiments)和假设(Hypotheses)等术语,这会造成混乱。让我们澄清一下每一个术语的含义。假定是关于我们认为某个想法的正确性的陈述......
  • 如何在Geth中搭建P2P多节点以太坊私链:详细教程与实操步骤
    系列文章目录geth以太坊私链开发模式......