- 2024-09-24重磅!阿里云可观测产品家族全新升级,AI +数据双驱动,打造全栈可观测体系
引言:近日,阿里云可观测产品家族正式发布云监控2.0,隶属产品日志服务SLS、云监控CMS、应用实时监控服务ARMS迎来重磅升级。借助全新升级的一站式全景接入、统一观测图谱以及AI增强的跨域智能洞察能力。同时,为了帮助企业与开发者更从容地面对AI创新,阿里云正式发布开箱即用的A
- 2024-09-05高基数 GroupBy 在 SLS SQL 中的查询加速
作者:顾汉杰(执少)什么是高基数GroupBy简单来说,想要分析的数据,拥有超多的“唯一值计数”(DistinctCount),而我们需要对这些数据进行分组分析(如统计次数、排名、计算均值、分位值等)。高基数聚合计算在很多运营分析场景中都是刚需,它涉及对值不一样的海量数据进行分组聚合计算,以洞察用户行
- 2024-09-05高基数 GroupBy 在 SLS SQL 中的查询加速
作者:顾汉杰(执少)什么是高基数GroupBy简单来说,想要分析的数据,拥有超多的“唯一值计数”(DistinctCount),而我们需要对这些数据进行分组分析(如统计次数、排名、计算均值、分位值等)。高基数聚合计算在很多运营分析场景中都是刚需,它涉及对值不一样的海量数据进行分组聚合计算,以洞察用
- 2024-08-25filebeat配置
下载文件切换至目录/srv/salt/files/packages因为线上的操作系统不同,有centos debiancurl -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-amd64.debcurl -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.6.2-x86_6
- 2024-08-21阿里云 SLS 日志数据同步 MaxCompute 实操
背景阿里云日志服务(SLS)是一种实时日志数据收集、存储、查询、分析的全托管服务,帮助用户高效管理和利用日志数据。我司将线上服务日志收集到SLS,但是SLS控制台分析日志很不方便,想将日志Sink到数仓中再进行。在这里我将使用2中方式达成上述目标。DataWorks离线同
- 2024-08-21更快更强,SLS 推出高性能 SPL 日志查询模式
作者:无哲引言随着数字化进程的持续深化,可观测性一直是近年来非常火热的话题,在可观测的三大支柱Log/Trace/Metric中,日志(Log)数据一般是最为常见的,企业迈向可观测性的第一步,也往往始于日志数据的采集上云。日志完成收集后,最直接的需求就是从海量日志数据中检索分析出有价值的信息
- 2024-08-20使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照
作者:灵圣概述如前一篇《SLS数据加工全面升级,集成SPL语法》所述,SLS数据加工集成了SLS数据处理语法SPL。与旧版本数据加工DSL相比,SPL在处理非结构化数据的场景中,其语法简洁度上有很多提升,比如中间类型保持、字段引用、无缝兼容SQL函数等。这里我们继续讨论在不同的数
- 2024-07-26SLS 数据加工全面升级,集成 SPL 语法
作者:灵圣数据加工概述在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。不过在整个日志的生命周期里有一对很难调和的矛盾:输出和采集日志要求尽可能的简单便捷vs日志分析时需要数据格式化并能够按需存储。为了解决前者,保证服务的稳定和效率,提出了不同
- 2024-05-22无需重新学习,使用 Kibana 查询/可视化 SLS 数据
1.场景现在通过SLS的ES兼容能力,可以很方便地实现用Kibana来查询和可视化SLS的数据。对于从ES迁移到SLS的用户可以继续保留原来的Kibana使用习惯。下面来演示如何通过Kibana来访问SLS。2.使用方法部署架构这里蓝色部分是需要客户端部署的组件。Kibana就
- 2024-05-06更优性能与性价比,从自建 ELK 迁移到 SLS 开始
背景ELK(Elasticsearch、Logstash、Kibana)是当下开源领域主流的日志解决方案,在可观测场景下有比较广泛的应用。随着数字化进程加速,机器数据日志增加,自建ELK在面临大规模数据、查询性能等方面有较多问题和挑战。如何解决可观测数据的低成本、高可用是一个新的话题。SLS是
- 2024-04-28无需重新学习,使用 Kibana 查询/可视化 SLS 数据
作者:荆磊场景现在通过SLS的ES兼容能力,可以很方便地实现用Kibana来查询和可视化SLS的数据。对于从ES迁移到SLS的用户可以继续保留原来的Kibana使用习惯。下面来演示如何通过Kibana来访问SLS。使用方法部署架构这里蓝色部分是需要客户端部署的组件。Kibana
- 2024-04-25日志服务 HarmonyOS NEXT 日志采集最佳实践
背景信息随着数字化新时代的全面展开以及5G与物联网(IoT)技术的迅速普及,操作系统正面临前所未有的变革需求。在这个背景下,华为公司自主研发的鸿蒙操作系统(HarmonyOS)应运而生,旨在满足万物互联时代的多元化设备接入、高效协同和安全可靠运行的需求。HarmonyOS不仅着眼于智能手机
- 2024-04-22SLS 查询新范式:使用 SPL 对日志进行交互式探索
作者:无哲引言在构建现代数据和业务系统的过程中,可观测性已经变得至关重要,日志服务(SLS)为Log/Trace/Metric数据提供了大规模、低成本、高性能的一站式平台服务,并提供数据采集、加工、投递、分析、告警、可视化等功能,从而全面提升企业在研发、运维、运营和安全等各种场景的数字化
- 2024-04-17日志收集(log4j2->slf4j->阿里云日志服务SLS)
1、log4j2的使用Java中常用的日志框架:•logback:SpringBoot默认使用的日志框架,具有自动压缩日志、支持多样化配置、不需要重启就可以恢复I/O异常等特点。•log4j2:在性能方面比logback更加优秀,使用上与之前版本log4j没什么区别(log4j基本被淘汰了,springboo
- 2024-04-15更优性能与性价比,从自建 ELK 迁移到 SLS 开始
作者:荆磊背景ELK(Elasticsearch、Logstash、Kibana) 是当下开源领域主流的日志解决方案,在可观测场景下有比较广泛的应用。随着数字化进程加速,机器数据日志增加,自建ELK在面临大规模数据、查询性能等方面有较多问题和挑战。如何解决可观测数据的低成本、高可用是一个新的话题
- 2024-04-03阿里云可观测 2024 年 3 月产品动态
本月可观测热文回顾文章一览:全新架构!日志服务SLS自研免登录方案发布AIOps智能运维:有没有比专家经验更优雅的错/慢调用分析工具?一文看懂如何做好SQL质量监控使用SPL高效实现FlinkSLSConnector下推功能快报点击此处,了解更多产品详情。
- 2024-03-18全新架构!日志服务 SLS 自研免登录方案发布
知乎:灵亦引言很多用户在使用日志服务SLS时,采用STS这种免登的方式,能够快速将日志服务的页面集成到三方的系统中。STS模式是非常经典且成熟的免登方案,它的优点非常多,例如:能够充分利用阿里云账号RAM体系、能够通用地集成支持STS模式的所有云产品、支持客户自定义访问权限
- 2024-03-08Saltstack
1.1、Salt单个命令执行必Salt底层基于ZeroMQPUB-SUBpattern,Master/Minions通信高效传递及扩展Salt部署安装SaltMaster配置Minion配置Key管理HelloWorld安装SaltCentOS下安装master&minionUbuntu下安装master&minionWindows下安装minion其他操作系统安装
- 2024-03-07使用 SPL 高效实现 Flink SLS Connector 下推
作者:潘伟龙(豁朗)背景日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务,基于日志服务的便捷的数据接入能力,可以将系统日志、业务日志等接入SLS进行存储、分析;阿里云Flink是阿里云基于ApacheFlink构建的大数据分析平台
- 2024-02-27弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
作者:潘伟龙(豁朗)背景日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务,基于日志服务的便捷的数据接入能力,可以将系统日志、业务日志等接入SLS进行存储、分析;阿里云Flink是阿里云基于ApacheFlink构建的大数据分析平台
- 2024-01-03SLS的分类统计GROUP BY
使用阿里云的日志服务(SLS)来分析一个网站的访问日志。这些日志包含字段如status(HTTP状态码),url(访问的URL),和timestamp(访问时间戳)。 例子1:按HTTP状态码分类统计假设你想要了解不同HTTP状态码的出现频率,可以使用以下查询语句: *|SELECTstatus,COUNT(*)ascountGRO
- 2023-12-19阿里云sls+钉钉进行告警
阿里云sls下支持告警中心设置钉钉hook 设置告警后,可以通过钉钉群机器人中通过hook方式进行关联到sls告警。
- 2023-12-08阿里云日志系统介绍及应用
前言传统IDC的建设,需要投入大量的人力、物力和财力,而公有云几乎拥有一站式的建设、部署方案和完整的云生态,并且可以根据业务随时随地的弹性扩展,特别是一些中小型的公司,越来越多的选择将业务落地到公有云。而对于所有公司、所有业务来讲,日志是一个无法绕开的话题,如何建设一个稳健和
- 2023-11-06SRE-基于阿里云的告警体系建设
基于数据源来做分类sls日志告警配置以及查看方式sls日志左侧点击铃铛进入告警中心配置告警规则触发就是sls日志的查询语句,配置的规则时间内,查询语句查询的数量达到配置值,就会触发告警现状5XX告警应用error日志告警云产品监控告警配置以及查看方式阿里云直接搜索云监控
- 2023-10-19Yarn SLS代码分析及实践
1.背景在https://blog.51cto.com/u_15327484/7894282文章中,介绍了Yarn的两种调度器。在https://blog.51cto.com/u_15327484/7920197文章中,介绍了FairScheduler迁移CapacityScheduler的迁移实践。在实际迁移之前,必须要确保CapacityScheduler能够达到足够的收益,即吞吐率或调度时