首页 > 其他分享 >定向减免!函数计算让轻量 ETL 数据加工更简单,更省钱

定向减免!函数计算让轻量 ETL 数据加工更简单,更省钱

时间:2024-01-22 23:22:08浏览次数:30  
标签:函数 Kafka 省钱 任务 FC 计算 轻量 ETL

作者:澈尔、墨飏

业内较为常见的高频短时 ETL 数据加工场景,即频率高时延短,一般均可归类为调用密集型场景。此场景有着高并发、海量调用的特性,往往会产生高额的计算费用,而业内推荐方案一般为攒批处理,业务实时性会有一定的影响。基于此痛点,函数计算 FC 推出定向减免方案,让 ETL 数据加工更简单、更自动化、容错能力更强,且业务实时性更高、计算费用更低。

自 2024 年 01 月 01 日 0 时起,函数计算定向减免来自阿里云消息类产品和云工作流(CloudFlow)的函数调用次数费用,即通过以上产品事件触发函数计算所产生的函数调用次数不再计入费用账单。定向减免函数调用次数费用的产品包括:

  • 阿里云消息类产品:
  • 消息服务 MNS
  • 云消息队列 RocketMQ 版
  • 消息队列 RabbitMQ 版
  • 云消息队列 Kafka 版
  • 云消息队列 MQTT 版
  • 事件总线 EventBridge
  • 云工作流(CloudFlow)

这样用 FC,ETL 场景可立省 87% 计算费用

某出行领域客户基于函数计算 FC 构建免运维、自动化的 ETL 数据加工场景如下:

每天处理 10 亿条 Kafka 消息数据,每次处理平均耗时 10 毫秒,算力规格 0.1c0.5g,其费用组成为:

  • vCPU 使用量:0.1 * 1000000000 * 0.01 * 0.00009 = 90 元
  • 内存使用量:0.5 * 1000000000 * 0.01 * 0.000009 = 45 元
  • 函数调用次数费用:1000000000 / 10000 * 0.009 = 900 元

标签:函数,Kafka,省钱,任务,FC,计算,轻量,ETL
From: https://www.cnblogs.com/alisystemsoftware/p/17981376

相关文章

  • ETLCloud:实现数据库快速输入输出的利器
    在当今大数据时代,数据的高效处理和管理成为企业发展的关键。而数据库作为数据存储和管理的核心,其输入输出效率的提升对于企业来说至关重要。ETLCloud数据集成工具,为企业提供了快速、灵活、稳定的数据库输入输出解决方案,极大地简化了数据处理流程,提高了工作效率。 系统优点简......
  • Unity下实现跨平台的RTMP推流|轻量级RTSP服务|RTMP播放|RTSP播放低延迟解决方案
    技术背景 2018年,我们开始在原生RTSP|RTMP直播播放器的基础上,对接了Unity环境下的低延迟播放,毫秒级延迟,发布后,就得到了业内一致的认可。然后我们覆盖了Windows、Android、iOS、Linux的RTMP推送、轻量级RTSP服务和RTSP|RTMP播放。目前看,Unity环境下,我们在行业内的延迟几乎是最低的(当......
  • 基于自注意力机制的轻量级人体姿态估计(Lightweight Human Pose Estimation Based on
    写在前面本文是一篇于2023年3月21日发表在2023InternationalConferenceonBigData,EnvironmentalIndustryandMaterialsScience(ICBDEIMS2023)的一篇会议论文。论文主要聚焦于解决单签人体姿态估计网络模型中普遍存在的参数多、计算复杂度高、检测时间长的问题,文章采用......
  • 1.19 _fetchSql() 和 getLastSql() 的用法
    1fetchSql()的用法重要点:语法2getLastSql()的用法删除不掉的原因具有外键的那张表叫:主表,也就是details是主表,internet_bar这个是从表当使用:DELETEFROMbusiness_internet_barwhereid=34;删除表中的数据的时候,会发生下面的错误DELETEFROM`business_in......
  • [c]: 语言环境设置 -- setlocale()
    [c]: 语言环境设置--setlocale()    一、语言环境设置【fedora】  1、【Linux--类redhat】语言环境设置 1.1、查看语言环境【/etc/locale.conf】:/etc/locale.conf  2、【Linux--类debian】语言环境设置 2.1、查看语言......
  • 定向减免!函数计算让 ETL 数据加工更简单
    业内较为常见的高频短时ETL数据加工场景,即频率高时延短,一般费用大头均在函数调用次数上,推荐方案一般为攒批处理,高额的计算成本往往令用户感到头疼,函数计算推出定向减免方案,让ETL数据加工更简单、更自动化、容错能力更强。自2024年01月01日0时起,函数计算定向减免来自阿里云消息......
  • 轻量化CNN网络 - ShuffleNet
    1.ShuffleNetV1论文:ShuffleNet:AnExtremelyEfficientConvolutionalNeuralNetworkforMobileDevices网址:https://arxiv.org/abs/1707.01083提出了``ChannelShuffle`的思想,在ShuffleUnit中全是GConv和DWConv。GConv虽然能够减少参数与计算量,但GConv中不同组之间信......
  • Android平台Unity下如何通过WebCamTexture采集摄像头数据并推送至RTMP服务器或轻量级R
    技术背景我们在对接Unity下推送模块的时候,遇到这样的技术诉求,开发者希望在Android的Unity场景下,获取到前后摄像头的数据,并投递到RTMP服务器,实现低延迟的数据采集处理。在此之前,我们已经有了非常成熟的RTMP推送模块,也实现了Android平台Unity环境下的Camera场景采集,针对这个技术需求,......
  • ETLCloud详解,如何实现最佳实践及问题排查
    ETLCloud介绍ETLCloud是新一代全域数据集成平台,领先于市场同类产品的数据集成平台(DataOps),只需单击几下即可完成数据清洗转换、传输入仓等操作,具备高效、智能、一站式的全域数据集成优势,如:毫秒级实时数据同步支持异构数据源实时数据监听读取,实时数据通过经过清选、转换后可以实时......
  • Encountered fatal error while reloading routing: Routing trace file does not mat
      efinity编译在routersetup时候报错Encounteredfatalerrorwhilereloadingrouting:Routingtracefiledoesnotmatchnetlist(netlistnetcount24888v.tracenetcount0).  解决方案:检查客户工程的PNR页面。beneficialskew页面是否打开,如果是on状态,试......