首页 > 其他分享 >又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

时间:2022-11-30 11:22:14浏览次数:40  
标签:Serverless SoCC 函数 论文 调度 ACM 实例 节点

近日,阿里云函数计算产品团队撰写的关于 Serverless 调度的创新性论文,被云计算领域 ACM SoCC 国际会议长文录用。

image.png

去年阿里云函数计算团队首个提出在 FaaS 场景下的去中心化快速镜像分发技术,团队所作论文被计算机系统领域的顶级会议 USENIX ATC’21 录用,入选中国计算机协会(CCF)推荐 A 类国际会议列表;今年阿里云函数计算不断突破:发布基于函数画像的调度算法论文并被国际云计算的首要会议 ACM SoCC 录用,真正做到能够保证提升函数资源利用率的同时,达到性能高稳定性。

ACM Symposium on Cloud Computing(以下简称 SoCC)是由美国计算机协会主办、聚焦云计算技术的一项学术会议,是云计算的首要会议。它汇集了对云计算感兴趣的研究人员、开发人员、用户和实践者,是唯一由 SIGMOD(数据管理特别兴趣组)和 SIGOPS(操作系统特别兴趣组)联合主办的会议, 这个会议在近些年蓬勃发展,旨在聚集数据库和计算机系统两大领域的学者,共同推进云计算技术在工业界的研究与发展。

此次被录用的论文为《Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud》。

此论文灵感诞生于阿里云 Serverless 产品函数计算,函数计算是阿里云的函数即服务(Function-As-A-Service)产品。阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。现阶段已经覆盖了**事件驱动、音视频处理、游戏、物联网、新零售、AI **等实际业务场景,并服务于阿里云、高德、支付宝、淘宝、CBU 等多个业务或项目中。
image.png
上图是一个经典的 FaaS 调度系统的架构,调度器负载将不同的函数实例调度到集群中的节点上运行。由于 FaaS 产品函数数量多、函数粒度小、执行时间短的特点,节点的资源利用率较低。简单地将更多的实例调度到同一个节点上虽然能够一定程度地提升资源利用率,但是也带来了资源争抢和性能下降。

论文针对这个问题创新地提出了基于函数画像的调度算法,在提高资源利用率的同时达到了较好的性能稳定性:

  1. 对于高频调用的函数,调度器会识别不同函数实例在同一个节点共置时的性能表现,以此指导函数实例的调度;

  2. 对于低频调用的函数,调度器会统计其执行过程中的实际资源消耗,以此来指导函数实例的调度,同时调度器会监控函数的执行延时,当出现延时上升时通过隔离的手段进行缓解;

  3. 调度器还针对闲置的实例进行迁移,将它们从利用率低的节点迁移到利用率高的节点以释放闲置节点。

image.png
为了评估算法的效果,论文根据生产环境典型的函数负载,抽象了 10 个函数,它们覆盖了不同的编程语言、资源消耗、执行时长、外部依赖。列表如下:

image.png

实验结果表明,在 100 个节点规模下,OWL 调度算法能够节省 43.8% 的资源,同时函数执行延时没有明显的增加:

image.png

调度延时也没有明显增加:

image.png

目前 OWL 的函数画像能力也已经应用在函数计算线上环境,并取得了不错的效果。此次论文入选 ACM SoCC,是阿里云在 Serverless 调度领域的又一次创新。

附论文信息
录用论文题目:
Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud

作者:田黄石,李苏毅,王骜,王威,吴天龙,杨皓然

论文概述:在云计算中,FaaS 是一种非常流行的产品形态,主流的云产商都提供了对应的平台。作为平台构建者我们观察到大部分的函数实例的 CPU 和内存利用率都不高,造成集群节点的利用率也不高。一个简单的做法是在节点上超额放置更多的函数实例,但是这可能会带来资源争抢和性能下降。另外,函数的外部依赖也可能导致函数的性能下降。在本文中,我们设计了 OWL 调度系统来解决这些问题,达到高资源利用率和性能稳定性。对于低频调用的函数,调度器会统计其执行过程中的实际资源消耗,以此来指导函数实例的调度,同时调度器会监控函数的执行延时,当出现延时上升时通过隔离的手段进行缓解;对于高频调用的函数,调度器会识别不同函数实例在同一个节点共置时的性能表现,以此指导函数实例的调度。同时调度器还针对闲置的实例进行迁移,将它们从利用率低的节点迁移到利用率高的节点以释放闲置节点。我们实现了 OWL 原型系统并根据生产环境的负载构造了一组测试集。实验结果表明,OWL 调度系统能够减少 43.8% 的资源消耗并有效缓解性能下降。

更多内容关注 Serverless 微信公众号(ID:serverlessdevs),汇集 Serverless 技术最全内容,定期举办 Serverless 活动、直播,用户最佳实践。

标签:Serverless,SoCC,函数,论文,调度,ACM,实例,节点
From: https://www.cnblogs.com/Serverless/p/16937858.html

相关文章

  • DTSE Tech Talk 第13期:Serverless凭什么被誉为未来云计算范式?
    摘要:在未来,云上交付模式会逐步从Serverful为主转向Serverless为主。本文分享自华为云社区《DTSETechTalk第13期:Serverless凭什么被誉为未来云计算范式?》,作者:华为云社......
  • 安徽大学第三届ACM/ICPC 程序设计竞赛现场赛-取数字问题
    描述定的M*N的矩阵,其中的每个元素都是-10到10之间的整数,你的任务是从左上角(1,1),走到右下角(M,N),每一步只能向下或者向右,你所经过的方格里面的数字都必须被选取,请找出一条......
  • 用acme.sh自动部署域名证书
    用acme.sh自动部署域名证书安装ACME目前使用量最大的免费SSL证书就是Let’sEncrypt,自2018-03开始,Let’sEncrypt官方发布上线了免费的SSL泛域名证书,目前通过DNS方式获取......
  • TKE 超级节点,Serverless 落地的最佳形态
    陈冰心,腾讯云产品经理,负责超级节点迭代与客户拓展,专注于TKEServerless产品演进。背景让人又爱又恨的ServerlessServerless炙手可热,被称为云原生未来发展的方向。......
  • 应用 Serverless 化,让业务开发心无旁骛
    我们希望让用户做得更少而收获更多,通过Serverless化,用云就像用电一样简单。”张建锋表示,Serverless让云计算从一种资源真正变成一种能力,未来云将全面Serverless化,更加......
  • 在CentOS上使用Jexus托管运行 ZKEACMS
    ZKEACMSCore是基于.netcore开发的,可以在windows,linux,mac上跨平台运行,接下来我们来看看如何在CentOS上使用Jexus托管运行ZKEACMS,通常我们在......
  • 深度 | 新兴软件研发范式崛起,云计算全面走向 Serverless 化
    11月3日,2022杭州·云栖大会上,阿里云智能总裁张建锋表示,以云为核心的新型计算体系正在形成,软件研发范式正在发生新的变革,Serverless是其中最重要的趋势之一,阿里云将坚定......
  • 深度 | 新兴软件研发范式崛起,云计算全面走向 Serverless 化
    11月3日,2022杭州·云栖大会上,阿里云智能总裁张建锋表示,以云为核心的新型计算体系正在形成,软件研发范式正在发生新的变革,Serverless是其中最重要的趋势之一,阿里云将坚......
  • 包管理器pacman常用方法
    详见[pacman(简体中文)-ArchWiki]:https://wiki.archlinux.org/title/Pacman_(简体中文)更新系统:pacman-Syu对整个系统进行更新(常用)pacman-Syy强制更新pacman-S......
  • ACM预备队-week5(DFS/BFS/二分图)
    [蓝桥杯2013国C]危险系数题目链接:P8604[蓝桥杯2013国C]危险系数-洛谷|计算机科学教育新生态(luogu.com.cn)割点:删除这个顶点集合以所有顶点相关联的边以......