首页 > 其他分享 >函数计算帮助领健为“看牙”注入AI活力

函数计算帮助领健为“看牙”注入AI活力

时间:2024-05-17 14:31:08浏览次数:18  
标签:函数 AI 业务 领健 计算 GPU 看牙 领健为

作者:姜伟,龚杨,周韬,王彬

客户介绍和业务背景

领健成立于2015年,总部位于上海,并在全国设立了20余家分支机构,拥有100项软件著作权、91项注册商标、35项发明专利,致力为口腔诊所、医美机构等消费医疗企业提供经营管理一体化解决方案。

领健拥有 ISO/IEC27001 国内国际双认证、公安部等保三级认证及工信部通保三级认证,全面赋能消费医疗机构的数字化经营,助力机构完成开源、避险、节流、增效的健康经营闭环。

领健创新 SaaS + X 模式,旗下拥有 e 看牙软件、e 看牙商城、领健悦见、领健悦容等品牌。e 看牙软件为口腔机构提供单店/连锁管理、电子病历、客户关系管理、进销存管理、智能营销、BI 商业智能分析、影像集成等覆盖口腔机构业务全流程的 SaaS 软件服务;e 看牙商城链接产业链上游1000+国内外知名耗材品牌,严选近2万+耗材商品,为口腔机构提供一站式耗材采购服务;领健悦见以“精确诊断·精准正畸·精准监控”为理念,是新一代隐形正畸解决方案服务商,现已推出悦见成人矫治、悦芽儿童早期矫治等多个产品系列。

领健作为业界领先的口腔机构数智化服务平台,在技术和服务上始终追求卓越。领健为口腔诊所提供了影像智能分析系统AI看牙,通过算法可对消费者的全景片、口内照、侧位片等影像资料进行分析,识别牙齿问题,医生仅需简单二次复合即可生成口腔检查报告,让患者全面了解口腔问题,牙齿检查数据与账单数据打通,及时了解商机的跟进速度与成交转化效果。

平台特点及业务痛点

口腔诊所的上班时间比较固定,一般都在08:30~18:00,节假日会更加繁忙一点,时间拉长到一个月,可以看到明显的波峰波谷。

领健早期在云上购买了一波 GPU 机器用于算法的部署,提供对外服务,但在使用过程中遇到了不少问题,主要有以下几个:

  • 资源利用率低,成本浪费:采用按月持有机器,在下班时间没有业务流量,由于考虑到可能的业务高峰,持有多台 GPU 机器,平峰期利用率不高。总体资源利用率维持在5%左右。

  • 高峰期业务响应慢:应对突发流量能力不足,超出预期的流量会导致服务负载加大,请求响应时间变长,直接影响终端客户的使用体验,在业务最高峰,曾经出现单个请求排队10分钟的情况。

  • 监控和排查能力不足:正畸算法在持续的迭代,在迭代部署的过程中,会出现请求偶发卡顿和程序报错的情况,但由于本身监控和告警能力不足,没法第一时间主动感知,常常需要终端使用门店反馈情况,降低了主动优化算法的效率。

除此之外,频繁的运维动作和持续的的平台建设,也给运维同学带来很多的日常工作,同时也加大了系统的不稳定因素,加上 GPU 技术在近年发展迅猛,领健技术同学也需要在这个领域持续投入不少精力,对于以上这些问题,领健技术同学开始在云上寻求更好,更高效的解决方案。

解决方案

领健技术团队一直在寻求更好的解决方案,期望在成本,服务体验,运维效率上都能得到改善,在对比了阿里云的多个云产品之后,最终将重点放在了函数计算上。

阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,客户无需管理服务器等基础设施,只需编写代码并上传。函数计算会准备好计算资源,以弹性、可靠的方式运行代码,并提供日志查询、性能监控、报警等功能。

函数计算除支持传统的 CPU 算力,也支持 GPU 的算力,采用服务器无感知计算的理念,通过提供一种按需分配的 GPU 计算资源,有效地解决原有 GPU 长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。为客户提供更加便捷、高效的 GPU 计算服务,有效承载 AI 模型推理、AI 模型训练、音视频加速生产、图形图像加速等加速工作负载。

函数计算 GPU 资源架构图如下:
image.png

函数计算 GPU 采用虚拟化技术,做到算力,显存,故障的强隔离,100%兼容原生应用。函数计算通过两级的资源池,保证算力的快速供给,函数计算 GPU 资源池平台持有,客户只需要按量使用,无需为闲置资源买单。

函数计算 GPU 资源请求模型如下:
image.png

当 GPU 函数部署完成后,客户可以通过配置预留 GPU 实例的弹性伸缩策略开启预留 GPU 实例,以提供实时推理应用场景所需的基础设施能力。函数计算平台将根据客户配置的伸缩指标进行预留 GPU 实例的 HPA ,客户请求将优先分配至预留 GPU 实例进行推理服务,平台完全遮蔽冷启动,业务保持低延迟响应。除此之外,平台集成了可观测,日志,监控,告警等系统,以简化问题的排查效率和日常的运维工作。

最终,领健技术团队经过一系列验证之后,在函数计算的最终架构图如下:
lQDPJxzdfgudwK3NCrzNClCw3Aa6Ae5etiAGKwG9FmJlAA_2640_2748.jpg
架构图非常简单,业务流程如下:

  1. 客户将正畸算法做成标准镜像放入阿里云镜像仓库 ACR;
  2. 当前端有正畸的调用请求时,需要初始化实例时,FC 通过拉取 ACR 中镜像以及底层 GPU 资源完成实例的初始化工作,完成算法应用的部署;
  3. 正畸计算请求发送至新创建的 GPU 应用上进行计算,并返回结果;

成果和优势

通过将 GPU 计算负载放到函数计算,领健技术团队很好的解决了先前遇到的使用问题:

  • 成本优化:函数计算按量付费的计费方式,真正做到了按照实际请求处理时间收费,最大限度的降低了资源持有的成本,相比早前的按月持有 GPU 资源,函数计算的费用降低了90%左右,达到了很好的降本效果。
  • 高峰期业务体验:通过业务高峰期的提前资源拉起和突发资源的按量弹性,做到了后端资源及时的供给,采用函数计算部署后,门店再也没有出现长时间排队的情况,大大提升了使用体验。
  • 高效运维:通过函数计算内置的监控,日志和告警系统,可以实时关注业务的大盘运行情况,通过配置监控告警,在异常时,可以第一时间收到异常推送,并借助完善的日志系统和函数计算专业的技术团队,及时定位并解决程序问题。

除此之外,采用函数计算部署,给了整个系统很好的伸缩性,对于将来业务的增长,也不必担心核心的 GPU 资源规划问题,这一点也为业务的持续发展打下了坚实的基础。

总结&展望
通过将核心应用迁移到函数计算平台,领健技术团队不仅成功应对了业务增长带来的挑战,还显著优化了成本结构,同时加速了开发和运维流程,实现了前所未有的敏捷性和效率。

展望未来,领健技术团队将继续深化与函数计算的合作。随着公司业务版图的不断扩展,预见更多的应用场景将得益于函数计算的弹性伸缩、低成本及高效率的优势。领健技术团队计划在新业务部署时,优先考虑采用函数计算架构,以期进一步缩短产品上市时间,提升用户体验,并持续降低运营成本。

阿里云函数计算也期待与领健共同探索更高效、更智能的医疗服务解决方案,助力医疗健康产业的数字化转型。相信在双方的紧密合作下,领健能够更好地服务于患者与医疗从业者,推动行业向更加智能化、高效化的方向迈进。

更多内容关注 Serverless 微信公众号(ID:serverlessdevs),汇集 Serverless 技术最全内容,定期举办 Serverless 活动、直播,用户最佳实践。

标签:函数,AI,业务,领健,计算,GPU,看牙,领健为
From: https://www.cnblogs.com/Serverless/p/18197724

相关文章

  • aiohttp初识(请求&响应)
    aiohttp初识(请求&响应)  aiohttp(用于asyncio和Python的异步HTTP客户端/服务器)初识1|0aiohttp客户端使用用于asyncio和Python的异步HTTP客户端/服务器:AsynchronousHTTPClient/ServerforasyncioandPython.1|1发起请求让我们从导入aiohttp模块开始:importai......
  • remote desktop(sunshine + moonlight + tailscale)
    Introduction常用的远程桌面软件要么收费,要么延迟很高,今天记一种低延迟的远程桌面实现方式。ArchitecturesunshineSunshine是一个为Moonlight设计的自托管游戏流媒体主机项目,由LizardByte开发。这个项目提供低延迟的云游戏服务器功能,支持AMD、Intel和Nvidia的GPU硬件编码,同时......
  • flutter 运行ios真机测试 提示 Command PhaseScriptExecution failed with a nonzero
    我这边引起CommandPhaseScriptExecutionfailedwithanonzeroexitcode的原因是我刚更换了推送证书,于是我打开钥匙串访问发现推送证书处于不受信任状态,于是把证书状态设置为信任状态并删除了旧的推送证书,设置完成后再去运行,就可以成功运行了。这是我这边的单一情况,......
  • 服务器减少TIME_WAIT连接数
    可使用命令netstat-n|awk'/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}'查看服务器端的等待连接数 化tcptimewait的操作可以参考下方:编辑内核文件/etc/sysctl.conf,加入以下内容:net.ipv4.tcp_syncookies=1表示开启SYNCookies。当出现SYN等待队列溢......
  • RAG Project with Ollama and LangChain via Gradio Interface
    RAGProjectwithOllamaandLangChainviaGradioInterfacehttps://github.com/fanqingsong/rag-ollama-langchainThisrepositoryhoststheimplementationofaRetrieval-AugmentedGeneration(RAG)projectleveragingthecapabilitiesofOllamatorunopen-so......
  • Explorez le Charme du Français
    GénéréparChatGPT.ExplorezleCharmeduFrançais......
  • 在langchain中的rag学习使用之旅-从半知半解到实现效果
    rag我简单理解来看就是我先有一段文本,先把它转成向量,保存到向量数据库中,下次我调用llm时将向量数据库中查询的结果给llm作参考并回答。对rag了解不多,所以开启学习之旅,学完了要应用到实际的需求中,因为最近手里有一个订单就是需要用到这个技术,但是又一知半解。现在新知识太多了,学......
  • Java-线程-wait()、notify()和notifyAll()
    0.是什么(What)wait(),notify(),和notifyAll()方法都是Object类的一部分,用于实现线程间的协作。1.为什么(Why)线程的执行顺序是随机的(操作系统随机调度的,抢占式执行),但是有时候,我们希望的是它们能够顺序的执行。所以引入了这几个方法,使得我们能保证一定的顺序。1.1Objec类......
  • AI赋能ITSM:企业运维跃迁之路
    随着企业信息化建设的深入,IT运维管理作为保证企业信息系统稳定运行的重要工作,越来越受到重视。那么,什么是IT运维呢?简单地说,IT运维是一系列维护、管理和优化企业IT基础设施、系统和应用程序的活动。那么,IT运维需要解决哪些问题呢?保证IT系统的稳定性和安全性,保证业务的正常运行......
  • 通过MVEL表达式和Apache Chain职责链模式解耦MQ消息处理节点的实践应用
    导读本文主要讲解了MVEL表达式和责任链设计模式相结合一起的消息处理解决方案设计、解耦消息处理节点以及方便代码维护扩展。通过“订单拆单消息”的接入作为具体实践案例,简要阐述了MVEL表达式和ApacheChain职责链设计模式应用场景。希望通过本文,读者可以对MVEL表达式和责任链......