作者:宁佑章(硅基仿生科技)、元毅(阿里云容器服务)
“使用阿里云容器服务 Knative,解决了开发迭代慢的问题,加速了深度学习模型的性能提升;同时提供了弹性可伸缩的资源配置,满足网络服务需求,降低了服务部署成本。”
-- 宁佑章 (硅基仿生科技数据中心算法研发部 NLP 项目负责人)
背景
深圳硅基仿生科技股份有限公司成立于 2015 年,致力于慢病管理领域的创新医疗器械研发与产业化,公司规模超 500 人。核心团队由清华、北大、加州理工、普林斯顿、华盛顿大学等名校理工科科学家带领,主要项目包括连续血糖监测(CGM)、AI 眼底筛查、人工视网膜、胶囊胃镜机器人等,在多个细分领域打破国外技术垄断,引领基础学科与行业技术发展,先后承担和参与国家科技部重点研发项目 3 项,成为国内创新医疗器械领域准独角兽企业。
遇到的问题
2021 年中国糖尿病患者超过 1.4 亿,居世界第一,糖尿病相关医疗支出超万亿;而糖尿病治疗的重中之重就是糖尿病教育,可以大幅降低糖尿病医疗支出,同时改善患者预后状况,避免截肢、大脑退化等严重并发症。硅基仿生科技股份有限公司在”珍爱生命,奉献,求实,创新,协同,育人”的价值观下,积极投入糖尿病教育的产品研发和技术升级。
原有的技术架构遇到最大的问题是研发效率低,资源成本居高不下。
以智能问答模型为例,由于智能问答模型需要反复测试训练迭代,原有的技术架构需要运维人员不断检测部署,非常浪费时间;另外用户请求经常有峰值,使用固定资源的服务器,高峰时会导致资源紧张,严重时甚至宕机,非高峰时又会造成资源浪费。
新的技术架构期望做到按需使用资源,节省资源使用成本,尽可能少的运维 K8s 集群,同时能基于 K8s 云原生标准 API 使用 Serverless,简化应用运维部署,资源免运维。
解决方案
经过充分沟通,深入推敲业务应用场景和需求后,硅基仿生选用了阿里云 Serverless 容器 —— Knative + ASK 产品解决方案:
通过 Knative 能够非常好的满足业务需求:
快速迭代
比如智能问答平台,需要多次测试和训练,如果用以往的部署方案,会浪费大量时间在运维和部署上,降低产品的开发效率。现在使用了 Knative 快速部署服务到 K8s 测试上线,大大提高了产品的开发效率,实现了数据驱动开发的良性循环。
极致弹性
以往的部署方案,在面对脉冲式访问流量时,容易造成高峰时网络请求太多而导致服务器宕机,在低谷时浪费网络资源的情况。而在 Knative 的部署方案中,通过极致的弹性能力和灵活的弹性策略,能轻松构建高效、稳定的、能应对脉冲式访问流量的架构,满足部署需求的同时节省开支。
业务稳定性
Knative 内置 queue-proxy 容器与业务容器结合可以实时观察请求流量,并能够做到流量告警。结合基于请求的灰度发布、多版本管理,可以做到全天候随时发布,大大提高了运维和版本的迭代速度。
此外为了更好地帮助硅基仿生完成技术架构的迁移,对客户使用过程中出现的问题,积极响应,快速排查原因,及时解决问题,保证服务的正常运行。
精益上云,降本增效
当前通过 Knative 完全支撑了硅基仿生的业务系统,实现了硅基仿生业务全部上云。
包括糖尿病智能问答系统,在内分泌专家和内测糖友的支持下收集了 14 万+的问答库,基本上涵盖了糖友甚至健康人的各种糖尿病问题;糖尿病科普文章推荐系统,根据用户的点赞、收藏、阅读时长等行为,给用户在 7 个频道推荐科普文章,给糖友及其家属推荐个性化的科普文章;血糖分析助手和 AGP 分析助手,通过多轮对话的方式,帮助患者找到低血糖和高血糖的原因并给出建议,助力患者达到更好的控糖水平;糖尿病事件知识图谱标注平台,包括标注方案的创建,方便地抽取和标注医学文献中的实体和关系,将用于糖尿病相关的诊断、治疗以及科研。
凭借 Knative 的弹性速度、弹性策略、免运维、健康检查、实时监控,对服务全生命周期进行管理,硅基仿生极大提高了产品的开发效率和迭代速度,为糖尿病人群的血糖管理创造了极大价值,为提高糖尿病人群以及大健康人群的糖尿病认知和健康水平做出了巨大贡献。
关于 Serverless 容器
众所周知,Serverless 是一种云原生的开发模型,客户只需构建和运行应用、而无需管理托管应用所在的服务器。在实际实现上,IT 架构里还是有服务器的,只是对从客户应用研发不可见了,服务器由云厂商托管和维护,用户只需要将代码打包成容器即可。随着云原生技术的演进,以应用为中心,资源按需使用的 Serverless 技术逐渐成为主流。Gartner 预测,2025 年将有 50% 以上的全球企业部署 Serverless。
Knative 是基于 Kubernetes 之上提供的一款开源 Serverless 应用框架,其目标就是制定云原生、跨平台的Serverless 容器编排标准,帮助您部署和管理现代化的 Serverless工作负载,打造企业级 Serverless 容器平台。Knative 于2021年11月2日正式发布 1.0 版本,达到了一个重要的里程碑,随着 2022 年 3 月 2 日加入到 CNCF,越拉越多的开发者拥抱 Knative 。
阿里云容器服务从 Knative 早期版本开始产品化集成,持续跟进 Knative 社区功能迭代,并与容器服务 ACK、消息、存储、网络等云产品进行了全方位的融合,提供了生产级别的 Knative 能力。
戳此处了解 Knative 文档详情。