什么是模型服务?
在部署ML模型时,数据科学家或工程师必须根据他们的应用场景做出选择。如果他们需要大量的预测,并且延迟不是问题,通常会选择批量处理,向模型提供大量数据并将预测结果写入表中。如果他们需要低延迟的预测,例如响应应用程序中的用户操作,最好的方式是将ML模型部署为REST端点。这些应用程序向一个在线服务发送请求,并立即接收预测结果。
本资源整理了计算机视觉、NLP、语音识别领域深度学习模型部署常见的平台和方法,涉及Tensorflow Serving,TorchServe,BentoML,DeepDetect等十几种方法。
资源整理自网络,源地址:https://github.com/balavenkatesh3322/model_deployment
内容涉及多次跳转,点击文末“阅读原文“”查看资源详情。
目录
内容截图
标签:NLP,serving,预测,部署,ML,模型,model From: https://blog.51cto.com/u_13046751/6537994