首页 > 其他分享 >feast 开源feature store

feast 开源feature store

时间:2023-09-19 14:27:04浏览次数:47  
标签:存储 特征 feast 离线 feature https store

对于机器学习特征处理是一个比较重要,特征的质量会严重影响模型的质量,而且很多时候我们都是希望实时的特征数据
feast 是一个开源的特征存储实现,包含了离线以及实时特征的存储以及获取(包含了sdk,可以进行特征的获取)

参考架构

包含的组件:
registry: 对象存储,持久化特征,我们可以通过sdk 获取特征的信息
feast python sdk /cli 管理特征定义版本,物化特征值到在线存储中,构建以及查看离线的数据集
stream processor 流处理部分,主要是进行实时处理,当前是基于spark 与kafa 的集成
batch materialization engine 批量物化引擎进行批量的数据处理(实时以及离线)
online store 主要是对于实时进入的特征数据的存储
offlone store 主要是存储离线的数据,这些数据主要是用来产品训练的

说明

目前也有不少类似的,目前feast 是一个社区比较活跃的项目

参考资料

https://www.iguazio.com/glossary/feature-store/
https://feast.dev/
https://domino.ai/blog/an-introductory-guide-to-feature-stores
https://www.serverless-ml.org/
https://github.com/featureform/featureform
https://github.com/logicalclocks/hopsworks

标签:存储,特征,feast,离线,feature,https,store
From: https://www.cnblogs.com/rongfengliang/p/17714495.html

相关文章

  • MySQL 切换数据库、用户卡死:“You can turn off this feature to get a quicker start
    数据量很大的话,常规切换数据库会把里面所有的表遍历一遍,会很慢甚至是卡死。解决方法:登录的时候直接在最后面加一个-A就行了。[root@localhost~]#"/usr/local/mysql-8.0.11/bin/mysql"-uroot-p123456-A 实战演示:我演示的数据库就是一个数据量很大的数据库,切换数据库......
  • ES2023 Array new features All In One
    ES2023ArraynewfeaturesAllInOnechangeArraybycopyArray.toReversed()constnumbers=[1,2,3,4,5,6,7,8,9];constreversed=numbers.toReversed();console.log("reversed=",reversed);//reversed=[9,8,7,6,5,4,3,2,1]co......
  • 三星大拿讲appstore和电商
    哈哈,最近一直忙于工作,没怎么上来写blog。继上次请华为两位老师来讲互联网云服务后,上周三的午间培训我们团队又请来一位重量级人物--来自三星(中国)的闫老师讲AppStore和电商的相关知识。在此首先感谢闫老师!其次,通过闫老师的精彩讲解,我对互联网/移动互联网行业又有了新的认识,真是大......
  • ipa上传AppStore
    将ipa提交到AppStore需要Mac电脑操作,现在大部分的程序员都是使用混合开发平台windows系统的电脑,自己装虚拟机过程又繁琐。使用此工具只需要网页上点两下帮你完成这些鸡毛蒜皮事,让你有更多的时间花在改bug上1.打开苹果开发者账户中心获取App专用密码,地址 https://appleid.apple......
  • CtsKeystoreTestCases 测试--和keybox相关的几条用例
    AttestationPerformanceTest测试方式:adbshellaminstrument-r-eclassandroid.keystore.cts.AttestationPerformanceTest-wandroid.keystore.cts/androidx.test.runner.AndroidJUnitRunner需要预置keymasterkey,同时设备需处于locked状态。两个fail项:Therewere2fai......
  • 将StoreFront服务器重置为出厂默认设置
    在某些情况下,需要将StoreFront安装重置为其初始安装状态。例如,在将StoreFront服务器重新添加到服务器组之前,这是必要的。可以执行手动卸载并重新安装,但这会比较耗时,并且可能会导致其他不可预见的问题。相反,您可以运行Clear-STFDeployment PowerShellcmdlet将StoreFront服......
  • ArcGIS Map SDK FeatureLayer点击查询要素与弹框展示
    ArcGISMapSDKFeatureLayer点击查询要素与弹框展示代码如下:<htmllang="en"><head><metacharset="utf-8"/><metaname="viewport"content="initial-scale=1,maximum-scale=1,user-scalable=no&quo......
  • Vue2 中vuex和store基本用法——取值之this.$store.getters.getValue & 修改值之this.
        参考:https://blog.csdn.net/weixin_44867717/article/details/124133304 项目实例:      ......
  • mysql create table ,store procedure,call sp
    //createtablet1//showcreatetablet1;CREATETABLE`t1`(`id`intNOTNULLAUTO_INCREMENT,`name`varchar(40)NOTNULLDEFAULT'',`author`varchar(40)NOTNULLDEFAULT'',`content`varchar(40)NOTNULLDEFAULT'......
  • App Store上架iOS App的详细流程
    最近负责将公司某个项目的iOS应用上架到AppStore,在上架的过程中,需要做的事情很多,但很多都不涉及到太多的技术问题,但是流程很多,而且对应用有很多要求,在上架的过程中也遇到一些问题,后也顺利解决问题,成功上架了。我觉得有必要记录一下过程及遇到的问题,希望对有需要上架的iOS开发者们......