用户期望在他们遇到的每一个应用程序和网站都有搜索功能。然而,超过80%的商业数据是非结构化的,以文本、图像、音频、视频或其他格式存储。Redis Enterprise如何实现矢量相似性搜索呢?答案是,将AI驱动的搜索功能集成到Redis Enterprise中,以实现矢量相似性搜索。
Redis Enterprise如何实现矢量相似性搜索?
1、将原始数据转换为嵌入向量
嵌入向量是无结构数据的数值表现形式,能够捕捉语义信息,通常由人工智能模型创建。图像、文本、视频甚至是一个音频,在Huggingface Model Hub的帮助下,每种内容都可以转换成各自的嵌入向量。转换后的数据被存储在Redis中。
2、Redis支持两种向量索引方法
Flat:一种蛮力(brute force)方法,它遍历所有可能的向量进行搜索。
HNSW:一种近似搜索的方法,能够以更快的速度获得结果,但精确度较低。
两种方法都具有相同的必需参数
3、索引只需创建一次
当新的哈希数据被存储在Redis中时,它们会自动重新建立索引。
4、Redis提供搜索功能
Redis提供搜索功能,将全文、标签和数值预过滤器与K Nearest Neighbors(KNN)向量搜索相结合。
5、Redis的优势
每秒查询次数(QPS)增加了12倍;
延迟降低至原来的十三分之一;
99.999%的高可用;
......
应用案例
l 文档检索
l 问答
l 推荐系统
l 视觉搜索
应用案例——推荐系统
应用案例——问答
标签:嵌入,Redis,相似性,搜索,Enterprise,虹科,向量 From: https://blog.51cto.com/u_15881886/7085274