首页 > 数据库 >虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!

虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!

时间:2023-08-15 10:07:03浏览次数:50  
标签:嵌入 Redis 相似性 搜索 Enterprise 虹科 向量

用户期望在他们遇到的每一个应用程序和网站都有搜索功能。然而,超过80%的商业数据是非结构化的,以文本、图像、音频、视频或其他格式存储。Redis Enterprise如何实现矢量相似性搜索呢?答案是,将AI驱动的搜索功能集成到Redis Enterprise中,以实现矢量相似性搜索。

 

虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_数据

Redis Enterprise如何实现矢量相似性搜索?

1、将原始数据转换为嵌入向量


嵌入向量是无结构数据的数值表现形式,能够捕捉语义信息,通常由人工智能模型创建。图像、文本、视频甚至是一个音频,在Huggingface Model Hub的帮助下,每种内容都可以转换成各自的嵌入向量。转换后的数据被存储在Redis中。


虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_搜索_02

2、Redis支持两种向量索引方法

 

Flat:一种蛮力(brute force)方法,它遍历所有可能的向量进行搜索。

HNSW:一种近似搜索的方法,能够以更快的速度获得结果,但精确度较低。


虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_搜索_03

两种方法都具有相同的必需参数

 

3、索引只需创建一次

 

当新的哈希数据被存储在Redis中时,它们会自动重新建立索引。

 

4、Redis提供搜索功能


Redis提供搜索功能,将全文、标签和数值预过滤器与K Nearest Neighbors(KNN)向量搜索相结合。


虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_搜索_04

5、Redis的优势


每秒查询次数(QPS)增加了12倍;

延迟降低至原来的十三分之一;

99.999%的高可用;

......

 


应用案例

 

l 文档检索

l 问答

l 推荐系统

l 视觉搜索



应用案例——推荐系统


虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_搜索_05

应用案例——问答

虹科干货 | 化身向量数据库的Redis Enterprise——快速、准确、高效的非结构化数据解决方案!_Redis_06

标签:嵌入,Redis,相似性,搜索,Enterprise,虹科,向量
From: https://blog.51cto.com/u_15881886/7085274

相关文章

  • 虹科方案|有数据而用之无方,不如无数据!用虹科Domo,对数据采取行动!
    随着数据量的持续增长,利用数据支撑行动变得越发重要。然而,许多企业即使收集到了数百万条数据,也未能利用数据推动业务价值增长。为了支持业务团队采用可操作的分析,Domo列出了商业团队可以对数据采取行动的十大方法,以改进流程提高生产力和效率,提升业务绩效等等。支持可操作数据的方法......
  • centos 7安装redis
    您好,这是在CentOS7上安装Redis的详细指南1:安装依赖项:Redis是用C语言开发的,因此在安装之前,您必须确保服务器已经安装了gcc。您可以通过以下命令检查机器是否安装:gcc-v。如果没有安装,您可以通过以下命令安装:yuminstall-ygcc。下载Redis安装包并解压缩:wgethttps://downlo......
  • redis查询 第1个数据库,而不是默认的第0个数据库
    redis查询第1个数据库,而不是默认的第0个数据库 spring.redis.database=1默认:spring.redis.database=0car-test:0>getcar:info:detail:id001NULL##切换数据库car-test:0>select1OKcar-test:1>getcar:info:detail:id001{"id":444186}car-test:1>redis有......
  • redis数据结构字典
    redis数据结构字典数据结构Redis的字典使用哈希表作为底层实现,一个哈希表里面可以有多个哈希表节点,而每个哈希表节点就保存了字典中的一个键值对。哈希表typedefstructdictht{//哈希表数组dictEntry**table;//哈希表大小unsignedlongsize;//哈希表大小掩码,用于......
  • redis数据结构链表
    redis数据结构链表数据结构链表节点typedefstructlistNode{//前置节点structlistNode*prev;//后置节点structlistNode*next;//节点的值void*value;}listNode;多个listNode可以通过prev和next指针组成双端链表链表typedefstructlist{//表头节点......
  • redis数据结构sds
    简单字符串sds数据结构structsdshdr{//记录buf数组中已使用字节的数量//等于SDS所保存字符串的长度intlen;//记录buf数组中未使用字节的数量intfree;//字节数组,用于保存字符串charbuf[];};特性空间预分配空间预分配用于优化SDS的字符串年增长操作:当SD......
  • 使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎
    概览JuiceFS 是一款面向云原生设计的高性能共享文件系统,在Apache2.0开源协议下发布。JuiceFS提供完备的 POSIX 兼容性,可将几乎所有对象存储接入本地作为海量本地磁盘使用,亦可同时在跨平台、跨地区的不同主机上挂载读写。JuiceFS也提供如HDFS兼容的API、S3兼容的API......
  • Redis 持久化及集群架构
    1Redis持久化1.1持久化的概念和原因Redis持久化是指将Redis服务器中的数据保存到磁盘上,以便在服务器重启后可以重新加载数据。持久化是为了解决Redis内存数据库的数据丢失问题。持久化的原因有以下几点:数据安全:通过将数据保存到磁盘上,即使发生服务器故障或断电等情况......
  • Redis设计与实现——对象(二刷)
    对象介绍Redis底层的基本数据类型包括动态字符串、链表、字典、跳表、整数集合、压缩列表。但是Redis并没有直接使用这些基本数据类型来构建键值对数据库,而是基于这些数据类型创建了一个对象系统,对象系统包含字符串对象、列表对象、哈希对象、集合对象、有序集合对象。struct......
  • Redis设计与实现——数据结构(二刷)
    SDS动态字符串Redis是c语言实现的,传统c字符串存在不可变导致的频繁内存分配,一些API函数可能引起缓冲区溢出等问题。Redis在c字符串的基础上,封装实现了SDS动态字符串,能够根据每次存储关键字的大小自动申请额外缓冲区内存,避免频繁申请和缓冲区溢出问题。SDS定义str......