首页 > 其他分享 >milvus介绍

milvus介绍

时间:2024-04-24 09:44:19浏览次数:21  
标签:IVF 场景 介绍 索引 搜索 milvus 相似性 Milvus

1.什么是milvus

Milvus是在2019年创建的,其唯一目标是存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大规模嵌入向量。

非结构化数据包括电子邮件、论文、物联网传感器数据、Facebook照片、蛋白质结构等等。为了使计算机能够理解和处理非结构化数据,使用嵌入技术将它们转换为向量。Milvus存储和索引这些向量。Milvus能够通过计算它们的相似距离来分析两个向量之间的相关性。如果两个嵌入向量非常相似,则意味着原始数据源也很相似。

2.Milvus的设计原理

https://www.milvus-io.com/architecture_overview

3.应用场景

Milvus使得向应用中添加相似性搜索变得容易。Milvus的示例应用包括:

图像相似性搜索:使图像可搜索,并即时返回来自大型数据库中最相似的图像。

视频相似性搜索:通过将关键帧转换为向量,然后将结果输入Milvus,可以在几乎实时的时间内搜索和推荐数十亿个视频。

音频相似性搜索:快速查询大量音频数据,如语音、音乐、音效和表面相似的声音。

分子相似性搜索:针对指定分子进行极快的相似性搜索、子结构搜索或超结构搜索。

推荐系统:根据用户行为和需求推荐信息或产品。

问答系统:交互式数字问答聊天机器人,自动回答用户的问题。

DNA序列分类:通过比较相似的DNA序列,在毫秒级别准确地分类一个基因。

文本搜索引擎:通过将关键字与文本数据库进行比较,帮助用户找到他们正在寻找的信息

4.index类型

FLAT:FLAT最适合于在小规模,百万级数据集上寻求完全准确和精确的搜索结果的场景。

IVF_FLAT:IVF_FLAT是一种量化索引,最适合于在精度和查询速度之间寻求理想平衡的场景。

IVF_SQ8:IVF_SQ8是一种量化索引,最适合于在磁盘、CPU和GPU内存消耗非常有限的场景中显著减少资源消耗。如果要求95%以上召回精度则不建议选择

IVF_PQ:IVF_PQ是一种量化索引,最适合于在高查询速度的情况下以牺牲精度为代价的场景。

HNSW:HNSW是一种基于图形的索引,最适合于对搜索效率有很高需求的场景。

ANNOY:ANNOY是一种基于树形结构的索引,最适合于寻求高召回率的场景

标签:IVF,场景,介绍,索引,搜索,milvus,相似性,Milvus
From: https://www.cnblogs.com/Refresh-air/p/18154396

相关文章

  • 阿里云开源离线同步工具DataX3.0介绍
    一.DataX3.0概览​DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据......
  • WiseCAM-Tube 激光切割的套料软件介绍
    WiseCAM-Tube是一款用于管材激光切割的套料软件,具有以下功能:•自动应用工艺:零件载入时自动应用割缝补偿、微连、引刀线工艺,无需单个添加工艺,缩短处理时间。•空间引线:支持批量添加空间引入引出线,解决异型管咬边区域过烧和切不断问题。•法向镜像:支持工字钢法向量镜像复制,法......
  • K8s的介绍和特性
    K8s是一个开源的,用来管理云平台中“多个主机的容器化”的应用。k8S的目标是:让部署容器化的应用简单并且高效,K8s提供了应用部署,规划,更新,维护的一种机制。K8s是google开源的一个容器编排引擎,他支持自动化部署,大规模可伸缩,应用容器化管理。在生产环境中部署一个应用程序时,通常要部......
  • 将彩色图转化为灰度图及其原理介绍
    彩色图介绍彩色图像是一种包含颜色信息的图像,通常由红色、绿色和蓝色(RGB)三个颜色通道组成。这三种颜色通道可以叠加在一起来形成各种不同的颜色。彩色图像中的每个像素都有三个数值,分别表示红色、绿色和蓝色通道的强度或亮度。这三个数值通常在0到255之间,其中0代表没有该颜色通......
  • Ceph的crush算法与一致性hash对比介绍
    本文分享自天翼云开发者社区《Ceph的crush算法与一致性hash对比介绍》,作者:l****n首先,我们先回顾下一致性hash以及其在经典存储系统中的应用。一致性hash的基本原理一致性hash的基本思想是,有一个hash函数,这个hash函数的值域形成了一个环(收尾相接:thelargesthashvaluewraps......
  • Lustre架构介绍的阅读笔记-客户端
    本文是在阅读IntroductiontoLustre*Architecture的LustreFileSystem–Clients时的笔记。Lustre客户端部署在客户的计算节点上,工作时不占用本地的硬盘。不使用本地硬盘作为缓存或者后备空间。对存储系统的访问均通过网络。Lustre客户端作为Linux内核的模块,工作在内核......
  • Lustre架构介绍的阅读笔记-SMB协议
    本文是在阅读IntroductiontoLustre*Architecture的LustreSMBGatewaySystemArchitecture时的笔记。Lustre只支持Linux系统,但借助Samba可以支持SMB协议,进而对Windows主机提供文件访问能力。参考资料WelcometotheCTDBwebpagesCTDBisaclusterimplementationof......
  • AI视频分析技术的常用开源模型及TSINGSEE青犀AI视频识别分析能力介绍
    AI视频分析技术是指利用人工智能技术来对视频数据进行分析和处理的技术。开源模型是指可以免费获取和使用的代码模型,可以帮助开发人员快速构建和部署AI视频分析应用程序。以下是一些业内常用的用于AI视频分析技术的开源模型:OpenCV:OpenCV是一个用于计算机视觉和机器学习的开源计......
  • DRF之类视图详解介绍
    一、视图基类1、APIView想要使用APIView,需要先导入:fromrest_framework.viewsimportAPIViewAPIView继承了View,同时也进行了升级,APIView是适合前后端分离的,而View是适合前后端不分离的。View并没有对请求进行处理,而APIView会对请求进行处理,将请求体的JSON数据转成......
  • Spring Cache 介绍
    SpringCache是Spring提供的的缓存解决方案,它并非是一个具体的缓存实现,而是和JSR107类似的一套缓存规范,基于注解并与Spring的无缝集成。本文主要介绍其基本概念及简单使用。1、简介1.1、SpringCache概述SpringCache是Spring提供的一种缓存抽象机制,用于简化应用中......