首页 > 其他分享 >NGraphX v1.9.0发布 新增从Pandas DataFrame中读取文档构建向量索引,并优化向量检索器等功能

NGraphX v1.9.0发布 新增从Pandas DataFrame中读取文档构建向量索引,并优化向量检索器等功能

时间:2024-09-08 10:52:36浏览次数:3  
标签:检索 DataFrame Pandas 文档 输入 节点 向量

新增功能

  • Pandas DataFrame读取器: 新增功能,支持从Pandas DataFrame中加载Llama Index所需的文档。任何能加载进Pandas DataFrame的文档数据均可连接此节点。
    NGraphX DataFrame Node

功能优化

  • DuckDB & Neo4J检索器: 优化消息传递机制,现在可以从上游连接模版消息节点,便于进行进一步处理(如扩写、改写)后再传递给检索器。
  • 向量检索器(DuckDB, Neo4J): 额外增加检索出的文档的meta信息输出,便于在文档来自数据库表时,检索后可获取表主键等信息。
  • 检索器文档输入: 去除下划线必填项标识,以简化检索时的输入要求,索引时需要。
  • JSON生成动作: 自动探测语言模型是否原生支持JSON结构化输出,若支持则激活此功能,以提升模型生成准确性。

兼容性升级

  • AiEditor Demo: 升级依赖性,以提升整体性能和兼容性。
  • MaaS节点: 提供一个兼容OpenAI访问协议的统一节点,移除Ollama、智谱、阿里灵积节点,降低上手难度曲线。已经收集国内外自部署工具或MaaS产商有:Ollama、vLLM、智谱清言、火山引擎、硅基流动、阿里云、月之暗面、百川、零一万物、MiniMax、OpenAI、Mistral。同时保留了可以输入自定义BaseURL,比如Hugging Face、无问芯穹或未被收录的其它方式模型服务。另外讯飞星火及其它暂未兼容OpenAi访问协议的厂商,可能需要通过vLLM或其它像OneApi一类聚合提供服务。
    NGraphX OpenAI MaaS Node

界面优化

  • 节点组件下拉框: 修改为搜索label,确保所见即所得的用户体验。
  • SQL查询节点: 将数据库及SQL输入标识为必填项,以明确必要输入。
  • Http请求节点: 将数据转换上游输入名称改为转换请求数据,以便于用户理解和操作。转换请求数据主要用于Http发送请求时有能力组装复杂的请求数据格式。

此更新旨在提升NGraphX软件的功能性和用户体验。

标签:检索,DataFrame,Pandas,文档,输入,节点,向量
From: https://blog.csdn.net/weixin_42185715/article/details/141942497

相关文章

  • 猎豹算法(CO)优化支持向量机原理及Matlab代码
    目录0引言1数学模型2优化方式3Maltab代码3.1伪代码3.2CO主函数代码3.3CO-SVM4视频讲解0引言猎豹算法(cheetahoptimizer,CO)是MohammadAminAkbari于2022年基于猎豹的狩猎策略启发而提出的智能算法。CO模拟猎豹的三种主要策略来捕猎猎物,即搜索、坐着和攻击;同时......
  • 【大模型开发】传统向量模型 vs 重排序模型:原理、实现与应用
    在自然语言处理(NLP)和信息检索(IR)中,传统向量模型和重排序模型是两种常见的技术。它们在不同的应用场景中扮演了重要角色,尤其是在搜索、问答系统等需要排序和检索的任务中。本文旨在对比这两种模型的原理与实现,帮助读者理解其各自的优缺点,并展示相关代码和实战应用。1.目标读......
  • 根据点坐标X,Y,Z和方向向量Vx,Vy,Vz绘制射线簇
    根据点坐标X,Y,Z和方向向量Vx,Vy,Vz绘制射线簇1.数据导入paraview可以直接导入以逗号分隔的txt或csv数据,但无法自动识别,需要使用过滤器转为paraview可以操作的数组。以下是以空格分隔的txt数据为例,paraview5.11.1版本。数据的存储格式如下图所示,以空格隔开。x,y,z为点的空间坐标,vx,v......
  • 数据处理与数据填充在Pandas中的应用
    在数据分析和机器学习项目中,数据处理是至关重要的一步。Pandas作为Python中用于数据分析和操作的一个强大库,提供了丰富的功能来处理和清洗数据。本文将深入探讨Pandas在数据处理,特别是数据填充方面的应用。在实际的数据集中,缺失值(MissingValues)或异常值(Outliers)是常见的问题......
  • # yyds干货盘点 # 请问还有其他方法处理Pandas偶然出现的第三列的值么
    大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Pandas处理数据的问题,问题如下:通过python处理cvs文件,cvs默认是两列,但是因为系统导出的原因,第三列可能也有数值,导致df=pd.read_csv(path)报错:Cerror:Expected2fieldsinline3,saw3。解决方法......
  • 用亚马逊云科技Graviton高性能/低耗能处理器构建AI向量数据库(上篇)
    简介:今天小李哥将介绍亚马逊推出的云平台4代高性能计算处理器Gravition,并利用该处理器构建生成式AI向量数据库。利用向量数据库,我们可以开发和构建多样化的生成式AI应用,如RAG知识库,特定领域知识的聊天机器人等。我们今天将手把手带大家在亚马逊云科技上,搭建一个目前大热的Milv......
  • 通过DashScope API调用将多种模态转换为向量
    本文介绍如何通过模型服务灵积DashScope进行多模态向量生成,并入库至向量检索服务DashVector中进行向量检索。模型服务灵积DashScope,通过灵活、易用的模型API服务,让各种模态模型的能力,都能方便的为AI开发者所用。通过灵积API,开发者不仅可以直接集成大模型的强大能力,也可以对模型......
  • 向量检索服务产品规格
    实例类型向量检索服务DashVector当前支持四种实例(Cluster)类型,以支持不同的业务场景和需求:性能型:适用于查询QPS高、查询延迟低的场景,同时性能型也是写入效率最高的实例类型。对于高并发、大流量、低延迟场景,或对写入效率有较高的要求的场景,可选择性能型实例。存储型(推荐):存储型相对于......
  • Python之pandas表格处理常用方法
    0.导入导出操作下面以excel为例,csv同理,只要把read_excel改成read_csv,把to_excel改成to_csv即可。0.1导入excel/csv表格data=pd.read_excel("附件.xlsx",sheet_name="表单2",index_col=0) pd.read_excel(io,sheet_name,index_col)常用参数解读:io:文件地址sheet_name:表单......
  • 数据分析2之Pandas的数据结构
     pandas百度介绍pandas是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的......