• 2024-05-30使用 LlamaIndex + Eleasticsearch ,进行 RAG 检索增强生成
    节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学.针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。合集:《大模型面试宝典》(2024版)正式发
  • 2024-05-22LlamaIndex RAG 和ReAct结合使用
    LlamaIndexRAG和ReAct结合使用示例代码:importosos.environ['OpenAI_API_KEY']='sk-pxxxxhU7F5Zrc'os.environ['SERPAPI_API_KEY']='950fbdxxxx9b0fexxxx'#加载电商财报数据fromllama_index.coreimportSimpleDirectoryReaderA_doc
  • 2024-05-22整合LlamaIndex与LangChain构建高级的查询处理系统
    构建大型语言模型应用程序可能会颇具挑战,尤其是当我们在不同的框架(如Langchain和LlamaIndex)之间进行选择时。LlamaIndex在智能搜索和数据检索方面的性能令人瞩目,而LangChain则作为一个更加通用的应用程序框架,提供了更好的与各种平台的兼容性。本篇文章将介绍如何将LlamaIndex和La
  • 2024-05-07检索增强生成(RAG)实践:基于LlamaIndex和Qwen1.5搭建智能问答系统
    检索增强生成(RAG)实践:基于LlamaIndex和Qwen1.5搭建智能问答系统什么是RAGLLM会产生误导性的“幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。正是在这样的背景下,检索增强生成技术(Retrieval-AugmentedGeneration,RAG
  • 2024-04-14LlamaIndex 是什么
     LlamaIndex是一个基于LLM(大语言模型)的应用程序数据框架,适用于受益于上下文增强的场景。这类LLM系统被称为RAG(检索增强生成)系统。LlamaIndex提供了必要的抽象层,以便更容易地摄取、结构化和访问私有或特定领域的数据,从而安全可靠地将这些数据注入LLM中,以实现更准确的文
  • 2024-04-14LlamaIndex 高层次概念
     本篇内容为您快速介绍在构建基于大型语言模型(LLM)的应用程序时会频繁遇到的一些核心概念。 增强检索生成(RAG)LLM是基于海量数据训练而成,但并未涵盖您的具体数据。增强检索生成(Retrieval-AugmentedGeneration,RAG)通过将您的数据添加至LLM已有的数据集中,解决了这一问题。
  • 2024-04-14LlamaIndex 安装与配置(不含OpenAI)
     pipinstallllama-index这是一个包含以下组件的启动包:llama-index-corellama-index-legacy(暂时包含)llama-index-llms-openaillama-index-embeddings-openaillama-index-program-openaillama-index-question-gen-openaillama-index-agent-openaillama-index-rea
  • 2024-04-14LlamaIndex 起步教程(本地模型)
     提示:确保您已先按照自定义安装步骤操作。这是一个著名的“五行代码”起步示例,使用本地LLM(大语言模型)和嵌入模型。我们将使用BAAI/bge-small-en-v1.5作为嵌入模型,通过Ollama服务的Mistral-7B作为LLM。下载数据本示例使用PaulGraham的文章《WhatIWorkedOn》文本
  • 2024-04-14LlamaIndex 探索视频系列
     如果您喜欢通过视频学习,现在正是查看我们的“探索LlamaIndex”系列的好时机。否则,我们建议您继续阅读“理解LlamaIndex”教程。自下而上开发(LlamaDocsBot)这是“探索LlamaIndex”系列中的一个子系列,向您展示如何从零开始构建文档聊天机器人。我们将以“自下而上”的方式
  • 2024-04-14LlamaIndex 常见问题解答(FAQ)
     提示:如果您尚未完成,请安装LlamaIndex并完成起步教程。遇到不熟悉的术语时,请参考高层次概念部分。在这个章节中,我们将从您为起步示例编写的代码开始,展示您可能希望针对不同应用场景对其进行的常见定制方法:python fromllama_index.coreimportVectorStoreIndex,Simp
  • 2024-04-14RAG 工具和框架介绍: Haystack、 LangChain 和 LlamaIndex
     Haystack、LangChain和LlamaIndex,以及这些工具是如何让我们轻松地构建RAG应用程序的? 我们将重点关注以下内容:HaystackLangChainLlamaIndex增强LLM那么,为什么会有这些工具存在呢?如你所知,ChatGPT和其他LLM是在某个时间点之前的一组数据上进行训练的。更重要的是,它
  • 2024-03-20【RAG实践】基于 LlamaIndex 和Qwen1.5搭建基于本地知识库的问答机器人
    什么是RAGLLM会产生误导性的“幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。正是在这样的背景下,检索增强生成技术(Retrieval-AugmentedGeneration,RAG)应时而生,成为AI时代的一大趋势。RAG通过在语言模型生成答案
  • 2024-03-14RAG实战6-如何在LlamaIndex中使用自己搭建的API
    RAG实战6-如何在LlamaIndex使用自己搭建的大模型API在搭建一个大模型API服务中,我们介绍了如何使用SWIFT框架搭建一个大模型API服务。在RAG实战1-5中,我们一直使用的是本地加载大模型的方式来调用大模型,本文将介绍如何在LlamaIndex中使用自己搭建的大模型API。LlamaIndex支持部分
  • 2024-03-04小a的二月每周进展
    看了眼备忘录,二月就记了一周...(心虚)年后从杭州出发,一路去深圳,一边旅行一边工作。路线大概是:杭州-福州-莆田-泉州-厦门-深圳,如果不是要去线下工作,我肯定会多去几个城市哈哈。以后应该还会去的!年后开始工作的第一周也在远程,基本都在摸鱼。返工效率低是正常的吧!然后开
  • 2024-02-29【每周一读】Automating Hyperparameter Tuning with LlamaIndex
    原文
  • 2024-01-24通过4个任务比较LangChain和LlamaIndex
    我们在本地使用大模型的时候,尤其是构建RAG应用的时候,一般会有2个成熟的框架可以使用LangChain:用开发LLM的通用框架。LlamaIndex:专门用于构建RAG系统的框架。选择一个框架是对于项目的后续开发是非常重要的,因为如果后续更换框架是一个非常困难的事情,所以我们这里对这两个框架
  • 2024-01-18python llama_index
    PythonLlamaIndexIntroductionPythonisapopularprogramminglanguageknownforitssimplicityandreadability.Ithasavastecosystemoflibrariesandframeworksthatmakeitsuitableforawiderangeofapplications,fromwebdevelopmenttodataana
  • 2024-01-14LlamaIndex中的CustomLLM(本地加载模型)
      LlamaIndex中接口基本上调用的是OpenAI,如果想想调用自定义模型可以吗?答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类classCustomLLM(LLM)。一.CustomLLM(LLM)源码  只要子类必须实现__init__、_complete、_stream_complete和metadata方法即可
  • 2024-01-14LlamaIndex中的CustomLLM(在线加载模型)
    一.使用Flask将模型封装为REST接口  主要是将complete()和stream_complete()方法封装为REST接口,如下所示:from flask import Flask, request, jsonifyfrom transformers import AutoTokenizer, AutoModelForCausalLMapp = Flask(__name__)class QwenModel:
  • 2023-11-25LLMLingua:集成LlamaIndex,对提示进行压缩,提供大语言模型的高效推理
    大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下,提示的复杂性不断增加,这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理,因此需要高效的解决方案,本文将介绍LLMLingua与专有的LlamaIndex的进行集成执行高效推理。LL