• 2024-08-08Ollama 与 RAG 一起用于本地使用以与 pdf 聊天
    我正在尝试通过使用RAG在本地计算机上与pdf聊天来构建ollama用法。我遵循了这个GitHub存储库:https://github.com/tonykipkemboi/ollama_pdf_rag/tree/main问题是当我运行代码时,没有错误,但代码将在嵌入时停止并会之后停止。我已附上所有可能的日志以及ollama
  • 2024-08-07如何在 Python 中使用 Langchain 返回已使用的上下文以进行回答
    我已经构建了一个像这样的RAG系统:defformat_docs(docs):return"\n\n".join(doc.page_contentfordocindocs)response_schemas=[ResponseSchema(name="price",description="Price",type="float"),ResponseSchema(
  • 2024-08-05为什么 Langchain HuggingFaceEmbeddings 模型尺寸与 HuggingFace 上所述的不一样
    我使用的是langchainHuggingFaceEmbeddings模型:dunzhang/stella_en_1.5B_v5。当我查看https://huggingface.co/spaces/mteb/leaderboard时,我可以看到型号是8192。但当我这样做时len(embed_model.embed_query("heyyou"))它给了我1024。请问为什么会有这种差
  • 2024-08-03我可以为 OpenAI GPT 生成功能输入的 max_tokens 数量是多少?
    我尝试过使用100_000、20_000,但似乎只有10_000是可能的:fromopenaiimportOpenAIclient=OpenAI()messages={"role":"user","content":"Hello"}completion=client.chat.completions.create(model="gpt-4o-mini&q
  • 2024-07-30ImportError:无法从“langchain_core.utils”导入名称“pre_init”
    当我想从requirements.txt安装langchain库时,我得到ImportError:cannotimportname'pre_init'from'langchain_core.utils'我尝试使用这些命令从终端安装库:pipinstallgigachainpipinstallgigachatpipinstall-Ulangchain-community并且它正在工作,所以我使
  • 2024-07-30无法在 Llama Index 中加载 HuggingFace Embeddings llama3.1
    我有一个非常简单的代码,如下所示:fromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingembed_model=HuggingFaceEmbedding(model_name="meta-llama/Meta-Llama-3-8B")我看到这个模型,meta-llama/Meta-Llama-3-8B,只有4.5GB,而我有16GBRAM,最多只使用20
  • 2024-07-27如何使用 LangChain 查看 MultiQueryRetriever 管道中的最终提示?
    我目前正在使用LangChain库开展一个项目,我想从向量数据库中检索相关文档,然后使用OllamaLLM根据这些文档生成答案。以下是我当前的实现:importlogginglogging.basicConfig()logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)#Defin
  • 2024-07-21我在 pip install flash-attn 抛出错误时遇到错误
    在此输入代码我当前正在尝试安装“microsoft/Florence-2-large”模型并遵循文档在其github页面上提供。运行pipinstall时flash-attn--no-build-isolation我抛出此错误:Collectingflash_attnUsingcachedflash_attn-2.5.9.post1.tar.gz(2.6MB)Install
  • 2024-07-21TRL SFTTrainer 对截断的说明
    我目前正在使用Huggingface中的SFTTrainer微调LLama模型。但是,我提出了一个问题,我无法通过文档回答(至少,它有点模糊)。我的数据集包含从20个令牌到5k个令牌的样本。目前我正在使用|||和max_seq_length=512,.packing=True但是,我不清楚的是,具
  • 2024-07-21如何使用ngrok url运行LangChain Ollama?
    我运行了一个脚本来获取ngrokurl:importasyncio#SetLD_LIBRARY_PATHsothesystemNVIDIAlibraryos.environ.update({'LD_LIBRARY_PATH':'/usr/lib64-nvidia'})asyncdefrun_process(cmd):print('>>>starting',*cmd)p