首页 > 其他分享 >英伟达训练营RAG机器人(基础版)

英伟达训练营RAG机器人(基础版)

时间:2024-08-18 16:54:20浏览次数:12  
标签:伟达 Phi 代码 Key RAG 训练营 install pip 模型

概述:

        该RAG对话机器人可利用Rag技术对使用者的提问生成答案,可以文字的形式回答提问者。同时,该机器人采用微软phi-3-small-128k-instruct的模型,其具有高性能,低延迟,低成本的特点。

模型选择:

         此机器人采用微软的phi-3-small-128k-instruct模型,Phi-3模型支持不同长度的上下文窗口,其中Phi-3-mini是同类模型中首个支持最多128K令牌上下文窗口的模型。 该模型在Azure AI上利用部署-评估-微调工具链,以及在Ollama上提供本地运行支持。经过优化,支持跨平台的ONNX Runtime,并可在GPU、CPU甚至移动硬件上运行。 作为NVIDIA NIM微服务提供,具有标准API接口,可在任何地方部署,并针对NVIDIA GPU进行了优化

数据的构建:

数据向量化的意义在于它实现了一种可计算的表示方式来表达非结构化数据的语义信息。将非结构化数据映射到固定维度的向量空间中,使得机器可以“理解”这些数据的内在关联,并进行运算。例如,在向量空间中,语义相关的词语对应的向量之间距离较近,不相关词语距离较远。

数据向量化的详细过程请前往“代码实现”部分

实施步骤:

1.环境搭建

首先要安装Miniconda或Anaconda(点击跳转至官网),随后在Anaconda Powershell中依次输入并运行以下代码:

conda create --name ai_endpoint python=3.8
conda activate ai_endpoint
pip install langchain-nvidia-ai-endpoints
pip install jupyterlab
 pip install langchain_core
 pip install langchain
 pip install matplotlib
 pip install numpy
pip install faiss-cpu==1.7.2
 pip install openai
 jupyter-lab 
2.代码实现

        1.登录NVIDA NIAPI-Key,获取API-Key(不是无限次的,不要泄露给他人)

        2.部分代码截图:

                在NVAPI Key处输入你刚才获得的Key

        接下来,程序会运行这段代码,然后列出可供选择的模型名称,您可以尝试不同的模型

        列表中的部分模型:

        这里,我们选用的是phi-3-small-128k-instruct模型,接下来,我们需要初始化SLM

        

        运行完这段代码,它会对我们的问题(你是谁)做出回答

        其他相关部分:

        

成果展示:

问题与分析:

问题:在准备环境时,因为各种原因,容易导致安装失败

措施:大部分的安装失败都与网络有关,建议大家使用清华的国内镜像网站进行下载,或者挂上梯子(梯子有风险,且不够稳定)

项目评估与未来:

此机器人虽然已经可以实现基本的文字问答,但功能还不够丰富,下一步可以继续引进Agent、语音问答等功能,或为其设计更加简洁,逻辑更加清晰的UI界面,使其拥有更高的实用价值

参考资料:

SLMs之Phi-3:Phi-3的简介、安装和使用方法、案例应用之详细攻略

微软Phi-3:小型而强大的AI模型,推动物联网与移动设备进入高效时代

向量数据库与数据向量化技术综述

标签:伟达,Phi,代码,Key,RAG,训练营,install,pip,模型
From: https://blog.csdn.net/2301_76260215/article/details/141300724

相关文章

  • 代码随想录算法训练营第十五天
    力扣题部分:110.平衡二叉树题目链接:.-力扣(LeetCode)题面:        给定一个二叉树,判断它是否是平衡二叉树        平衡二叉树 是指该树所有节点的左右子树的深度相差不超过1思路(递归):还是递归三部曲(关于三部曲的具体内容和对递归看法建议可见昨......
  • 代码随想录算法训练营第十八天
    力扣题部分:530.二叉搜索树的最小绝对差题目链接:.-力扣(LeetCode)题面:给你一个二叉搜索树的根节点 root ,返回 树中任意两不同节点值之间的最小差值 。差值是一个正数,其数值等于两值之差的绝对值。思路:    写关于二叉搜索树的问题,一定要先掌握二叉搜索树......
  • 维基百科向量搜索;简单易用的GraphRAG实现;友好的人工智能助手;AI的音乐多模态
    ✨1:SemanticSearchonWikipedia维基百科向量搜索为了证明UpstashVector的可扩展性,Upstash在一个数据库中以11种语言(144m向量)索引了整个维基百科◆超过700GB的数据◆快速语义搜索◆与维基百科聊天为您提供了一款可扩展......
  • 2024 NVIDIA Summer Camp Day1:构建RAG多模态AI Agent
    下载材料和课件等课程相关资料下载链接:https://pan.baidu.com/s/15Y-gmsfeYCgKF-M3TJZVgg?pwd=fafe提取码:fafe 1.课件链接:https://pan.baidu.com/s/15JTy9CqnesXSlPiwwrUmjA?pwd=1111 提取码:1111 2.phi3量化大模型链接:https://pan.baidu.com/s/10HqxpkJmSyg-Bb......
  • 使用 Ollama 集成 GraphRag.Net:一步步教你如何实现
            在当今的技术世界,人工智能(AI)正在以惊人的速度发展。对于开发者来说,使用最新的工具和框架来提升工作效率至关重要。而在AI领域,GraphRag.Net作为一个强大的图算法框架,允许我们以高效的方式进行数据处理。同样,Ollama作为一个开源的、简单易用的AI模型部......
  • 使用RAG-Chroma和LangChain构建强大的问答系统
    标题:使用RAG-Chroma和LangChain构建强大的问答系统内容:使用RAG-Chroma和LangChain构建强大的问答系统引言在人工智能和自然语言处理领域,检索增强生成(Retrieval-AugmentedGeneration,RAG)技术正在迅速崛起。本文将介绍如何使用RAG-Chroma模板和LangChain框架构建......
  • 「代码随想录算法训练营」第四十天 | 动态规划 part13
    647.回文子串题目链接:https://leetcode.cn/problems/palindromic-substrings/文章讲解:https://programmercarl.com/0647.回文子串.html题目难度:中等视频讲解:https://www.bilibili.com/video/BV17G4y1y7z9/题目状态:看题解思路一:动态规划使用一个二维动规数组dp[i][j]来保......
  • 代码随想录算法训练营day09|151.翻转字符串里的单词,卡码网:55.右旋转字符串,28.实现 str
    151.翻转字符串里的单词题目链接:https://leetcode.cn/problems/reverse-words-in-a-string/description/暴力removeExtraSpaces:voidremoveExtraSpaces(string&s){for(inti=s.size()-1;i>0;i--){if(s[i]==''&&s[i]=......
  • 在亚马逊云科技上部署开源大模型并利用RAG和LangChain开发生成式AI应用
    项目简介:小李哥将继续每天介绍一个基于亚马逊云科技AWS云计算平台的全球前沿AI技术解决方案,帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWSAI最佳实践,并应用到自己的日常工作里。本次介绍的是如何在亚马逊云科技上利用SageMaker机器学习服务部署开源大模型,使用La......
  • 常见DDoS攻击之Fraggle Attack
    一、什么是FraggleAttackFraggle攻击是一种基于UDP协议的网络攻击手段,它通过发送大量伪造的UDP数据包到目标服务器,导致服务器无法正常处理合法用户的请求,实现拒绝服务(DoS)攻击的目的。这种攻击最早由美国安全研究人员发现,其主要特点包括伪造源IP地址、使用随机端口号,并利用TCP......