首页 > 系统相关 >windows本地部署AI实现无限对话

windows本地部署AI实现无限对话

时间:2023-08-29 18:34:16浏览次数:42  
标签:显存 windows 模型 配置 AI 对话 软件 -- 下载

前言:

  最低显卡配置2G

本都部署步骤:

  一、安装服务模型

  1、下载地址

github地址:https://github.com/josStorer/RWKV-Runner
视频教程:https://www.bilibili.com/video/BV1hM4y1v76R/?vd_source=2d24c0d12aefeea933bdc676f039cab6

  

  2、选择下载版本

   3、选择合适电脑的版本(我选择的window版本1.4.5)

   4、选择一个较大的电脑盘符,并创建一个目录,用来存放下载好的软件  

 window系统会出现安全保护问题:

 点击扔要运行,出现如下界面,此时软件会自动创建好相应的目录

点击运行,出现这个软件需要的各种依赖,在提示中无脑点击安装即可,这个步骤需要重复操作(这个过程需网络,下载时间有点长)

   下载流程:下载Python、下载Python依赖、下载模型

   再次点击运行,出现如下界面

   5、选择聊天选项,开始聊天吧!

  6、其他说明

6.1、底部的预设配置规则:

本工具内置了一系列预设配置,以降低使用难度,每个配置名的规则,

依次代表着:设备--所需显存/内存--模型规模--模型语言。

例如,GPU-8G-3B-CN,表示该配置用于显卡,需要8G显存,模型规模为30亿参数,使用的是中文模型。

模型规模越大,性能要求越高,显存要求也越高,而同样模型规模的配置中,显存占用越高的,运行速度越快。

例如当你有12G显存,但运行GPU-12G-7B-CN配置速度比较慢,可降级成GPU-8G-3B-CN,将会大幅提速。

 

6.2、文件目录:

models:存放模型的目录

 

 

 

 

  二、安装聊天框软件(选装---这里不推荐)

  1、下载地址(这里版本0.6.8)

https://github.com/Bin-Huang/chatbox

  2、安装软件,界面如下

   3、配置服务模型

  3.1、在RWKV中开启下面的操作:设置--允许外部访问API

   3.2、在ChatBox中配置本地模型

步骤如下:

 

 

 

 

                                           

标签:显存,windows,模型,配置,AI,对话,软件,--,下载
From: https://www.cnblogs.com/Life-QX/p/17663749.html

相关文章

  • 搭建JMeter 5.0 + InfluxDB + Grafana 性能测试监控平台(Windows平台)
    前言JMeter往往需要执行完之后拼凑完测试报告,才能看到结果。命令行里的内容也不够详细。那么如何在执行过程中实时监控执行效果呢?使用InfluxDB+Grafana 这个组合可以解决我们的痛点,那就是性能测试过程中的不透明。InfluxDB和Grafana是什么InfluxDB是一种时序数据库,用来存放......
  • 基于AI智能分析网关的SkeyeVSS视频融合平台在海洋领域中的应用价值
    基于AI智能分析网关的SkeyeVSS视频融合平台在海洋领域中的应用价值海洋是人类的生命摇篮,是人类的生存粮仓。海洋对我们来说既是未知的,也是藏着极大的探索价值。近年来,我国一直致力于海洋事业发展以及海洋环境的保护。然而,随着核污水排放入海的影响,海洋环境管理、海洋资源安全等任务......
  • 使用samba创建共享文件夹(Linux - Windows)
    1.安装samba有些Linux已经自带了samba$sudoaptinstallsamba-y2.配置防火墙详情请参考https://zhuanlan.zhihu.com/p/508580900,因本人使用的是MX23,不是很会设置,且无其它安全需求,故直接关闭防火墙3.配置samba$sudovim/etc/samba/smb.conf#按个人需要可以备份......
  • Windows环境 python手动安装三方库详解
    当运行pip安装三方库时,无法正常安装,可以自己手动安装一下详解:1、首先找到需要下载的三方库的安装包---三方库下载地址:https://pypi.org/project  打开网址搜索需要下载的三方库的安装包,我是以“locust”为例找到需要下载的三方库,点击进去找到对应的版本下载对应的****......
  • 如何利用 Agent 构建AI服务
    近年来,人工智能(AI)技术的飞速发展引起了广泛的关注和讨论。而如今,我们正站在一个全新的时代门槛前,面对着AIAgent带来的的崭新未来。以LLM(大型语言模型)作为其核心控制器构建代理是一个很酷的概念。它模拟人类的工作流程,能够自主进行信息搜索、分析、利用,以完成目标。OpenAI联合创始......
  • TerrainProviderEdit
    import{  Request,  TerrainData,  Rectangle}from'cesium';import*asturffrom'@turf/turf';import{  Feature,  Polygon}from'@turf/turf';constMAX_SHORT=32767;interfaceModelEdit{  polygon:Feat......
  • 智慧园区方案:AI与视频融合技术如何助力园区监管智能化升级?
    一、行业背景随着科技的不断发展,人工智能(AI)技术正在各个领域迅速应用和推广。其中,智慧园区是一个重要的应用场景,它通过AI技术的支持,实现了园区的智能化管理和高效运营。1、园区管理智慧化升级需求1)通过AI技术的加载实现园区安全管理、便捷通行、安消一体等业务的智慧化升级,实现园区......
  • 一文详解:人工智能AI技术在智慧矿山安全监管平台建设中的应用及意义
    智慧矿山是这几年的热点话题,伴随着国家对矿业行业的不断重视和扶持,推动矿山智慧化升级改造、保障安全生产也成为当前的重要任务。“智慧矿山”的建设,需要集成应用各类传感感知、信息通讯、自动控制、智能决策等先进信息化技术,能够显著提升矿山生产效率与安全水平,通过先进装备和信......
  • 零代码,使用 Dify 和 Laf 两分钟接入企业微信 AI 机器人
    Dify允许创建AI应用,并提供二次开发的能力。这里我将演示创建一个法律问答助手的AI应用,称作“知法”。在本篇教程中,我将指导你为“知法”接入企业微信。前置准备企业微信的管理员权限一个Dify的帐号一个Laf云的帐号(可选)一个OpenAI的APIKey。如果没有,可以使用Di......
  • langchain中的LLM模型使用介绍
    简介构建在大语言模型基础上的应用通常有两种,第一种叫做textcompletion,也就是一问一答的模式,输入是text,输出也是text。这种模型下应用并不会记忆之前的问题内容,每一个问题都是最新的。通常用来做知识库。还有一种是类似聊天机器人这种会话模式,也叫Chatmodels。这种模式下输入......