vscode使用continue插件连接LM studio的模型

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

• 一、步骤
• • 1.LM studio 加载模型
  • 2.启动api服务
  • 3.修改continue配置文件
  • 4.测试
• 二、总结

一、步骤

1.LM studio 加载模型

根据需求设置系统提示词，根据设备显卡和模型大小设置上下文长度和n_gpu_layers等参数；

选择模型并加载。

Qwen2.5-Coder-7B-Instruct-Q5_K_L.gguf

2.启动api服务

① 选择api子栏目
② 和加载模型时一样，设置好系统提示词和其他参数
③ 点击 start server启动 api 服务

记录这两项内容，后面的配置文件中要用到

curl http://localhost:1234/v1/chat/completions
"model": "bartowski/Qwen2.5-Coder-7B-Instruct-GGUF"

该处使用的url网络请求的数据。

3.修改continue配置文件

在配置文件的"models" 中添加如下内容，其中 apiBase 和 model 中的参数为上一步中记录的参数，title 任意。

    {
      "apiBase": "http://localhost:1234/v1/",
      "title": "lmstudio Qwen2.5-Coder-7B-Instruct",
      "provider": "lmstudio",
      "model": "bartowski/Qwen2.5-Coder-7B-Instruct-GGUF"
    }

4.测试

如图，选择配置文件中刚刚链接到LMstudio的模型lmstudio Qwen2.5-Coder-7B-Instruct，测试结果如下图：

二、总结

本文详细介绍了如何使用VSCode的Continue插件连接LM Studio模型。主要步骤包括：在LM Studio中加载模型并设置相关参数，启动API服务，修改Continue配置文件以集成LM Studio模型，并进行测试以验证连接是否成功。通过这些步骤，用户可以将LM Studio中的预训练模型与VSCode的Continue插件无缝对接，实现高效的自然语言处理和编程辅助功能。