首页 > 其他分享 >使用ollama本地部署qwen2并api调用

使用ollama本地部署qwen2并api调用

时间:2024-10-22 13:21:15浏览次数:3  
标签:安装 调用 qwen2 ollama 模型 api Ollama 下载

目录

一、下载ollama

二、安装qwen大模型 

三、Api调用

四、尝试apifox调用

一、下载ollama

Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。

首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS

windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:

 

然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功 

二、安装qwen大模型 

ollama pull qwen2.5:7b-instruct

等待模型下载,下载的模型速度取决您的网络速度。

 

使用
使用ollama 命令行窗口推理
    启动模型

ollama run qwen2.5:7b-instruct

 模型启动完成,这样我们就可以实现模型推理了 

三、Api调用

通过查阅资料,ollama会在本地的11434端口自动开启服务

查阅官方的api参考文档,得到使用说明。

API 参考 - Ollama中文网

可以查看ollama的官网来查看相关的环境配置以及接口文档

四、尝试apifox调用

标签:安装,调用,qwen2,ollama,模型,api,Ollama,下载
From: https://blog.csdn.net/m0_62458145/article/details/143152687

相关文章

  • 闲鱼API接口有哪些常用的API呢?
    闲鱼作为阿里巴巴旗下的二手交易平台,为开发者提供了丰富的API接口。这些接口促进了第三方开发者与闲鱼平台之间的数据交互,实现了功能的扩展与优化,为二手交易领域带来了更多的可能性。以下是闲鱼API接口中常用的几种类型:1.商品发布接口功能:用于在闲鱼平台上发布商品,包括商品......
  • C++文字识别接口介绍-翔云-通用文字识别API接口
    文字识别接口是一种提供给开发者使用的API服务,主要功能是通过光学字符识别(OCR,OpticalCharacterRecognition)技术将图片中的文字转换为可编辑的文本。这种技术广泛应用于各种场景,比如证件识别、票据识别、书籍扫描等。使用第三方平台如翔云文字识别接口通常需要以下几......
  • PHP发票验真 API-发票真伪查验、验证接口示例
    发票验真API是一种在线服务,它允许用户或企业通过编程接口(API)验证发票的真实性。这种服务通常由政府机构或者授权的第三方(如翔云、百度)提供,旨在打击伪造发票的行为,保护消费者的合法权益,同时也有助于税务机关加强税收管理。企业和个人可以通过发票查验API接口来验证增值税......
  • 手机在网状态查询接口-在线手机在网状态查询-手机在网状态查询API
    接口简介:查询手机号在网状态,返回正常使用、停机、未启用/在网但不可用、不在网(销号/未启用/异常)、预销户等多种状态直连三大运营商,实时更新,可查询实时在网状态高准确率-实时更新,准确率99.99%接口地址:https://www.wapi.cn/api_detail/120/263.html在线核验:https://www.wa......
  • 西电OS实验一:内核 API
    实验题目实验目的通过本实验的学习,掌握信创操作系统内核定制中所常用的内核数据结构和函数,具体包括:i.内核链表;ii.内核内存的分配释放;iii.内核线程;iv.内核锁;实验内容设计一个内核模块,并在此内核模块中创建一个内核链表以及两个内核线程。•线程1需要遍历进程链表......
  • 分享一个大模型在请求api接口上的巧用
    前言自从Chatgpt横空出世以来,各种智能工具层出不穷,聊天、绘画、视频等各种工具帮助很多人高效的工作。作为一个开发者,目前常用应用包括代码自动填充,聊天助手等。这些是工具层面的使用,有没有将大模型和日常编码的前后端流程相结合使用的切入点呢?今天分享一个使用大模型自动调用a......
  • API自动化测试平台:企业API管理的得力助手
    随着微服务架构和分布式系统的广泛应用,软件系统的复杂性不断增加,传统的手动测试方法已经无法满足快速迭代和高质量交付的需求。API作为系统间通信的核心,其稳定性和可靠性对于整个软件系统至关重要。因此,API自动化测试平台应运而生,它们提供了一种高效、可重复且可靠的测试手段,能够......
  • 【OpenAI】第一节(OpenAI API)获取OpenAI API KEY的两种方式,开发者必看全方面教程!
    在当今人工智能迅猛发展的时代,OpenAI的大模型为开发者提供了强大的文本生成能力。无论你是想创建聊天机器人、内容生成工具,还是其他创新应用,掌握如何获取和使用OpenAIAPIKey是你迈向成功的第一步!本文将详细介绍获取APIKey的步骤、充值方法以及如何在项目中调用API......
  • 活体检测API对接php语言方式-人脸静态/动态活体检测免费
    活体检测API是一种用于判断用户是否为真实存在且活跃的技术接口,翔云活体检测分为静默活体与动态视频活体,广泛应用于金融、身份验证、安防等领域。它通过分析用户提供的图像、视频、或者特定动作,确保所提供的生物信息(如面部或指纹)来自于活体,而非静态照片、视频录播或模型。该技......
  • 翔云 OCR:强大的文字识别工具,车牌识别 API 更是亮点
    在当今数字化的时代,高效准确地识别文字变得越来越重要。翔云OCR就是一款能够满足各种文字识别需求的强大工具,而其中的车牌识别API更是其突出的亮点之一。一、翔云OCR简介翔云OCR提供了一系列的文字识别服务,包括但不限于文档识别、票据识别、银行卡识别等。它利用......