首页 > 其他分享 >ollama

ollama

时间:2024-05-01 11:11:48浏览次数:18  
标签:run 7B models HuggingFace GB ollama

ollama

https://ollama.com/

llama是meta发布的大语言模型, 自然意义是美洲鸵

这个平台软件 以 o 开头,类似召唤 美洲鸵的意思。

对应大语言模型,就是提供运行大模型的支撑。

 

Get up and running with large language models.

Run Llama 3, Phi 3, Mistral, Gemma, and other models. Customize and create your own.

https://github.com/ollama/ollama

Ollama supports a list of models available on ollama.com/library

Here are some example models that can be downloaded:

ModelParametersSizeDownload
Llama 3 8B 4.7GB ollama run llama3
Llama 3 70B 40GB ollama run llama3:70b
Phi-3 3.8B 2.3GB ollama run phi3
Mistral 7B 4.1GB ollama run mistral
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Gemma 2B 1.4GB ollama run gemma:2b
Gemma 7B 4.8GB ollama run gemma:7b
Solar 10.7B 6.1GB ollama run solar

 

huggingface vs ollama

https://blog.csdn.net/surfirst/article/details/136264817

HuggingFace(拥抱脸)和Ollama都与**大型语言模型(LLMs)**有关,但它们的用途不同:

    HuggingFace:
        HuggingFace 是一个知名的平台,提供各种预训练的LLMs,包括流行的模型如GPT-3、BERT和RoBERTa。
        它提供了丰富的生态系统,用于处理LLMs,包括微调、模型评估和部署工具。
        开发人员和研究人员使用HuggingFace来访问预训练模型,进行实验,并将其集成到应用程序中。
        如果您想探索开放的LLMs,**HuggingFace的“Open LLM Leaderboard”**是一个很好的起点²。

    Ollama:
        Ollama专注于在本地运行LLMs,允许用户直接在自己的计算机上实验模型。
        Ollama使您可以在本地下载和运行HuggingFace语言模型,格式为GGUF。
        对于那些想要在不依赖外部服务或API的情况下探索LLMs的人来说,这非常有用。

总之,HuggingFace提供了更广泛的LLM平台,而Ollama则为在本地运行LLMs提供了更本地化和实践性的体验!

标签:run,7B,models,HuggingFace,GB,ollama
From: https://www.cnblogs.com/lightsong/p/18169101

相关文章

  • Ollama开发指南
    前奏:Ollama是什么,为什么这么好用 安装必备工具确保已安装以下软件的正确版本:CMake3.24或更高版本Go1.22或更高版本GCC11.4.0或更高版本 使用Homebrew安装这些工具(适用于macOS和Linux):brewinstallgocmakegcc 可选:启用调试与详细日志......
  • ollama——快速上手Llama3部署使用
    ollama——快速上手Llama31.ollama安装#Linuxcurl-fsSLhttps://ollama.com/install.sh|sh#vi/etc/systemd/system/ollama.service[Unit]Description=OllamaServiceAfter=network-online.target[Service]ExecStart=/usr/local/bin/ollamaserveUser=ollamaGrou......
  • 使用open webui+ollama部署本地大模型
    使用openwebui+ollama部署本地大模型上次使用了angthingllm+ollama部署了本地大模型,详情见:https://www.cnblogs.com/jokingremarks/p/18151827但是还是觉得可以用兼容性更好的openwebui1.安装docker比较懒,所以还是在Windows系统上安装dockerdocker官网链接:https://www.d......
  • Ollama是什么,为什么这么好用
     Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。以下是其主要特点和功能概述:1.简化部署:Ollama目标在于简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。2.轻量级与可扩展:作为轻量级框架,Olla......
  • 解决安装 ollama 在 wsl2 中报 WARNING: No NVIDIA/AMD GPU detected. Ollama will ru
    首先要确保wsl2版的cuda环境已经安装[非必须]如果已安装了环境但是nvidia-smi找不到,可能是未加入环境变量,请将它的路径/usr/lib/wsl/lib加入PATHollama在/usr/bin/找不到nvidia-smi位置,所以会有如上警告,所以需要创个链接指向:方法一:sudoln-s$(whichnvid......
  • Ollama实现开源大模型本地化安装部署
     这里有一篇介绍还不错的知乎文章,可以去看下。https://zhuanlan.zhihu.com/p/6923439351、windows安装ollama(https://ollama.com/download)2、选择下载安装大模型3、open-webui:是一个开源的Web界面,用于同各种大语言模型进行交互,并可以同ollama所管理的大语言模型进行快速集成......
  • 使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b
    1、ollama到底是个什么玩意一句话来说,Ollama是一个基于Go语言开发的简单易用的本地大模型运行框架。可以将其类比为docker(有类似docker中的一些常规命令list,pull,push,run等等),事实上确实也制定了类似docker的一种模型应用标准,在后边的内容中,你能更加真切体会到这一点。......
  • langchain + ollama 实现本地文档搜索
    fromlangchain.document_loadersimportOnlinePDFLoaderfromlangchain.vectorstoresimportChromafromlangchain.embeddingsimportGPT4AllEmbeddingsfromlangchainimportPromptTemplatefromlangchain.llmsimportOllamafromlangchain.callbacks.managerimp......
  • Ollama
    Ollama简介一个简明易用的本地大模型运行框架,Ollama官网:https://ollama.com/ollama命令ollama有类似docker的命令。下面是一些模型(largelanguagemodels)的操作命令:ollamalist:显示模型列表ollamashow:显示模型的信息ollamapull:拉取模型ollamapush:推送模型ollama......
  • 使用ollama + AnythingLLM快速且简单的在本地部署llm3
    使用ollama+AnythingLLM快速且简单的在本地部署llm3不多说,直接开始一、安装ollamaollama官网:https://ollama.com/下载地址:https://ollama.com/download打开以后注册并下载即可安装没有什么好说的,找到自己的系统安装即可,因为我的电脑没有搞虚拟机,所以就直接安装Windows的......