首页 > 其他分享 >如何在云服务器上配置ollama、部署llama3.2大语言模型

如何在云服务器上配置ollama、部署llama3.2大语言模型

时间:2024-11-10 17:18:24浏览次数:7  
标签:VNC root llama3.2 send tk 服务器 ollama

本项目是在NVIDIA GeForce RTX 4090云服务器的Ubuntu22.04系统上运行系统环境为:Python 3.12、Pytorch 2.4.0、CUDA 12.1、cuDNN 8、NVCC通过VNC远程连接到服务器,服务器的租赁是在矩池云官网上。

一、服务器租赁

登录到矩池云官网

选择亚太一区,选择RTX 4090服务器,点击租用,等待启动实例

这里我们选择亚太一区是因为,亚太一区可以直接连接到外网,不受下载速度的限制,在后面下载ollama和其他模型时可以达到几百兆每秒的速度,非常快

选择Pytorch2.4.0,Ubuntu22.04环境,开启VNC

二、使用VNC远程连接服务器

下载RealVNC Viewer,并打开,VNC下载链接

选择VNC后,可以看到VNC链接和密码,点击复制链接

将复制的VNC链接粘贴到如下的位置,按下回车键

此时会弹出一个窗口,点击continue

将刚才矩池云界面的密码复制到下面的密码输入框中,点击ok

接下来会弹出一个界面,如果弹出了,就说明已经成功连接到服务器了

标签:VNC,root,llama3.2,send,tk,服务器,ollama
From: https://blog.csdn.net/m0_74038509/article/details/143663130

相关文章

  • 腾讯云云服务器数据迁移实战方案
    前言我在三年前购买的腾讯云服务器今年过期咯,今年的腾讯云双十一活动也是给力优惠攻略极速观看:刻不容缓腾讯云双十一活动羊毛攻略!!!-腾讯云开发者社区-腾讯云极速通道购买:腾讯云11.11上云拼团Go经过上面的攻略我购买了一个2h4g和4h8g的云服务器,我将Mysql、Redis......
  • Windows 10 配置为 NTP 时间服务器的操作步骤及解析
    之前有过将Windows10配置为NTP时间服务器的经历,但是没有做文字记录。这次又需要做一样的配置,对网上的资料和配置细节不太确定,所以设置完后写了本篇记录。操作步骤设置服务器类型为NTP;修改注册表键值HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Pa......
  • Windows和Ubuntu系统如何远程连接Linux服务器
    前言因为很多实验都要在工作站上面运行,为了避免拿着装着数据的硬盘在自己电脑和工作站之间来回跑,我简单总结一下在windows和Ubuntu系统下远程访问Linux服务器的过程吧,也方便大家参考。Windows连接Ubuntu服务器准备工作xshell软件下载地址:链接:http://pan.baidu.com/s/1......
  • 如何在 Debian 8 上设置 OpenVPN 服务器
    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。简介OpenVPN是一个开源的VPN应用程序,可以让您在公共互联网上安全地创建和加入私人网络。简而言之,这允许最终用户隐藏连接并更安全地浏览不受信任的网络。有了这个前提,......
  • 服务器意外断电导致无法重启数据恢复
    一、初步诊断与评估检查电源系统:确认服务器电源和断路器是否正常工作,检查电源线是否松动或损坏。如果有备份电源(如UPS),检查其是否也受到影响。评估硬件状态:在尝试重启之前,检查服务器的其他硬件组件(如主板、内存、硬盘等)是否有明显的物理损坏或异常。查看报错信息:如果服务器在......
  • 2024 年 10 个最佳 Linux 服务器发行版
    对于系统管理员和网络工程师来说,选择正确的Linux发行版尤为关键,因为它直接影响到服务器的性能、维护成本及长期使用的稳定性。虽然Linux系统有上百种发行版,但不同的发行版在功能、社区支持、企业级支持等方面有所不同。因此,了解并选择一个适合自己需求的Linux发行版显......
  • vue通过ollama接口调用开源模型
    先展示下最终效果: 第一步:先安装ollama,并配置对应的开源大模型。安装步骤可以查看上一篇博客:ollama搭建本地ai大模型并应用调用 第二步:需要注意两个配置,页面才可以调用1)OLLAMA_HOST="0.0.0.0:11434"2)若应用部署服务器后想调用,需要配置:OLLAMA_ORIGINS=* 第三步:js流式调......
  • (Lin的实施运维笔记06)解决Tomcat服务器在控制台窗口中的乱码问题
    产生乱码的根本原因就是编码和解码不一致,比较常见的编码格式有Unicode、ASCll码、GBK、UTF-8等,Tomcat控制台的乱码问题只需要把日志配置文件中的UTF-8格式改成GBK格式就行解决方法:1、找到Tomcat的安装目录下conf文件夹2、打开conf文件夹中的logging.properties文件,并搜索找......
  • 服务器虚拟化:现代IT基础设施的基石
    服务器虚拟化:现代IT基础设施的基石服务器虚拟化是一种通过将物理服务器资源分割为多个逻辑资源(即虚拟服务器)的技术,每个虚拟服务器都能独立运行应用程序和操作系统。这种技术极大地提升了资源利用率、灵活性和经济效益,成为现代IT基础设施的重要组成部分。技术原理与架构服......
  • 第一章:实现基础 HTTP 服务器-MiniTomcat系列
    上一章内容MiniTomcat项目大纲第一章:实现基础HTTP服务器-MiniTomcat系列在这一章中,我们将从零开始编写一个简单的HTTP服务器。这个服务器的基本功能是监听一个端口,接收来自客户端的HTTP请求,并返回一个HTTP响应。我们将使用Java的ServerSocket类来实现网络监......