首页 > 其他分享 >dify的docker服务请求内网服务器遇到的问题

dify的docker服务请求内网服务器遇到的问题

时间:2024-10-24 17:43:25浏览次数:1  
标签:10 dify 0.0 服务器 docker ollama

接上一篇文章: https://www.cnblogs.com/neozheng/p/18400589

 

我有一台 10.xxx.20.162 的内网服务器运行着 dify 的 docker compose 服务,又起了一台 10.xxx.41.11 的内网服务器用来运行 ollama 大模型。

我是通过 手动的方式安装的 ollama,在运行ollama的时候遇到一个问题: ollama 只监听了 `127.0.0.1` 的地址。经过查询得知,要想把监听地址改成 `0.0.0.0`,需要新建ollama的配置文件并通过 `systemctl` 的方式启动。但我的服务器用 systemctl 启动 ollama 又一直失败,所以只能用 `ollama serve` 的方式启动,这种方式启动的话,可以先在环境变量中配置好ollama的监听地址,如下:

export OLLAMA_HOST=0.0.0.0:11434

通过这种方式就能在 10.xxx.20.162 的内网服务器 成功访问 10.xxx.41.11 的ollama服务了,如下:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

但在公司电脑的浏览器上访问10.xxx.20.162 上的dify服务时, ollama 的模型在dify中一直添加失败。 最后意识到应该是 代理的问题,就对 docker-compose.yaml做了如下修改:

...
services:
  # API service
  api:
    image: langgenius/dify-api:0.7.1
    restart: always
    environment:
      # Use the shared environment variables.
      <<: *shared-api-worker-env
      # Startup mode, 'api' starts the API server.
      MODE: api
      # 设置代理
      HTTP_PROXY: http://my-proxy.com:3128
      HTTPS_PROXY: http://my-proxy.com:3128
      # 不走代理的情况: 把 weaviate 服务添加到里面
      NO_PROXY: localhost,127.0.0.1,weaviate,10.xxx.41.11
    depends_on:
      - db
      - redis
    volumes:
      # Mount the storage directory to the container, for storing user files.
      - ./volumes/app/storage:/app/api/storage
    networks:
      - ssrf_proxy_network
      - default

  # worker service
  # The Celery worker for processing the queue.
  worker:
    image: langgenius/dify-api:0.7.1
    restart: always
    environment:
      # Use the shared environment variables.
      <<: *shared-api-worker-env
      # Startup mode, 'worker' starts the Celery worker for processing the queue.
      MODE: worker
      # 设置代理
      HTTP_PROXY: http://my-proxy.com:3128
      HTTPS_PROXY: http://my-proxy.com:3128
      # 不走代理的情况: 把 weaviate 服务添加到里面
      NO_PROXY: localhost,127.0.0.1,weaviate,10.xxx.41.11
    depends_on:
      - db
      - redis
    volumes:
      # Mount the storage directory to the container, for storing user files.
      - ./volumes/app/storage:/app/api/storage
    networks:
      - ssrf_proxy_network
      - default

# dify 的其他服务就不需要配置代理的设置了
...

通过在 NO_PROXY 中添加 10.xxx.41.11,就表示访问它的时候不要走代理。 这样子,在dify页面上添加 ollama模型失败的问题就解决了

 

标签:10,dify,0.0,服务器,docker,ollama
From: https://www.cnblogs.com/neozheng/p/18499968

相关文章

  • 过路车辆识别视频分析服务器智慧园区/智慧城市算法简介及应用
    视频分析服务器是一款集成了软硬件的一体化解决方案,它适用于城市管理部门、环境卫生、教育领域、水利工程、工业园区以及住宅小区等多个行业和场景。这款智能化的一体机设备为用户提供了高清视频监控的接入能力、智能视频分析、告警功能以及数据资源的共享服务。一、概要1、功能......
  • 构建公司Samba文件服务器(CentOS 7)
    构建公司Samba文件服务器(CentOS7)本文将详细介绍如何在CentOS7上构建一个Samba文件服务器,使您能够轻松地在网络中共享文件和打印机资源。准备工作确保您的CentOS7系统已经安装,并且能够访问互联网。您还需要以root用户或具有sudo权限的用户登录。更新系统在开始之前,确保......
  • 非煤矿山算法视频分析服务器皮带运行状态识别视频智能AI分析系统建设方案设计
    一、建设背景近年来,我国在非煤矿山的安全生产方面虽然取得了一定的进展,但整体安全基础仍然不牢固,事故数量依然较多,并且尚未从根本上控制住重大事故的发生,整体安全生产的形势依旧严峻且充满复杂性。根据国家矿山安全监察局发布的《关于煤矿及关键非煤矿山重大灾害风险防控体系建......
  • docker 迁移
    缘由:home目录爆了查找原因是docker占用太多了,但是清了,以后肯定也会涨回来,找IT扩容只能扩/data,那就迁移docker到扩容下面把步骤1停止docker服务。systemctlstopdocker2创建新的docker目录,执行命令df-h,找一个大的磁盘。我在/home目录下面建了/home/docker......
  • docker 容器部署与私有镜像库
    一、 Docker服务安装与启动1.1 docker下载安装docker一般部署在Linux操作系统的服务器上进行使用,安装可使用如下操作行进行安装:1).centos/redhat环境#更换国内阿里的源curl-o/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repoyummak......
  • Docker常用命令记录(随时更新)
    Docker常用命令镜像操作保存镜像为tar包dockersave-o<文件名>.tar<镜像名>:<版本号>例如:dockersave-omyimage.tarmyimage:latest从tar包加载镜像dockerload-i<文件名>.tar例如:dockerload-imyimage.tar查看本地所有镜像dockerimages可以加......
  • Opensearch集群部署【docker、服务器、Helm多种部署方式】
    操作系统兼容性我们建议在RedHatEnterpriseLinux(RHEL)或使用systemd的基于Debian的Linux发行版上安装OpenSearch,例如CentOS、AmazonLinux2和UbuntuLong-TermSupport(LTS)。OpenSearch应该适用于大多数Linux发行版,但我们只测试了少数几个。对于任何......
  • 目前国内可用Docker镜像源汇总(截止到20241010)
    国内经常使用Docker的朋友,可能都会涉及到配置镜像源的操作,来加速自己的镜像拉取。然而这段时间陆续发现曾经常用的国内镜像站(各种云商和高校镜像站)现在已经不能用了,搜索互联网可用镜像站或者镜像加速地址,并测试后汇总如下,使用前请自行斟酌。Docker镜像加速列表(截止到20241010)注......
  • 使用跳板机在 PyCharm 中配置远程服务器的 Python 环境
    使用跳板机在PyCharm中配置远程服务器的Python环境在需要通过跳板机连接到远程服务器时,PyCharm提供了一些内置的方式,可以让你通过中间服务器访问远程机器上的Python解释器。本指南将介绍如何使用PyCharm通过跳板机连接,并在远程服务器上运行Python。前提条件PyCharm......
  • GPU 服务器厂家指南:如何选到理想之选?
    嘿,各位科技爱好者们!在如今这个科技浪潮汹涌的时代,GPU服务器的重要性那可真是不言而喻。无论是在前沿的人工智能领域进行深度学习与推理,还是在复杂的科学计算以及专业的图形渲染任务中,一台出色的GPU服务器就是打开高效运算之门的关键钥匙。作为评测达人,今天就来和大家聊聊如......