安装docker与docker-compose

安装ollama与anythingllm

docker-compose.yml

version: "3"

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    volumes:
      - .ollama:/root/.ollama
    ports:
      - 11434:11434

  anythingllm:
    image: mintplexlabs/anythingllm
    container_name: anythingllm
    ports:
      - 3001:3001

运行docker-compose up -d启动两个容器

下载与运行大模型

进入ollama容器内
docker exec -it ollama /bin/bash

下载并运行大模型（以下二选一即可）
ollama run llamafamily/llama3-chinese-8b-instruct

llama3 8B中文微调模型(https://github.com/LlamaFamily/Llama-Chinese)

ollama run qwen

通义千问

待fun命令执行完成后，即可在命令行进行问答测试

AnythingLLM配置

打开http://localhost:3001进入AnythingLLM页面，参考下图进行配置

• 模型服务商: ollama
• Ollama Base URL: http://ollama:11434
• Chat Model Selection: 选择前面安装的llama3或者qwen模型
• Token context window: 默认的4096
  
  后续操作按照提示一直下一步

知识库上传

进入Chat界面之后，可以配置不同的工作区（可以设置不同工作区使用不同的大模型）；
工作区设置中可以上传本地的知识库文件，上传之后的问答可以引用知识库中的内容