Dify 是 苏州语灵人工智能科技公司的一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排,并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间,使其可以专注在创新和业务需求上。
1. 下载dify项目到本地
git clone https://github.com/langgenius/dify.git
docker-compose.yaml所在目录
2. 修改env
cp .env.example .env
2.1. 修改向量存储类型为milvus
端口要和milvus的docker-compose设置的端口一致
2.2. etcd和minio使用本地部署(可选择)
milvus一键部署跳过这步
3. 启动服务
docker-compose up -d
docker-compose ps
http://ip/signin 邮箱登录
4. 设置模型
右上角设置
4.1. ollama的LLM模型
模型名称使用ollama list获取
4.2. Xinference的向量模型
模型名称和id在Xinference页面获取
4.3. Xinference的倒排索引模型
模型名称和id在Xinference页面获取
5. 知识库使用
5.1. 上传本地文件
右上角出现这个报错表示当前使用的默认模型,实际不存在
5.2. 可先选择经济方式,后续修改
5.3. 设置知识库使用模型
如果使用倒排索引也可以选择Rerank模型 、
5.4. 保存等待索引状态
如果页面出现报错也可查看dify_worker_1的日志
docker ps -a | grep dify
6. 应用使用
6.1. 创建应用
6.2. 修改模型
6.3. 引用知识库
6.4. 调试
如果你觉得文章还不错,请大家 点赞、分享、留言下!我还为大家准备了学习资料,感兴趣的小伙伴快来找我领取一起交流学习哦!