• 2024-09-14litellm proxy ui 的处理
    litellmproxyui关于static的处理是基于了fastapi的StaticFiles,使用了绝对路径配置的,以下是一个简单说明参考代码litellm/proxy/proxy_server.pycurrent_dir=os.path.dirname(os.path.abspath(__file__))ui_path=os.path.join(current_dir,"_experimental","out")app.m
  • 2024-09-03揭秘 LiteLLM:轻松驾驭百余种语言模型 API,开发者的致胜法宝
    目录引言一、LiteLLM简介二、主要特点1.统一的调用接口2.输入输出标准化3.重试与回退逻辑4.预算和速率限制5.异步支持6.流式传输7.日志与可观测性三、使用方法1.安装2.设置环境变量3.调用模型4.异步调用5.流式传输四、相关项目资料地址结语引言在当
  • 2024-08-24litellm 配置embedding 模型
    litellm对于embedding模型的配置实际与普通模式的配置是一样的,embedding有特定的,同时chat模型也都有embedding能力参考配置通过proxy模式model_list:-model_name:text-embedding-ada-002litellm_params:model:ollama/michaelborck/refu