Prompt Playground: 一个简易的提示词调试工具
将LLM引入到日常的开发工作中后,会面临大量的提示词调试的工作,由于LLM不确定性,这个工作会变得非常的繁琐,需要不断的调整,甚至需要大量的重试来确保输出结果的稳定性,以确保提示词的有效性。
通常情况下可能会使用OpenAI(Azure OpenAI) 提供的Playground 或者其他的一些工具例如 Semantic Kernel Tool进行调试。
但是不免还是会有一些不便,例如无法批量调用,无法快速的对比输出结果的差异等等。
于是我就写了一个小工具,方便进行提示词的调试工作,这就是 Prompt Playground.
功能介绍
目前Prompt Playground 处于早期开发阶段,已经支持了以下功能:
- 多模型支持: Azure Chat Completions(gpt-35,gpt-4)、 Baidu ERNIE Bot Turbo
- 批量结果生成: 可以一次性生成多个模型的结果,方便对比
- Semantic Kernel 提示词导入和保存: 支持skprompt.txt 格式的提示词文件导入和导出,方便进行提示词的调试和保存
- Semantic Kernel 提示词配置文件修改: 支持 skprompt.txt 对应 config.json 文件的加载和修改
- Semantic Kernel 提示词参数填充
界面介绍
界面相对简洁直观,主要分为三个部分:
菜单栏: 提供了一些基本的功能,例如模型接口的配置,skprompt.txt 文件导入
功能区: 包含提示词和config.json 文件的编辑区域,以及一些基本的操作按钮
结果区: 用于展示模型的输出结果和一些状态信息
使用方法
首次使用的时候需要先点击菜单栏的配置按钮,进行模型接口的配置,配置完成后,关闭即可。
Max Generate Results 指最大生成结果数量,默认为3。
完成配置之后,就可以在主界面直接输入提示词,点击生成(Ctrl + G)按钮,即可生成结果。
如果有使用 Semantic Kernel的项目,可以点击打开(Ctrl + O)菜单,打开skprompt.txt 文件,文件内容会自动填充到编辑框中.
此时也可以看到多了一个config.json的Tab,点击编辑框右侧的Tab即可切换到 config.json 的编辑界面,可以对config.json 进行修改。
修改完成之后,点击保存(Ctrl + S)按钮,即可保存修改后的skprompt.txt 和 config.json 文件。
构建与贡献
该项目目前在Github上开源,使用.NET 7 + AvaloniaUI 进行开发,支持跨平台,目前提供了 Windows 的构建版本。
有兴趣的同学或者有跨平台需要的同学可以自行构建。
如果有任何问题或者建议,也欢迎提issue或者PR。
本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可。
标签:Prompt,提示,skprompt,json,Playground,config,调试 From: https://www.cnblogs.com/xbotter/p/prompt_playground.html