Analyzing Large language models chatbots: An experimental approach using a probability test

本文是LLM系列文章，针对《Analyzing Large language models chatbots: An experimental approach using a probability test》的翻译。

分析大型语言模型聊天机器人：使用概率测试的实验方法

• 摘要
• 1 引言
• 2 理论和相关工作
• 3 方法
• 4 结果和讨论
• 5 最后的考虑

摘要

本研究由定性实证研究组成，通过对两种不同的大型语言模型 (LLM) 聊天机器人（ChatGPT 和 Gemini）进行探索性测试来进行。方法程序涉及基于概率问题设计的提示的探索性测试。认知心理学中广泛认可的“琳达问题”被用作创建测试的基础，同时还专门为此实验开发了一个新问题“玛丽问题”。分析的对象是包含每个聊天机器人交互提供的输出的数据集。分析的目的是验证聊天机器人是否主要采用符合概率论的逻辑推理，或者它们是否更频繁地受