Evaluating Reading Comprehension Exercises Generated by LLMs: A Showcase of ChatGPT in Education Applications
https://aclanthology.org/2023.bea-1.52.pdf
https://aclanthology.org/2023.bea-1.52/
这篇论文探讨了如何利用预训练的大型语言模型（LLMs），特别是OpenAI的ChatGPT，来生成适合中国中学生的高质量、个性化的阅读理解练习。研究团队开发了一个系统，通过精心设计的提示，指导ChatGPT生成连贯且多样化的阅读材料和相应的多项选择题。以下是对论文内容的总结：
-
引言：介绍了阅读理解对英语学习者的重要性，并指出了当前教育实践中使用过时阅读材料的问题。
-
相关工作：讨论了LLMs在文本生成中的进展，以及它们在教育领域的潜在应用。
-
方法：
- 利用经过微调的GPT-2和PPLM作为基线方法生成阅读段落。
- 使用ChatGPT生成阅读练习，无需微调，通过设计输入提示直接控制输出。
-
系统设计：创建了一个图形用户界面，便于教师和学生使用，后端管理提示和API调用。
-
评估：
- 对比了人类编写的阅读段落与ChatGPT生成的段落在多个维度上的质量。
- 进行了成对比较和适宜性评估，以确定生成段落的质量和适用性。
- 评估了生成的练习题目质量，并与人类编写的题目进行了比较。
-
结论：确认了ChatGPT在生成阅读理解练习方面的潜力，尤其是在不需要领域特定微调的情况下。
-
局限性：指出系统在生成多项选择题的干扰选项方面存在不足，并提出了改进方向。
-
未来工作：提出了将开源框架应用于LLMs，并通过中学教育材料微调特定领域的模型，以提高问题生成能力。
论文强调了AI技术在教育领域的应用前景，并展示了ChatGPT作为教育工具的有效性，同时也指出了需要进一步研究和改进的地方。
标签：段落,Showcase,LLMs,练习,生成,Generated,阅读,ChatGPT From： https://blog.csdn.net/WhiffeYF/article/details/140829432