为了提高在线评测系统的功能性，需要选择和集成一个强大的代码纠错大模型，用于自动分析和纠正用户提交的代码中的错误。
这里的大模型我们选择使用清华大学开源的 ChatGLM-CodeGeeX2。在该模型的基础上，选用程序设计试题的专门数据，进行Fine-turning的训练（即微调）。
为了令 CodeGeeX 在程序设计练习题的代码上生成能力更强，再将其集成到在线评测系统的过程对 CodeGeeX 模型进行了微调。微调模型的目标是使得模型对于程序设计练习题有着更强的解决能力，但不应降低其原有能力。所以我们需要从各大传统程序设计的在线评测平台中获得一些数据，将这些数据用于微调训练当中去。
- CodeGeeX 所需数据
首先，我们需要知道 CodeGeeX 所需的数据的格式。数据格式可以参考 HumanEval-X。
HumanEval-X 是一个用于评估代码生成模型多语言能力的基准。它由 820 个高质量的人工创建数据样本（每个样本都有测试用例）组成，语言包括 Python、C++、Java、JavaScript 和 Go，可用于代码生成和翻译等各种任务。CodeGeeX 的评测也是在 HumanEval-X 上完成的，所以可以参考 HumanEval-X 来了解对应数据的格式。下图为 HumanEval-X 的数据。
其中 Prompt 是对问题的描述，declaration 是代码的定义部分，canonical_solution 是代码的操作部分。后面的 test 和 example_test 是测试的代码和数据。
所以，想要对 CodeGeeX 进行微调和训练，就需要题目的描述和正确的代码。
- 数据获取
目前国内使用比较多程序设计练习平台是 PTA ，但是 PTA 的代码并不公开，所以我们转而选取了 LOJ。
LOJ 页面：
首先，我们需要获取题目信息。可以使用爬虫获取题目描述，并将数据保存到数据库中。
获取了题目信息后还需要获得正确的代码，而 LOJ 的代码都是公开的，未登录用户也可以进行访问，这非常方便。而 LOJ 有响应的 API 可以非常方便的获取代码。
API 如下，只要给出提交记录编号就可以获得包括代码在内的详细信息：
爬虫代码：
