某仿真软件现状

新建仿真项目后，工程中的模型只能依靠编辑其自带的脚本语言来进行增删改，业务人员的学习成本极高。网上的资料也很少，Github 上都只能找到一个该软件的项目代码。文档也基本只有该软件自带的文档，社区基本没有，好在文档写的比较详实。

目前打算去尝试的解决方案

基于 Code Llama/Qwen2.5-Coder/DeepSeek Coder 做 continual training 或 fine-tune。

训练数据集

1. 仿真软件自带的 60+ demo 项目代码
2. 公司已有项目代码 10~20

后续训练方案

• 预估计算量：8卡 A100，2~3天
• 确保用于训练的代码质量，做好数据清洗
• 防止训练过程中出现遗忘，添加一些 C++ 代码做混合训练，比例可以为 2:1 或者 4:1
• 根据 loss 的变化，lr 在训练中可以做一些调整；epoch 小于 5

评估

• 训练后测效果，RAG + In context learning 配合使用
• 参考 HumanEval 和 SWE-bench