上篇：从零开始的LLM:nanoGPT学习笔记（1/2）尝试了完整的训练的过程，nanoGPT仓库中还有复现GPT2的代码，可惜对计算资源要求太高（基于OpenWebText数据集，8卡A100，训练4天），不是个人电脑玩的转了，只能跳过这一步，尝试后面的finetuning。finetuning1.训练数据跟pre-train一样

项目地址：nanoGPT作者是OpenAI的元老人物AndrejKarpathy，以非常通俗易懂的方式将LLM的pre-train娓娓道来，YouTube上也有对应的视频：Let'sbuildGPT:fromscratch,incode,spelledout.其中高赞回复是这样的，总结非常精辟：justforfun,droppingonYouTubethebesti