在加载模型一行后加上max_memory即可，超出显存后会自动移到内存。
model = AutoModel.from_pretrained('your_model', trust_remote_code=True, max_memory={0: "6GiB", "cpu": "10GiB"})记录一下，备忘。
本文来自博客园，作者：星如雨yu，转载请注明原文链接：https://www.cnblogs.com/tianpanyu/p/17909520.html
标签：max,CUDA,memory,model,加载,out From： https://www.cnblogs.com/tianpanyu/p/17909520.html