在对模型进行部署时,可以使用魔搭默认的环境,CPU免费,GPU有使用的时间限制,需要关联阿里云的账号,因为 CodeGeeX 要用 GPU,所以先选择限制使用时长的 GPU。
在相应的模型库中选择:CodeFuse-CodeGeeX2-6B
使用教程中对应的 git clone https://www.modelscope.cn/codefuse-ai/CodeFuse-CodeGeeX2-6B.git
命令,从对应的 Git 仓库克隆 CodeGeeX 的代码。
但是如果按照原来教程中的步骤,使用 pip install -r requirements.txt
安装项目所需的所有依赖包时会出现问题,查看 requirements.txt 后发现是版本不兼容导致的。
解决方案是删去 requirements.txt 中的 deepspeed 一行,DeepSpeed 是一个由微软开发的深度学习优化库,它旨在提高大型模型训练的效率,通过优化内存使用和分布式训练来实现。
尝试了一下方法后,发现可以使用 pip install deepspeed -U
来安装依赖。
将所有依赖都安装的时间较长,需要进行一段时间的等待。且在安装的最后,仍然会出现一段报错信息,但是模型已经可以正常运行了。
可以通过修改下面代码中的 text,来实现代码的生成。如命令模型生成求最大子段和的代码:
模型给出的结果包括代码和一些测试用例:
代码:
再一次打开模型,进行运行时,出现了一个错误:
经过查阅资料,可以通过调整transformers版本解决:pip install transformers==4.33.2
。