问题引入
LLaMA-Factory是一种简单有效的LLM微调工具。其所开发的由gradio驱动的webui更是提供了可视化微调,降低了微调大模型的门槛。然而,在使用
llamafactory-cli webui
来创建可视化微调模块时,只能得到本地的网页链接:
这种方法限制了webui模块在服务器或者autodl等租赁网站上的使用,因此,需要修改内部代码,以得到共享链接,便于在个人电脑上操作。
问题解决
执行如下命令可以下载LLaMA-Factory,所有代码都存放于LLaMA-Factory文件夹中。(https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md)
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
此时打开LLaMA-Factory/src/llamafactory/webui/interface.py文件,做以下修改:
def run_web_ui() -> None:
# gradio_share = os.environ.get("GRADIO_SHARE", "0").lower() in ["true", "1"]
gradio_share = True # 直接设置为 True,确保始终共享
server_name = os.environ.get("GRADIO_SERVER_NAME", "0.0.0.0")
create_ui().queue().launch(share=gradio_share, server_name=server_name, inbrowser=True)
将其中的gradio_share定义为True,即可生成有效时间72h的共享链接,此时就可以在其他电脑上进行访问。
误区
本人开始觉得将LLaMA-Factory/src/webui.py中的gradio_share定义为True就可以实现共享链接,但事实上程序并没用调用此函数,而是调用了更深层的interface.py。
标签:set,launch,--,gradio,share,Factory,webui,LLaMA,True From: https://blog.csdn.net/cxzzjw/article/details/140748688