网站首页
编程语言
数据库
系统相关
其他分享
编程问答
jsonl
2024-09-18
【Python系列】JSON和JSONL简介
2024-07-29
lora微调qwen2-0.5B
我们利用复旦新闻数据集进行训练:gitclonehttps://www.modelscope.cn/datasets/swift/zh_cls_fudan-news.gitgitclonehttps://www.modelscope.cn/qwen/Qwen2-0.5B.git安装库pipinstalldatasetspipinstallpeftfromdatasetsimportDatasetimportpandasaspdfro
2024-06-17
服务器从hugging face下载数据集失败
问题服务器没法下载外网数据导致huggingface的load_dataset下载失败。解决方法没找到load_dataset的源代码,想办法本地下载并上传到服务器,服务器从本地使用数据集。示例:dataset=load_dataset("mit-han-lab/pile-val-backup",split="validation")将该路径下的文件下载到本