• 2024-09-18【Python系列】JSON和JSONL简介
  • 2024-07-29lora微调qwen2-0.5B
    我们利用复旦新闻数据集进行训练:gitclonehttps://www.modelscope.cn/datasets/swift/zh_cls_fudan-news.gitgitclonehttps://www.modelscope.cn/qwen/Qwen2-0.5B.git安装库pipinstalldatasetspipinstallpeftfromdatasetsimportDatasetimportpandasaspdfro
  • 2024-06-17服务器从hugging face下载数据集失败
    问题服务器没法下载外网数据导致huggingface的load_dataset下载失败。解决方法没找到load_dataset的源代码,想办法本地下载并上传到服务器,服务器从本地使用数据集。示例:dataset=load_dataset("mit-han-lab/pile-val-backup",split="validation")将该路径下的文件下载到本