首页 > 其他分享 >LLM资料整理

LLM资料整理

时间:2023-10-29 17:57:18浏览次数:37  
标签:datasets co LLM huggingface github https 资料 整理 com

框架:

1、https://github.com/LianjiaTech/BELLE

  支持Docker

2、https://github.com/vllm-project/vllm

3、https://github.com/hiyouga/LLaMA-Factory/ 

  一个训练框架,比起BELLE来说bug会少一点,但是不支持docker

 

数据集:

  • https://huggingface.co/datasets/QingyiSi/Alpaca-CoT
  • https://huggingface.co/datasets/YeungNLP/firefly-train-1.1M
  • https://huggingface.co/datasets/vicgalle/alpaca-gpt4
  • https://platypus-llm.github.io/ 手工打造的英文数据集,质量很高
  • https://huggingface.co/datasets/BAAI/COIG-PC 似乎没清洗

 

思路:

  训模型的时候可以先考虑一下是个通用任务还是特定任务,用LORA、P-Tuning还是全量微调。

标签:datasets,co,LLM,huggingface,github,https,资料,整理,com
From: https://www.cnblogs.com/lucifer1997/p/17796114.html

相关文章

  • English LLM prompt
    你是中央处理调度员,你要调度的成员有文本格式转换器/英文词汇讲解大师/英语单词例句大师/英文写作大师,在执行每个步骤前要求你和所有调度成员深呼吸,深思慢想,一步步静默执行;你会有短暂的记忆缺失,执行完每个任务后重新记忆调度步骤,自动检测任务状况,确保每一个成员都完成对应的任务;......
  • Transformer 相关资料列表
    Transformer相关资料列表Encoder-Decoder框架1Transformer模型1连续词袋模型(CBOW)Word2vecTransformer模型中的positionalencoding(位置编码)计算理解Transformer模型中的positionalencoding(位置编码)计算理解(2)self-attention自注意力机制注意力机制(2)self-at......
  • 具有意义的资料链接
    每日整理合集10.281.https://tangshusen.me/Dive-into-DL-PyTorch/#/2.https://blog.csdn.net/m0_51366201/article/details/1302279063.https://blog.csdn.net/weixin_43605214/article/details/12749504010.2910.30......
  • 解密Prompt系列18. LLM Agent之只有智能体的世界
    重新回来聊Agent,前四章的LLMAgent,不论是和数据库和模型还是和搜索引擎交互,更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界!分别介绍斯坦福小镇和Chatdev两篇论文。它们的共同特点是使用多个大模型智能体协同完成任务。多智能相比单一智能体可能有以下的......
  • 新手教程系列:照片传输、整理、分享,Synology Photos一套轻松搞定
    谁说简单易用一定要牺牲安全?SynologyPhotos可让您轻松分享充满回忆的相册,同时确保相册安全,无论是分享一张照片,还是一个视频或者整个相册,群晖都能满足您的需求,它可不仅限去共享照片功能,还有传输,收集,整理,堪比摄影小助理,所以今天就来盘一盘如何让 SynologyPhotos成为你的摄影助理......
  • 数据库【整理】
    一、聚集索引与非聚集索引            索引就是二叉树,数据真实存储在叶子节点,非叶子节点存储的事引用。Mysql使用的事B+Tree    聚集索引是包含所有列的物理存储连续,所以很庞大,新插入数据主要耗时在物理排序上面,所以相对较慢。非聚集索引只有当前列......
  • 金蝶KIS VB插件 老单据如何插入多行值,老单获取基础资料内码、代码、名称
    转自:https://blog.csdn.net/ssyyll/article/details/16804273WhileNotrs.EOF '填充对应的行 Withm_BillTransfer '如果超过两行以上的值,需要先用 .BillForm.InsertRow '插入一行 .SetGridTextLRow,dicFieldEntry("FItemID"),rs("FNumber") .SetGridText......
  • CocosCreator3.x 应用在UI(Sprite) 上的 shader(.effect) 的合批,通过自定义顶点参数(三
    参考资料资料1来源:https://forum.cocos.org/t/topic/148747/28用户:homym(tkhoi01281)3.x版自定参数我是利用createMesh方法去生成ui,因为createMesh就有自定义顶点参数的方法这个改动其实是可以弄一个新sprite来继承老spirte,然后把引擎里的simple.ts,splice.ts等assemb......
  • Flutter学习资料
    Flutter安装和文档Flutter控件学习FlutterAPP代码结构检测flutter界面元素 Flutter常用插件:flutterdartgetX:  FlutterGetX使用---简洁的魅力JsonToDart(JSONToDart) flutter常用第三方框架: 库功能dio网络框架shared_preferences......
  • Meetup 回顾|Data Infra 研究社第十六期(含资料发布)
    本文整理于上周六(10月21日)DataInfra第16期的活动内容。本次活动由Databend研发工程师-王旭东为大家带来了一场主题为《Databendhashjoinspill设计与实现》的分享,让我们一起回顾一下吧~以下是本次活动的相关视频、资料及文字:通过本次分享,我们能更加了解 Databend 的......