目录过往一年历程1.核心技术2.大海捞针实验3、人机解决方式的差别全链路开源生态1数据2开源数据处理工具箱3预训练4微调xtuner5评测6部署7智能体8项目过往一年历程7b可以应对中小企业业务，但20b才有涌现现象1.核心技术2.大海捞针实验超长文本内容中的问答正确度3

一、总结要点-

文章目录闯关任务完成结果闯关任务任务描述：MindSearchCPU-only版部署任务文档：MindSearchCPU-only版部署完成结果按照教程，将MindSearch部署到HuggingFace，并提供截图。新建一个目录用于存放MindSearch的相关代码，并把MindSearch仓库clone下来：mkdir-

文章目录闯关任务完成结果闯关任务任务描述：LMDeploy量化部署实践闯关任务任务文档：LMDeploy量化部署进阶实践完成结果使用结合W4A16量化与kvcache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4

视频内容总结：视频是由汪周谦主讲，主题是介绍书生谱语大模型开源开放体系。内容主要包括以下几个方面： 1.**书生谱语大模型的发展历程**：-从2023年7月6日起，书生谱语大模型（Interlm）开始免费开源并商用，提供了全链条的开源工具体系。-2023年9月底，发布了适合中小企业和科研

书生浦语夏令营——8G显存玩转书生大模型Demo配置环境按照教程来即可condacreate-ndemopython=3.10-ycondaactivatedemocondainstallpytorch==2.1.2torchvision==0.16.2torchaudio==2.1.2pytorch-cuda=12.1-cpytorch-cnvidia-y#这里合并成一个命令pip

从图像到万象，InternVL2.0书生·万象多模态大模型发布！OpenGVLab​目录收起代码开源/模型使用方法：76B大模型，司南评测优于GPT-4O8B端侧小模型，消费级单卡可部署试用Demo：正文开始！1.多模态大模型的开始，AGI的黎明三年演进，多模态先行者的实至名归之路2.更少资源、更高

大语言模型-5.模型微调书生浦语大模型实战营学习笔记-4.模型微调本节对应的视频教程为B站链接。笔记对视频的理论部分进行了整理。大模型的训练过程模型视角这里原视频用的“分类”这个名字，我看到的时候还有点懵

课程内容概述本节课介绍了RAG（RetrievalAugmentedGeneration）技术的基础知识。展示了如何使用茴香豆（Huixiangdou）搭建一个RAG智能助理。讲解了茴香豆的进阶用法，包括网络搜索、使用远程模型、搭建网页Demo等。1.RAG技术概述RAG技术结合了检索和生成，通过检索相关信息片段来增

大语言模型-7.模型压缩与部署书生浦语大模型实战营学习笔记4-模型压缩与部署本文包括第二期实战营的第5课内容，介绍关于模型压缩的相关内容，主要包括、模型量化和模型部署的相关内容。模型部署定义：在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模

以下内容是在InternStudio的开发机上运行的一、部署 InternLM2-Chat-1.8B 模型进行智能对话第一步：进入开发机后，在终端中输入以下环境命令配置进行环境配置studio-conda-ointernlm-base-tdemo#与studio-conda等效的配置方案#condacreate-ndemopython==3.10-

书生浦语LLM全链路开源体系LLM介绍大模型LLM成为发展通用人工智能的重要途径。专用模型：针对特定人物，一个模型解决一个问题；通用大模型：一个模型应对多种任务、多种模态。书生浦语LLM发展历程及LM2InternLM->InternLM-7B开源+全链路开源工具体系->书生万卷1.0多模

大模型评测概述评测目的：了解模型能力，指导模型迭代，监控模型风险，把握模型应用大模型评测方法客观评测：问答题、多选题、判断题等主观评测：主观题（人类评价、模型评价）OpenCompass评测平台 

第一节课笔记https://www.cnblogs.com/russellwang/p/18023910第二节课笔记https://www.cnblogs.com/russellwang/p/18023922第二节课作业https://www.cnblogs.com/russellwang/p/18024031第三节课笔记https://www.cnblogs.com/russellwang/p/18033843第三节课

1、XTuner安装#如果你是在InternStudio平台，则从本地clone一个已有pytorch2.0.1的环境：/root/share/install_conda_env_internlm_base.shxtuner0.1.9#如果你是在其他平台：condacreate--namextuner0.1.9python=3.10-y#激活环境condaactivatextuner0.1.9#进入家目

一、大模型部署1、模型部署及大模型特点模型大，token不固定，结构简单2、大模型部署遇到的问题及解决方案硬件、速度、技术、方案模型部署存在的问题：1、硬件需求相对较大，特别在于显卡及内存方面。2、由于模型较大，则速度就会很慢优化方法：1、在卷积神经网络中是有：剪枝、量

对LLM进行增强的方法一般有两种：RAG（RetrievalAugmentedGeneration检索增强生成）或者finetune。其中，RAG可以简单理解为外接一个知识库，从而对某个特定的领域进行增强原始LLM的能力。相比Finetune而言，成本低，且实时性好。不需要对原模型进行修改，但是，也非常受限于原LLM的能力。RAG

1、大模型是发展AGI的重要途径过去20年研究的是专用模型，最近两年，倾向一个模型解决多个任务  2、书生开源大模型的发展历程3、书生模型的体系：轻量级7b,中级20b,重量级123b4、书生模型的性能： 4、大模型应用：智能客服、个人助手、行业应用5、从模型到应用 6、书生

1、模型评测的Why,WhatHow?为什么要做模型评测，评测什么，以及怎样评测。2、模型评测的Why?用户：可以知道那个模型好，便于选择开发者：知道模型的能力边界，以便提升3、What知识、语言、推理长文本生成、Agent工具的使用能力情感、认知垂直领域：如医疗4、How基座模型VS微

1、大模型部署的背景a、大模型部署的挑战对设备的要求：存储大推理：生成token的速度、动态shape、内存管理服务：高并发下的吞吐量、单用户的响应时间b、技术方案：模型并行、量化Transfomer优化、推理优化2、LMDeploy介绍a、是在N卡上的全流程方案，包括轻量化、推理和服务，当

1、FineTune简介1.1、为什么要微调？大语言模型有各行各业的通用知识，但具体深入到某个领域，模型表现不尽如人意，需要微调1.2、两种微调：增量预训练和指令微调1.4、增量预训练：给模型投喂额外的特定领域的知识语料，模型在新的语料上继续学习训练。1.5、指令微调：基座模型学习到到是在须

1、大模型的局限性a、知识只能截止到训练时间；b、垂直领域的专业能力有限；c、训练成本高，定制化成本高； 2、解决大模型局限性的两种思路RAGVSFTRAG：外挂一个知识库，通过检索得到文档，再将检索到文档和问题一起输入给大模型来生成答案。优点：成本极低、知识可更新；缺点：受限于基座大

1大模型及InternLM模型简介1.1什么是大模型？大模型=大语料+大算力+大模型参数大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。书读三遍，其义自见大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。1.2InternLM模型全链条开源I

总览：大模型技术的快速演进自2023年7月6日“书生·浦语”（InternLM）在世界人工智能大会上正式开源以来，其在社区和业界的影响力日益扩大。在过去半年中，大模型技术体系经历了快速的演进，特别是100K级别的长上下文、代码解释、智能体等新技术的不断迭代。伴随技术水平的不断提升，大模型在应