【NLP高频面题-LLM架构篇】LLM对Transformer都有哪些优化？⚠︎重要性：★★★......

【人人都能学得会的NLP-文本分类篇01】使用ML方法做文本分类任务NLPGithub项目：NLP项目实践：fasterai/nlp-project-practice介绍：该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验AI藏经阁：https://gitee.com/faste......

1. TensorRT-LLM基础介绍        TensorRT-LLM是NVIDIA用于做LLM（LargeLanguageModel）的可扩展推理方案。基于TensorRT深度学习编译框架来构建、编译并执行计算图，并借鉴了许多FastTransformer中高效的Kernels实现，然后利用NCCL完成设备之间的通讯。Tenso......

......

1.概述关于基于COT的Prompt构造有很多的研究，例如：CoT(Weietal.,2022),Automate-CoT(Shumetal.,2023),Auto-CoT(Zhangetal.,2023),Iter-CoT(Sunetal.,2023),Active-CoT(Diaoetal.,2023)。本篇文章尝试给出了一种解释：LLM基于有监督的ICL（in-contextlearni......

部署机器硬件情况：内存：32GB显卡:3060 为什么不使用docker：1.网上教程大多以docker为主2.安装docker的时间太长，在等待的时候顺便尝试一下不用docker的部署1.安装Ollama下载地址：Ollama下载好之后默认安装即可。Ollama常用命令【跟docker差不多，初次安装的话这边可以......

部署机器硬件情况：内存:32GB显卡:3060为什么不使用docker：1.网上教程大多以docker为主2.安装docker的时间太长，在等待的时候顺便尝试一下不用docker的部署1.安装Ollama下载地址：https://ollama.com/下载好之后默认安装即可。Ollama常用命令【跟docker差不多，初次安装的话......

【NLP高频面题-分布式训练】ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？重要性：★★NLPGithub项目：NLP项目实践：fasterai/nlp-project-practice介绍：该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验AI藏经阁：https://gite......

作者：京东物流郭卓勋一、业务背景在物流私域体系构建中，形成了多个微信群生态，需要投放自动回复机器人来自动化回复用户问题，希望能够用最小的成本满足基本问答。由于需要从头开始自建全流程算法问答体系，需要面临一下几个问题：1.数据不外流：用户数属于隐私数据，不可以直接调用外部API......

历时半年，由蚂蚁集团和之江实验室牵头，联合北京邮电大学、浙江大学、西湖大学、东北大学、杭州悦数科技、浙江创邻科技、北京大学、北京交通大学、复旦大学、北京海致星图科技、腾讯、信雅达科技、北京枫清科技等单位编写的《Graph+AI：大模型浪潮下的图计算》白皮书，在11月2日全国智......