首页 > 其他分享 >LLMs的记忆能力分析及其分类

LLMs的记忆能力分析及其分类

时间:2025-01-14 16:55:43浏览次数:1  
标签:存储 分类 感官 LLMs 认知 信息 记忆 上下文

类型 主要功能 在LLMs中的实现方法
感官记忆 短暂存储感官信息以供认知系统访问。 缓冲输入/输出系统;感官输入的锁存机制;仿生感官记忆技术。
作为一种缓冲机制,允许认知处理组件在不同速度下工作而不丢失信息。
过滤信息(例如,通过注意机制)以供长期存储。
在线记忆 暂时存储活跃信息以支持认知处理。 深度学习网络中的注意力层;LLM上下文窗口。
语义记忆 维护和积累有关一般规则、事实、原理、关系等的信息,以及关于世界的广泛知识。 结构化知识图谱中的嵌入;神经网络深层;向量数据库;通过方法访问外部知识,例如基于检索的增强生成、上下文语义学习等。
提供关于世界的先验知识,用于解决认知问题任务。
整合多模态信息(空间、音频、听觉、视觉、嗅觉等),形成统一的、情境化的表示,从而捕获“个人”经验。
情景记忆 显式存储特定事件和经历及其相关的时间、空间、社会等上下文。 显式存储特定事件和经历及相关时间、空间、社会等上下文;通过主动提示进行上下文学习重要事件。
允许代理人反思过去,在当前现实的语境下进行 introspect,并以此方式实现自我改进。
程序性记忆 存储执行具体任务(通常为感官/运动活动)相关的详细步骤信息。 显式长期存储从与环境交互中获得的实时信息;显式编码任务计划(使用符号方法);关于特定任务的外部知识;检索增强生成等。
允许代理人以无需认知计算的方式执行复杂活动。这种自动化加速任务并为其他功能释放认知资源。

总结

感官记忆:短暂存储感官信息,为认知系统提供访问渠道,通过缓冲输入/输出系统和仿生感官记忆技术实现。
在线记忆:临时存储活跃信息,用于认知处理,通过深度学习网络中的注意力层和上下文窗口实现。
语义记忆:存储一般规则、事实和关于世界的知识,用于解决认知问题任务,通过知识图谱、深层神经网络和基于检索的增强生成技术实现。
情景记忆:显式存储特定事件及其相关的时空、社会等背景信息,支持代理反思和自我改进,通过上下文学习和主动提示实现。
程序性记忆:存储执行具体任务的步骤信息,支持代理高效完成复杂活动,通过符号方法、知识图谱和基于检索的增强生成实现。

标签:存储,分类,感官,LLMs,认知,信息,记忆,上下文
From: https://www.cnblogs.com/sddai/p/18671136

相关文章

  • NLP 进阶:BERT + CNN 结合打造高效文本分类模型!
    引言:在自然语言处理(NLP)中,文本分类任务是一个核心问题,涵盖了情感分析、新闻分类、垃圾邮件检测等多个领域。传统的深度学习方法虽然取得了一定的成效,但随着BERT(BidirectionalEncoderRepresentationsfromTransformers)和CNN(ConvolutionalNeuralNetworks)技术的出现,文本分......
  • 《Keras3通过使用 EfficientNet 进行微调进行图像分类》
    Keras3通过使用EfficientNet进行微调进行图像分类作者: YixingFu创建日期: 2020/06/30最后修改时间: 2023/07/10描述: 使用在imagenet上预先训练的权重的EfficientNet进行StanfordDogs分类。(i)此示例使用Keras3 在Colab中查看 • GitHub源简介:什么是......
  • 《使用 Vision Transformer 进行图像分类》
    《使用VisionTransformer进行图像分类》作者:KhalidSalama创建日期:2021/01/18最后修改时间:2021/01/18描述:实现用于图像分类的VisionTransformer(ViT)模型。(i)此示例使用Keras3 在Colab中查看 • GitHub源介绍此示例实现了AlexeyDosovitskiy等人的......
  • 创新LED电子钟:断电记忆+红外遥控,智能闹铃一键掌控(含有源码资料)
    一.前言本设计介绍了一款创新的LED电子钟,它不仅克服了传统电子钟在断电后需要重新设置时间等参数的弊端,而且还采用了家电通用的红外遥控器进行控制,极大地方便了用户的使用。该电子钟具备一路闹铃输出功能,用户可以通过遥控器轻松设置闹铃时间以及闹铃的开关状态。首先,这款LE......
  • 在 PowerShell 中,管理 Active Directory 域服务(AD DS)涉及到很多命令,这些命令可以根据
    在PowerShell中,管理ActiveDirectory域服务(ADDS)涉及到很多命令,这些命令可以根据不同的功能进行分类。下面是一个按功能分类的PowerShell命令表格,帮助你快速找到相关命令。功能分类命令描述域和信任管理Get-ADDomain获取当前域的配置信息。 Set-ADDomain......
  • 基于YOLOv8与CGNet的鸟类智能识别系统 深度学习图像分类 鸟类目标检测与分类 图像特征
    博主介绍:  ✌我是阿龙,一名专注于Java技术领域的程序员,全网拥有10W+粉丝。作为CSDN特邀作者、博客专家、新星计划导师,我在计算机毕业设计开发方面积累了丰富的经验。同时,我也是掘金、华为云、阿里云、InfoQ等平台的优质作者。通过长期分享和实战指导,我致力于帮助更多学生......
  • 主流的液冷技术分类、优缺点与应用场景分析
     ......
  • Qwen2ForSequenceClassification文本分类实战和经验分享
    本文主要使用Qwen2ForSequenceClassification实现文本分类任务。文章首发于我的知乎:https://zhuanlan.zhihu.com/p/17468021019一、实验结果和结论这几个月,在大模型分类场景做了很多实验,攒了一点小小经验。1、短文本1)query情感分类,一般不如BERTps:结论和,https://segmentfault......
  • linux命令--按照场景分类
    需求测试kcreatensdrliu;kdelete-fconfig/crd/bases/;kaconfig/crd/bases/;kasample/operatorTest/;kdelete-fsample/operatorTest/;dos2unixsample/cleancr.sh;shsample/cleancr.shdrliu;goruncmd/cluster-controller/main.go--namespace="dr......
  • PMP–一、二、三模、冲刺–分类–7.成本管理
    文章目录技巧一模7.成本管理--4.控制成本--数据分析--挣值分析--进度绩效指数(SPI)是测量进度效率的一种指标,表示为挣值与计划价值之比,反映了项目团队完成工作的效率。当SPI小于1.0时,说明已完成的工作量未达到计划要求;当SPI大于1.0时,则说明已完成的工作量超过计划。......