- 2024-09-16Datawhale------Tiny-universe学习笔记——Qwen
1.Qwen整体介绍 对于一个完全没接触过大模型的小白来说,猛一听这个名字首先会一懵:Qwen是啥。这里首先解答一下这个问题。下面是官网给出介绍:Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。其实随着大模型领域的发展,这类产品已经有很多了例如:由
- 2024-09-04【HuggingFace Transformers】OpenAIGPTModel源码解析
OpenAIGPTModel源码解析1.GPT介绍2.OpenAIGPTModel类源码解析说到ChatGPT,大家可能都使用过吧。2022年,ChatGPT的推出引发了广泛的关注和讨论。这款对话生成模型不仅具备了强大的语言理解和生成能力,还能进行非常自然的对话,给用户带来了全新的互动体验。然而,ChatGPT
- 2024-08-30深度强化学习算法(六)(附带MATLAB程序)
深度强化学习(DeepReinforcementLearning,DRL)结合了深度学习和强化学习的优点,能够处理具有高维状态和动作空间的复杂任务。它的核心思想是利用深度神经网络来逼近强化学习中的策略函数和价值函数,从而提高学习能力和决策效率。一、关键算法分类1.1深度Q网络(DeepQ-Networ
- 2024-08-30一次失败的实验 - 无限注意力,我们为什么坚持实验
总结:随着我们增加内存压缩次数的次数,Infini-attention的性能会变得越来越差。据我们所知,ringattention、YaRN和ropescaling这三种方法仍是将预训练模型拓展更长上下文的最佳方式。引言:语言模型的上下文长度也是除模型性能之外的重要属性之一。自in-contextlearning(
- 2024-08-26[USACO16DEC] Cities and States S
[USACO16DEC]CitiesandStatesS题目描述FarmerJohn有若干头奶牛。为了训练奶牛们的智力,FarmerJohn在谷仓的墙上放了一张美国地图。地图上表明了每个城市及其所在州的代码(前两位大写字母)。由于奶牛在谷仓里花了很多时间看这张地图,他们开始注意到一些奇怪的关系。例如,FLIN
- 2024-08-13Day 42 动态规划 Part09
188.买卖股票的最佳时机IV做完上一道题后再看就简单许多了。股票问题的重点就在于两点:找到所有的状态状态如何转移对于本题,一共包含2*k种状态(第1,2...k次持有,第1,2...k次卖出)。状态间如何转移呢?见下图classSolution{publicintmaxProfit(intk,int[]prices){
- 2024-08-12Day 41 动态规划 Part09 开始炒股
动态规划解题步骤确定dp数组(dptable)以及下标的含义确定递推公式dp数组如何初始化确定遍历顺序举例推导dp数组121.买卖股票的最佳时机这道题虽然自己做出来了,但是做了后面的题再回头看它就有了不一样的理解。curMin更重要的代表了一种状态,代表遍历到当前时间时最低的股
- 2024-08-05问一问神奇的ChatGPT
Q:我们随机问\(k\)个数,取这些数的最大值\(m\),\(m\)应该不会距离\(\frac{k(k+1)}{n}\)太远的结论为什么成立?A:这个结论来自于统计学中的极值理论。具体来说,当我们从一个已知范围内随机选择一些数,并取这些数中的最大值时,这个最大值有一定的统计规律。假设我们从一个包含(\(
- 2024-07-28Spring 状态机极简使用
Spring状态机极简使用本文不探讨状态机的思想与Spring状态机的架构,仅做快速实现参考。Spring状态机官方文档项目参考代码基于SpringBoot配置的快速集成案例maven依赖配置<dependency><groupId>org.springframework.statemachine</groupId><artifactId>spring-s
- 2024-07-28stable diffusion中的UNet2DConditionModel代码解读
UNet2DConditionModel总体结构图片来自于https://zhuanlan.zhihu.com/p/635204519stablediffusion运行unet部分的代码。noise_pred=self.unet(sample=latent_model_input,#(2,4,64,64)生成的latenttimestep=t,#时刻tencoder_hidden_states=pro