• 2024-07-02NAML论文阅读笔记
    NeuralNewsRecommendationwithAttentiveMulti-ViewLearning论文阅读笔记这篇也是比较老但是比较经典的文章,来读一下Abstract​ 现有的新闻推荐方法通常基于单一的新闻信息(如标题)来学习这些表征,这可能是不够的。在本文中,我们提出了一种神经新闻推荐方法,它可以通过利用不
  • 2024-07-01ADS基础教程23 - 有限元电磁仿真(FEM)可视化操作
    EM介绍一、引言二、FEM可视化操作流程1.打开可视化界面2.查看介质的网格3.设置网格颜色4.选择网格5.传感器选择6.编辑传感器7.选择频率8.动画三、总结一、引言在ADS基础教程22中介绍了如何在ADS进行有限元电磁仿真(FEM),本文将继续介绍FEM的可视化操作。二、FEM可视
  • 2024-07-01Identity-aware Graph Neural Networks
    目录概ID-GNNYouJ.,Gomoes-SelmanJ.,YingR.andLeskovecJ.Identity-awaregraphneuralnetworks.AAAI,2021.概提出了一种能够超越1-WL-Test的GNN.ID-GNNID-GNN的motivation主要如下:主要到,传统的MPNN,即第\(k\)层:\[\mathbf{m}_u^{(k)}=\t
  • 2024-06-23关于 KL 散度和变分推断的 ELBO
    01KL散度Kullback-Leibler(KL)散度,是一种描述一个概率分布\(P\)相对于另一个概率分布\(Q\)的非对称性差异的概念。KL散度是非负的;当且仅当两个分布相同时,它为零。1.1定义对于离散概率分布,\(P\)和\(Q\)的KL散度定义为:\[\text{KL}(P\|Q)=\sum_{\mathbf{x
  • 2024-06-232024/6/23 本周总结
    DemoFusion:DemocratisingHigh-ResolutionImageGenerationWithNo$$$2024/5/11任意尺度超分生成一个\(K\)倍大小的图像,需要边长扩大为\(\sqrt{K}\),就是从潜在空间(latentsapce)\(\mathbb{R}^{c\timesh\timesw}\)到目标空间\(\mathbb{R}^{c\times{H}\timesW}\),其中\(
  • 2024-06-22CAUM论文阅读笔记
    NewsRecommendationwithCandidate-awareUserModeling论文阅读笔记Abstract存在的问题:​ 现有的新闻推荐方法通常从历史点击的新闻中建模用户的兴趣,而不考虑候选新闻。然而,每个用户通常都有多个兴趣,并且这些方法很难准确地匹配一个候选新闻与特定用户的兴趣。解决方案:​
  • 2024-06-21计算理论导论(cheat sheet)
    pumpinglemma:如果\(A\)是正则语言,那么存在一个整数\(p\),如果\(s\inA\)的长度\(\gep\),那么\(s\)可以被切分成3段\(s=xyz\)满足:(1)\(xy^iz\inA\);(2)\(|y|>0\);(3)\(|xy|\lep\)。(证明:\(A\)是正则语言,根据正则语言的定义说明存在DFA接受\(A\),设\(p=|Q|+1\),任
  • 2024-06-20HieRec论文阅读笔记
    HieRec:HierarchicalUserInterestModelingforPersonalizedNewsRecommendation论文阅读笔记Abstract现存的问题:​ 用户兴趣建模对于个性化新闻推荐至关重要。现有的新闻推荐方法通常从每个用户以前的行为中学习一个单一的用户嵌入,以代表他们的整体兴趣。然而,用户兴趣通
  • 2024-06-19GLORY论文阅读笔记
    GoingBeyondLocal:GlobalGraph-EnhancedPersonalizedNewsRecommendations论文阅读笔记Abstract现存的问题:​ 近期的大多数工作主要侧重于使用先进的自然语言处理技术从丰富的文本数据中提取语义信息,并采用基于内容的方法从局部历史新闻中提取信息。然而,这种方法缺乏全局
  • 2024-06-18带注意力的LSTM翻译模型:在数据流动和维度变化中分析原理和核心代码
    同步发布于公众号:依古比古很无聊前言本文以CS224n课程中assignment4的代码和数据作为基础,探讨基于注意力的LSTM机器翻译模型。笔者认为,只有摸清了一个模型从输入到输出过程中的数据维度变化及其原因才是真正掌握了一个模型的结构,所以本文从数据流动及维度变化的角度出发对
  • 2024-06-16史上最详细的轨迹优化教程-机器人避障及轨迹平滑实现(干货满满)
    有一些朋友问我到底如何用优化方法实现轨迹优化(避障+轨迹平滑等),今天就出一个干货满满的教程,绝对是面向很多工业化场景的讲解,为了便于理解,我选用二维平面并给出详细代码实现,三维空间原理相似。本教程禁止转载,主要是有问题可以联系我探讨,我的邮箱[email protected]下面
  • 2024-06-13循环神经网络RNN
    循环神经网络RNN是针对序列数据而生的神经网络结构,核心在于循环使用网络层参数,避免时间步增大带来的参数激增,并引入**隐藏状态(HiddenState)**用于记录历史信息,有效的处理数据的前后关联性。隐藏状态隐藏状态(HiddenState)用于记录历史信息,有效处理数据的前后关联性激活函
  • 2024-06-12DeepSORT(目标跟踪算法)中卡尔曼增益的理解
    DeepSORT(目标跟踪算法)中卡尔曼增益的理解flyfish先用最简单的例子来理解卡尔曼增益公式(1)首先,通过多次测量一个物理量,并使用取平均值的方式来计算其真实值:x
  • 2024-06-12Hungry Hungry Hippos Towards Language Modeling with State Space Models
    目录概H3代码FuD.Y.,DaoT.,SaabK.K.,ThomasA.W.,RudraA.andReC.Hungryhungryhippos:towardslanguagemodelingwithstatespacemodels.2022.概Mamba系列第五作:H3.H3感觉H3是之前的linearattention和SSM的一个结合,它所做的只是把line
  • 2024-06-12[FEM-6-2]杆单元的坐标变换——三维立体空间
    目录1三维空间(3D)杆单元的坐标变换1.1单元位移场的表达1.2三维空间(3D)多连杆示例参考1三维空间(3D)杆单元的坐标变换图1三维空间杆单元的坐标变换三维空间问题中的杆单元如上图所示1.1单元位移场的表达该杆单元在局部坐标系下(
  • 2024-06-11大模型高效微调-LoRA原理详解和训练过程深入分析
    博客首发于我的知乎,详见:https://zhuanlan.zhihu.com/p/702629428一、LoRA原理LoRA(Low-RankAdaptationofLLMs),即LLMs的低秩适应,是参数高效微调最常用的方法。LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数,从而达到使用更少显存占用的高效微调。1.1问
  • 2024-06-07Sentiment Knowledge Enhanced Self-supervised Learning for Multimodal Sentiment Analysis
    文章目录SKESL:多模态情感分析中的情感知识增强型自监督学习文章信息研究目的研究内容研究方法1.SentimentWordMasking2.Textrepresentationlearning3.Non-verbalinformationinjection(multimodalfusion)4.SentimentIntensityPrediction5.LossFunction6.Fine-tuni
  • 2024-06-07机器学习算法(一):1. numpy从零实现线性回归
    系列文章目录机器学习算法(一):1.numpy从零实现线性回归机器学习算法(一):2.线性回归之多项式回归(特征选取)@目录系列文章目录前言一、理论介绍二、代码实现1、导入库2、准备数据集3、定义预测函数(predict)4代价(损失)函数5计算参数梯度6批量梯度下降7训练8可视化一下损失总结前
  • 2024-06-06GFormer论文阅读笔记
    GraphTransformerforRecommendation论文阅读笔记Abstract​ 本文提出了一种将生成式自监督学习与图转换器架构集成的推荐系统中的表示学习新方法。我们强调了高质量的数据增强与自监督借口相关的任务对提高性能的重要性。为此,我们提出了一种新方法,通过合理感知生成式SSL自
  • 2024-06-02Uncovering ChatGPT’s Capabilities in Recommender Systems论文阅读笔记
    UncoveringChatGPT’sCapabilitiesinRecommenderSystems论文阅读笔记Abstract​ 在本研究中,我们的目标是通过将ChatGPT的推荐能力与传统的信息检索(IR)排名能力对齐,包括点排序、成对排序和列表排序。为了实现这一目标,我们将上述三种建议策略重新制定为专门针对现有领域而定制
  • 2024-06-01CLLM4Rec论文阅读笔记
    CollaborativeLargeLanguageModelforRecommenderSystems论文阅读笔记Abstract提出存在的问题:​ 自然语言和推荐任务之间的语义差距仍然没有得到很好的解决,导致了多个问题,如用户/项目描述符的虚假相关、对用户/项目数据进行的语言建模无效、通过自动回归的低效推荐。解决
  • 2024-05-30Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks
    目录概符号说明经验性的结果NoisyModelLearning代码ChenH.,WangJ.,ShahA.,TaoR.,WeiH.,XieX.,SugiyamaM.andRajB.Understandingandmitigatingthelabelnoiseinpre-trainingondownstreamtasks.概本文讨论如果预训练模型在训练的时候存在噪声,会
  • 2024-05-29Unleashing Robotics: Mastering Quaternion Kinematics with Python - Chapter7(原创系列教程)
    UnleashingRobotics:MasteringQuaternionKinematicswithPython-Chapter7(原创系列教程)本系列教程禁止转载,主要是为了有不同见解的同学可以方便联系我,我的邮箱[email protected].使用截断级数的近似方法在状态估计问题中,我们通常使用一个称为状态转移矩阵
  • 2024-05-29Mathematics
    数学,西文叫\(\mathbf{mathematics}\),来自希腊语,它的意思是聪明人,聪明的,聪明人干的事。如果一个人什么都会的话,我们就叫他\(\mathbf{polymath}\)(博学家)。数学的描述对象:数、形、形式、集合等。物理学正确与否的问题,一定是通过通过现实世界的观察,只有被观察到了,或者被验证了的时
  • 2024-05-28LLM 大模型学习必知必会系列(六):量化技术解析、QLoRA技术、量化库介绍使用(AutoGPTQ、AutoAWQ)
    LLM大模型学习必知必会系列(六):量化技术解析、QLoRA技术、量化库介绍使用(AutoGPTQ、AutoAWQ)模型的推理过程是一个复杂函数的计算过程,这个计算一般以矩阵乘法为主,也就是涉及到了并行计算。一般来说,单核CPU可以进行的计算种类更多,速度更快,但一般都是单条计算;而显卡能进行的都是基