• 2024-07-09Lambda架构与Kappa架构的特性对比
        一个大数据系统架构的设计思想很大程度上受到当时技术条件和思维模式的限制。Lambda架构将批处理层和速度层分为两层,分别进行离线数据处理和实时数据处理,这样设计的根本原因在于,Lambda提出的初期是在公司中进行小范围的业务运用,当时并没有思考有没有一个计算引擎能
  • 2024-07-08变分自编码器(七):球面上的VAE(vMF-VAE)
    在《变分自编码器(五):VAE+BN=更好的VAE》中,我们讲到了NLP中训练VAE时常见的KL散度消失现象,并且提到了通过BN来使得KL散度项有一个正的下界,从而保证KL散度项不会消失。事实上,早在2018年的时候,就有类似思想的工作就被提出了,它们是通过在VAE中改用新的先验分布和后验分布,来使得KL散
  • 2024-07-05业界数据架构的演变
    目录一、概述二、业务处理-单体架构三、业务处理-微服务架构四、数据分析-大数据Lambda架构五、数据分析-Kappa架构六、数据分析-Lambda+Kappa混合架构七、湖仓一体架构一、概述近年来随着越来越多的大数据技术被开源,例如:HDFS、Spark等,伴随这些技术的发展与普及,促
  • 2024-06-17Structure-Aware Transformer for Graph Representation Learning
    目录概SAT代码ChenD.,O'BrayL.andBorgwardtK.Structure-awaretransformerforgraphrepresentationlearning.ICML,2022.概Graph+Transformer+修改attention机制.SATTransformer最重要的就是attention机制:\[\text{Attn}(x_v)=\sum_{v\in
  • 2024-06-03脑部磁共振成像肿瘤分割方法(MATLAB 2018)
    近年脑肿瘤发病率呈上升趋势,约占全身肿瘤的5%,占儿童肿瘤的70%。CT、MRI等多种影像检查方法可用于检测脑肿瘤,其中MRI应用于脑肿瘤成像效果最佳。精准的脑肿瘤分割是病情诊断、手术规划及后期治疗的必备条件,既往研究者对脑部肿瘤分割算法进行了深入研究,并取得了很多成果。然而脑
  • 2024-04-28基于FBG传感器的形状重建算法仿真
    算法涉及基本的[[FBG传感器模型]],一般通过刻有若干个布拉格光栅的光纤集成到被测物体上,当光纤与被测物体同时发生形变的时候,布拉格光栅产生应变,从而产生波长的漂移,通过对入射光与反射光波长漂移的检测,可以计算得到光纤上若干个点的曲率与挠率。在微分几何中,可以通过[[Frenet–S
  • 2024-03-22数据仓库的数据处理架构Lambda和Kappa
    1.数据仓库数据仓库(Data Warehouse),简写DW。顾名思义,数据仓库是一个很大的数据存储集合,为企业分析性报告和决策支持而创建,是对多元业务数据的筛选与整合,具备一定的BI能力,主要用于企业的数据分析、数据挖掘、数据报表等方向,指导业务流程改进、监视时间、成本、质量以及控
  • 2024-03-15Lambda架构和Kappa架构的区别
    Lambda架构和Kappa架构是处理大数据流的两种流行架构模式,它们旨在处理大规模的数据流,并能够提供实时数据处理的能力。这两种架构各有特点,适用于不同的业务场景。Lambda架构Lambda架构由NathanMarz提出,旨在解决大数据系统中的复杂性问题,特别是需要处理大量实时数据的系统。Lamb
  • 2024-03-12SciTech-Mathmatics-RealAnalysis: Cantor-Schröder-Bernstein Theorem
    Cornell:https://www.cs.cornell.edu/courses/cs2800/2017fa/lectures/lec14-cantor.htmlUCLA:https://web.cs.ucla.edu/~palsberg/course/cs232/papers/bernstein.pdfhttps://artofproblemsolving.com/wiki/index.php/Schroeder-Bernstein_Theoremhttps://www.whitman.e
  • 2023-11-27Game Physics
    BasicconceptsformphysicsRigidBodyClassificationSingleparticlesandparticlessystemareexamplesofdiscretematerial.Thestandardnotationis\[Q_{total}=\sum\limits_{i=1}^{p}Q_{i}\]Anothertypeofbodyisreferredtoasacontinuousma
  • 2023-11-10【虹科干货】Lambda数据架构和Kappa数据架构——构建现代数据架构
    如何更好地构建我们的数据处理架构,如何对IT系统中的遗留问题进行现代化改造并将其转变为现代数据架构?该怎么为你的需求匹配最适合的架构设计呢,本文将分析两种最流行的基于速度的数据架构,为你提供一些思路。文章速览:什么是数据架构?基于速度的数据架构结语 一、什么是数据
  • 2023-11-09Temporal Point Processes
    目录TPPEvolutionarypointprocessesConditionalintensityfunction[\(t\)]Conditionalintensityfunction[\(t,\kappa\)]InferenceSimulationInverseMethodOgata’smodifiedthinningalgorithm例子RasmussenJ.G.Lecturenotes:Temporalpointprocessesandt
  • 2023-10-17什么是Kappa架构?
    一、简介相当于在Lambda架构上去掉了批处理层(BatchLayer),只留下单独的流处理层(SpeedLayer)。通过消息队列的数据保留功能,来实现上游重放(回溯)能力。当流任务发生代码变动时,或者需要回溯计算时,原先的JobN保持不动,先新启动一个作业JobN+1,从消息队列中获取历史数据,进行计算,计算结
  • 2023-04-16Variational Quantum Linear Solver 的MindQuantum复现
    本教程复现论文VariationalQuantumLinearSolver中的图四。图四使用了文中提出的VQLS算法求解文中II.B.1中给出的问题Ising-inspiredQLSP,给出了参数\(\kappa\)与线路运行次数的关系。VQLS算法用于求解线性方程的解,即对方程\(Ax=b\),已知\(A\)和\(b\),得出方程的解\(x\)。如上图
  • 2023-02-20【译】实时体渲染——第一章 体渲染
    1译者前言毕设打算做体素渲染器,导师给了paper(或者是书?),《Real-TimeVolumeGraphics》开个坑,监督自己认真看完。【不是英语专业的,随手写的,不要较真】PartI导论1体
  • 2022-11-23深度学习之一致性评价方法
    1.一致性评价方法线性相关系数(Pearson相关)(定量变量)  kappa相关系数(分类数据)  kappa系数(评价者为两人)计算方法:    Fleiss'kappa评价系数(多个评价者存
  • 2022-09-27AtCoder Beginner Contest 270 G,Ex
    y1s1,G和Ex在推等比数列式子上是相似的。G前置知识:BSGS(其实就是根号讨论)首先我们展开这个递归式:\[X_{i}\equivA^{i}S+\sum_{j=0}^{i-1}A^jB\modP\]感觉第一项有