ELL
  • 2024-11-06Frequent Directions
    目录概FrequentDirectionsFrequentDirectionsoverSliddingWindows代码GhashamiM.,LibertyE.,PhillipsJ.M.andWoodruffD.P.Frequentdirections:Simpleanddeterministicmatrixsketching.2015.YinH.,WenD.,LiJ.,WeiZ.,ZhangX.,HuangZ.andL
  • 2024-10-14题解:P2315 [HNOI2005] 数三角形
    ProblemLink[HNOI2005]数三角形题意输入一个大三角形的各个边存在情况,输出里面有多少个正三角形。Solution简单暴力即可,用\(4\)个数组维护每条边能延伸的最大长度,然后逐个判断三角形是否可行即可。如图,l_upper维护左端点向上(即$\ell_{BA}$),l_lower维护左端点向下(即
  • 2024-10-11Auxiliary Learning by Implicit Differentiation
    目录概AuxiLearn问题设定理解两阶段的训练代码NavonA.,AchituveI.,MaronH.,ChechikG.andFetayaE.Auxiliarylearningbyimplicitdifferentiation.ICLR,2021.概通过implicitdifferentiation优化一些敏感的参数.AuxiLearn在实际的训练中,我们常常会通过
  • 2024-10-10似然
    似然问题背景:我们观察到随机变量\(Y\)的值\(y\),而\(Y\)的概率密度函数\(f(y;\theta)\)已知,但依赖于参数\(\theta\)。参数\(\theta\)来自参数空间\(\Theta\),观测数据来自样本空间\(\mathcal{Y}\)。目标是根据观测数据\(y\),推断参数\(\theta\)的可能取值范围
  • 2024-09-11Lagrange 插值
    给定\(n\)个横坐标不同的点,求过这\(n\)个点的\(n-1\)次多项式。算法引入这可以直接用高斯消元做,但是时间复杂度\(\mathcalO(n^3)\)不可接受,我们需要优化。我们令\((x_1,y_1),(x_2,y_2),\dots,(x_t,y_t)\)为这些点。考虑构造一个函数\(\ell_j(x)\)满足\[\ell_
  • 2024-09-10Memory-Efficient Adaptive Optimization
    目录概符号说明SM3区间的划分代码AnilR.,GuptaV.,KorenT.,SingerY.Memory-efficientadaptiveoptimization.NeurIPS,2019.概本文提出了一种memory-efficient的优化器:SM3.符号说明\(t=1,\ldots,T\),optimizationrounds;\(w_t\in\mathbb{R}^d\),par
  • 2024-07-24FlashAttention全解
    目录LLM大模型训练加速利器FlashAttention详解一、FlashAttention1.1硬件基础1.2FlashAttention核心思想1.3计算前提1.4FlashAttention算法二、FlashAttention-22.1硬件特性2.2标准的注意力实现2.3FlashAttention-12.3.1前向传播2.3.2反向传播2.4FlashAttention-22.4
  • 2024-07-15动态图连通性笔记
    首先离线的话有几种方法:线段树分治动态维护最大生成树:边的权值为他的(下一次)删除时间,加边正常做,询问时问路径最小值是否小于当前时刻.动态图连通性Holm-deLichtenberg-Thorup(HLT)暴力:维护生成森林,若删树边则暴力找另一条边能替代这条树边.思想:给每条边赋一个“不重
  • 2024-07-10闲话 24.7.10
    闲话啊,zzz真好玩啊!慢热型,战斗非重点,美术风格超赞。如果不排斥米家f2p游戏,推荐大家玩一玩。我是冲着妹妹去的未来会补一些杨表公式的证明。现在先咕!推歌:辰砂byLicisetal.feat洛天依AI增补:另类杨图对应杨表计数前置知识:杨表什么是另类?不是一般的杨图,就是另类的杨图
  • 2024-07-07An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention
    目录概符号说明BSARec(BeyondSelf-AttentionforSequentialRecommendation)代码ShinY.,ChoiJ.,WiH.andParkN.Anattentiveinductivebiasforsequentialrecommendationbeyondtheself-attention.AAAI,2024.概本文在attentionblock中引入高低频滤波.
  • 2024-05-11ELL-8051-LIB - 面向8051的高效低封装函数库+KLite - 简洁易用的嵌入式操作系统内核
    1、Arm-2D-基于Cortex-M的2D图形加速库ARM官方出品的2D图形加速库,在Cortex-M55系统频率8MHz下就可以实现30fps的渲染(6图层。320x240,rgb565)。项目主页: https://github.com/ARM-software/EndpointAI/tree/master/Kernels/Research/Arm-2DArm-2D库特性包括但不限于:*
  • 2024-03-18数据的压缩编码
    \(\newcommand{\E}{\mathbb{E}}\)\(\newcommand{\X}{\mathcal{X}}\)现在我们要开始讨论熵的意义,为此我们依然要回到数据的压缩编码这一核心概念上。首先我们要严格地定义编码。在这里,我们默认是用二进制进行编码。事实上,我们将要证明的所有结论对于一般的\(\mathcal{D}\)进制而言
  • 2024-03-11【论文阅读】N-BEATS Neural basis expansion analysis for interpretable time series forecasting
    原始题目:N-BEATS:Neuralbasisexpansionanalysisforinterpretabletimeseriesforecasting中文翻译:N-BEATS:可解释时间序列预测的神经基展开分析发表时间:2020-02-20平台:arXiv文章链接:http://arxiv.org/abs/1905.10437开源代码:https://github.com/servicenow/n-beats
  • 2023-12-20Min-25筛
    Min-25筛学习笔记现在写了。拜谢oi-wiki。波特好闪。liuhangshin是我们的红太阳。Chery写完OJWhen?启动!问题\[\sum_{i=1}^{n}f(i)\]其中\(f\)是积性函数,\(f(p)\)是低阶多项式,\(f(p^c)\)能快速求值。条件其实非常宽松。约定和记号\(p_k\):第\(k\)小的质数。
  • 2023-12-12Huffman 编码的估计
    \(\newcommand{\HH}{\operatorname{H}}\)我们熟知一些说法,比如一个二叉树如果第\(i\)个节点的访问次数是\(w_i\),那么最优的建树会使得总共访问节点次数是\[O\left(\sumw_i\log\frac{W}{w_i}\right)\]量级的,其中\(W=\sumw_i\).那么这个说法到底有多精确呢?
  • 2023-09-26解析几何 | 第 2 版
    \(\boldsymbol{Analytic\Geometry}\text{II}\)bydjs.latestupdateforI:2023.07.03latestupdateforII:2023.09.26构建思路小题一般用几何。下一步:列式方向、条件翻译、计算量预判、二级结论的应用。二级结论有些乱还。资料:\(\elli\)\(nk\)一个不错的视频
  • 2023-08-12论文解读(TAT)《 Transferable Adversarial Training: A General Approach to Adapting Deep Classifiers》
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]论文信息论文标题:TransferableAdversarialTraining:AGeneralApproachtoAdaptingDeepClassifiers论文作者:HongLiu,MingshengLong,JianminWang,MichaelI.Jordan论文来源:ICML2019论文地址:download 论文代码:download
  • 2023-06-17 【CF1841C 题解】
    首先,我们把\(s\)翻转。考虑dp,\(f_{i,j,k}\)表示到了第\(i\)个字符,操作了\(j\)个字符,最大的字符为\(k\)的最大值。转移时枚举\(i-1\)的最大字符\(\ell(0\le\ell<5)\)。不操作第\(i\)个字符;\(f_{i,j,k}=\max\{f_{i-1,j,\ell}+w\}\)。操作第\(i\)
  • 2023-06-07Deep One-Class Classification
    DeepOne-ClassClassifificationDeepSVDD(DeepSupportVectorDataDescription)训练一个神经网络,最小化包含数据表征的超球的体积(如图1所示)DeeoSVDD的目标函数soft-boundaryDeepSVDD输入空间\(\mathcal{X}\subseteq\mathbb{R}^d\)和输出空间\(\mathcal{F}\subs
  • 2023-06-04权重衰减
    1.通常权重衰减等价于L2正则化控制模型容量方法:模型变得比较小,即参数比较少。参数值的选择范围比较小。权重衰减通过限制参数值的选择范围来控制模型容量:\[min\\ell(\mathbf{w},b)\\\\subject\to\\||\mathbf{w}||^2\leqslant\theta\tag{1}\]通常不限制偏
  • 2023-05-27Basics of Neural Network Programming
    目录BasicsofNeuralNetworkProgrammingLogisticRegressionBasicsofNeuralNetworkProgrammingLogisticRegressiongivenx,want\(\hat{y}=P(y=1|x)\),\(x\in\R^{n_x}\)\(\hat{y_1}=w_{11}*x_{11}+w_{12}*x_{12}+\dots+w_{1n_x}*x_{1n_x}+b_1\).P
  • 2023-05-15Solution Set - “说选个晴日,露能滴出彩虹”
    目录0.「BZOJ#3457」Ring1.「CF1824C」LuoTianyiandXOR-Tree2.「CF1824D」LuoTianyiandtheFunction3.「CF1728F」Fishermen4.「CF1305H」KuronithePrivateTutor⭐5.「十二省联考2019」「洛谷P5291」希望⭐6.「IOI2007」「洛谷P4649」训练路径7.「BJOI2018」「
  • 2023-05-09Solution Set - “请背诵每条魔法的禁忌”
    目录0.「HAOI2018」「洛谷P4494」反色游戏1.「JSOI2010」「洛谷P6029」旅行2.「CTSC2017」「洛谷P3774」最长上升子序列⭐3.「CTSC2018」「洛谷P4566」青蕈领主⭐4.「CTSC2008」「洛谷P4528」图腾5.「SDOI2017」「洛谷P3779」龙与地下城6.「JSOI2018」「洛谷P4558
  • 2023-04-23Solution Set - “卷起击碎定论的漩涡”
    目录0.「CF1788F」XOR,Tree,andQueries1.「CF1815F」OHNO1(-2-3-4)2.「CF1787F」InverseTransformation3.「CF1797F」LiHuaandPath4.「CF1815B」SumGraph5.「AGC022C」RemainderGame6.「CTT2021」「洛谷P8986」基因编辑7.「CTT2021」「洛谷P8985」魔塔OL⭐
  • 2023-04-13脑力体操: 半在线卷积能做到多好? (van der Hoeven, 2007)
    固定一个可以\(O(1)\)运算的effectivefield\(K\),并且假设其上的FFT时间复杂度为\(O(N\logN)\).有序列\(\{g\}\)和\(\{\phi\}\),如何计算半在线卷积\(f_n=\phi_i(\sum_{i>0}g_if_{n-i})\)?Folklore把序列拆成两个\(N/2\)长度的段,左边算完了算左边对右边