• 2024-09-086.跟着狂神学JAVA(数组)
    数组数组是相同类型数据的有序集合每一个数据称作一个数据元素,每个数组元素可以通过一个下标来访问获取数组长度:array.length数组的使用声明数组dataType[]arrayName;初始化数组在声明时初始化int[]numbers=newint[5];//创建一个长度为5的整型数组在声明
  • 2024-09-04【稀疏矩阵】使用torch.sparse模块
    @目录稀疏矩阵的格式coocsrcscConstructionofSparseCOOtensorsConstructionofCSRtensorsLinearAlgebraoperations(稀疏与稠密之间混合运算)Tensormethodsandsparse(与稀疏有关的tensor成员函数)coo张量可用的tensor成员函数(经实测,csr也有一些可以用,比如dim())Torchfunctio
  • 2024-09-04【稀疏矩阵】使用torch.sparse模块
    (文章目录)稀疏矩阵的格式目前,torch.sparse和scipy.sparse模块比较支持的主流的稀疏矩阵格式有coo格式、csr格式和csc格式,这三种格式中可供使用的API也最多。coo将矩阵中非零元素的坐标和值分开存储在3个数组中,3个数组长度必须相同,表示有n个非零元素。csr分IndexPointers
  • 2024-09-01深度学习_模型调用预测
    概要应用场景:用户流失本文将介绍模型调用预测的步骤,这里深度学习模型使用的是自定义的deepfm代码导包importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromcollectionsimportdefaultdictfromscipyimportstat
  • 2024-08-10Turbo Sparse:关于LLM稀疏性的探索
    本文地址:https://www.cnblogs.com/wanger-sjtu/p/18352898关于llama稀疏性的观察llama原始模型的FFN计算过程为:\[f(x)=\text{silu}(xW_{Gate})\odotxW_{UP}\timesW_{Down}\]classFeedForward(nn.Module):defforward(self,x):returnself.w2(F.silu(sel
  • 2024-07-30稀疏矢量码(Sparse Vector Coding)介绍
    稀疏矢量码介绍更多精彩内容请关注微信公众号‘优化与算法’前言5G和6G无线通信期望带来更高的频谱效率和能量效率,为了达到这些目标,近年来已经提出了各种新技术。其中,索引调制IM(IndexModulation)技术引起了人们的极大兴趣。IM不是通过直接改变信号波形来传递信息,而是通过选择
  • 2024-04-30Range Sparse Net
    PDF:RSN:RangeSparseNetforEfficient,AccurateLiDAR3DObjectDetection一、大体内容现有基于RV图像的方法在遮挡处理、精确的对象定位和尺寸估计方面往往表现不佳,RSN通过结合基于密集距离图像和网格的方法的优势,提高了3D检测的准确性和效率。RSN是一个两个阶段网络,
  • 2024-04-16深度学习算法中的稀疏编码(Sparse Coding)
    【摘要】引言稀疏编码(SparseCoding)是深度学习算法中的一种重要技术,它在神经网络模型中发挥着重要的作用。本文将介绍稀疏编码的基本概念、原理以及在深度学习中的应用。稀疏编码的概念稀疏编码是一种通过寻找数据的稀疏表示来描述数据的方法。在深度学习中,稀疏编码可以将输入数
  • 2024-04-15Sparse稀疏检索介绍与实践
    Sparse稀疏检索介绍在处理大规模文本数据时,我们经常会遇到一些挑战,比如如何有效地表示和检索文档,当前主要有两个主要方法,传统的文本BM25检索,以及将文档映射到向量空间的向量检索。BM25效果是有上限的,但是文本检索在一些场景仍具备较好的鲁棒性和可解释性,因此不可或缺,那么在NN模
  • 2024-04-11机器学习—特征工程(三)
    什么是特征工程特征工程是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。意义︰会直接影响机器学习的效果特征工程的位置与数据处理的比较pandas:—个数据读取非常方便以及基本的处理格式的工具sklearn:对于特征的处理提供了强大的接
  • 2024-04-02使用Sparse Checkout 排除跟踪Git仓库中指定的目录或文件
    应用场景在一个大工程里包含由不同部门开发的模块时,项目的Git仓库肯定很大,造成每次Git操作相对比较耗时。因为开发人员一般只关心他们部门的模块的代码,所以完全可以排除一些他完全不需要用到的目录。这时候就可以使用Git的SparseCheckout。操作步骤1、若未拉取仓库代码时mk
  • 2024-03-10rust 安装及更新
    安装下载https://static.rust-lang.org/rustup/dist/x86_64-pc-windows-msvc/rustup-init.exe设置Rustup镜像添加path环境变量RUSTUP_DIST_SERVER="https://rsproxy.cn"RUSTUP_UPDATE_ROOT="https://rsproxy.cn/rustup"设置crates.io镜像,修改配置~/.cargo/con
  • 2024-03-07矩阵乘法
    GEMM(GeneralMatrixMultiplication)-通用矩阵乘BLAS(BasicLinearAlgebraSubprograms)-基本线性代数子程序SGEMM(SingleprecisionGeneralMatrixMultiply)-单精度矩阵乘法DGEMM(DoubleprecisionGeneralMatrixMultiply)-双精度矩阵乘法CGEMM(Complexsingl
  • 2024-02-03Sparse Graph
    #include<bits/stdc++.h>#defineCLOSEios::sync_with_stdio(false);cin.tie(0);cout.tie(0)constintN=200010,M=2*20010,mod=1e9+7;usingnamespacestd;inth[N],e[M],ne[M],dist[N],idx=0;intn,m,s;boolst[N],direct[N];voidadd(
  • 2023-12-26GPT-3《Language Models are Few-Shot Learners》解读
    GPT-3和GPT-2差别1. 效果上,超出GPT-2非常多,能生成人类难以区分的新闻文章;2. 主推few-shot,相比于GPT-2的zero-shot,具有很强的创新性;3. 模型结构略微变化,采用sparseattention模块;4. 海量训练语料 45TB(清洗后570GB),相比于GPT-2的40GB;5. 海量模型参数,最大模型为
  • 2023-12-18Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection o
    AdaptiveSparseConvolutionalNetworkswithGlobalContextEnhancementforFasterObjectDetectiononDroneImages*Authors:[[BoweiDu]],[[YechengHuang]],[[JiaxinChen]],[[DiHuang]]初读印象comment::提出了一种新型全局上下文增强自适应稀疏卷积网络(CEAS
  • 2023-12-01无涯教程-Python - 图形数据(Graph)
    CSGraph代表压缩稀疏图,其重点是基于稀疏矩阵表示的快速图算法。稀疏图图只是节点的集合,节点之间具有链接,图几乎可以代表任何事物-社交网络连接,其中每个节点都是一个人,并与熟人相连;图像,其中每个节点是一个像素,并连接到相邻像素;高维分布中的点,其中每个节点都连接到其最近的邻居,并
  • 2023-11-15一个Git clone仓库的指定目录命令对比国内外常见AI(一)使用ChatGPT3.5
    通常情况下,我们会克隆整个Git仓库,但有时候我们只需要其中某一个目录或文件,这时候只克隆子目录会更加方便。这个需求好像不是经常用到,搜索结果也是五花八门,有些完全达不到要求,正好用这个机会测试一下最近大火的AI看看是否足够智能。国外ChatGPT3.5(找一个可以访问的就好,ChatGPT4没找
  • 2023-11-07import torch_geometric报错Could not find module '...\torch_sparse\_convert_cpu.pyd' (or on
    按照官网步骤安装完torch-scatter、torch-sparse、torch-cluster和torch-spline-conv等依赖项,也成功安装了torch_geometric,但在导入的时候还是报错: 原因是没有C++环境,在该网址中https://visualstudio.microsoft.com/visual-cpp-build-tools/下载并安装C/C++DLL动态链接库,即可
  • 2023-10-31【CVPR2023】Learning A Sparse Transformer Network for Effective Image Deraining
    论文:https://readpaper.com/paper/4736105248993591297代码:https://github.com/cschenxiang/DRSformerTransformer模型通常使用标准的QKV三件套进行计算,但是部分来自K的token与来自Q的token并不相关,如果仍然对这些token进行特征聚合计算会影响图像修复的性能。
  • 2023-08-27解决wsl正确安装torch_sparse、torch_scatter的问题
    快速解决torch_sparse、torch_scatter安装并正确使用的问题我们如果直接进行pipinstall后,会因为pip的机制自动下载最新版本的其他依赖,例如torch等cuda版本。所以我们需要找到对应自己电脑的cuda版本的模块whl,进行离线安装。找到对应版本打开https://pytorch-geometric.com/wh
  • 2023-08-26Sparse R-CNN
    DETR是一个简洁的pipeline,但有一部分操作还是Dense的DETR提出了一套不同于DensePrediction的pipeline,将检测视为一个SetPrediction问题,成功去掉了AnchorGeneration和NMS但是在Decoder中,ObjectQuery和FeatureMap上每一个点要算一次CrossAttention,这个计算过程同样是Dense的。
  • 2023-05-26RMQ 问题的两种实现办法(线段树查询和稀疏表(Sparse Table表)查询)
    引言RMQ算法(RangeMinimum/MaximumQuery)是静态区间极值查询的高效算法,在各种算法竞赛中常常出现,虽然不会单独拿出来做一个题,但是经常作为题的一部分。依据所需实现的不同性能可以有多种写法,这里主要讲基于线段树和稀疏表(SparseTable)的两种方法。线段树实现RMQ线段树是维护
  • 2023-05-17git只监控一部分文件
    参考资料:https://stackoverflow.com/questions/600079/how-do-i-clone-a-subdirectory-only-of-a-git-repository有的时候自己的git仓库写的太臃肿,自己都看的心烦,但是又改不动。此时如何操作,能实现只gitclone很大仓库的一部分,或者说git只监控一部分文件?mkdi
  • 2023-04-19提高rust的crates构建速度
    一直以来rust的crates构建速度都比较慢,因为rust把crates库的索引保存到了GitHub上面(https://github.com/rust-lang/crates.io-index)。而国内访问GitHub速度比较慢,其次是下载crates依赖时,是要完全同步这个仓库才能执行下一步的。即使你只需要下载一个库,也要先同步整个GitHub re