• 2024-07-02每天五分钟深度学习:解决for循环效率慢的关键在于向量化
    本文重点上一节课程中,我们学习了多样本的线性回归模型,但是我们的伪代码实现中使用了大量的for循环,这样代码的问题是效率很低。为了克服这一瓶颈,向量化技术应运而生,成为提升程序执行效率、加速数据处理速度的重要手段。向量化技术概述向量化(Vectorization)是一种通过一次操作
  • 2024-07-02对Transformer的一些理解
    在学习Transformer这个模型前对seq2seq架构有个了解时很有必要的先上图输入和输出首先理解模型时第一眼应该理解输入和输出最开始我就非常纠结有一个Inputs,一个Outputs(shiftright)和一个OutputProbabilities,首先需要借助这三个输入/输出来初步了解该模型的运行方式。这
  • 2024-07-02AI模型大宗师Transformer的Encoder魔法棒
       在AI大模型数字王国里,有一位名叫Transformer的魔法大宗师。他有一个神奇的百宝箱,里面有很多魔法工具,其中有个工具叫Encoder,这个工具拥有一种神奇的力量,可以将复杂的输入信息进行编码,提取出关键的特征和依赖关系。   让我们来一起把这个工具掏出来细看一下,看看
  • 2024-07-02Java开发者LLM实战——使用LangChain4j构建本地RAG系统
    1、引言由于目前比较火的chatGPT是预训练模型,而训练一个大模型是需要较长时间(参数越多学习时间越长,保守估计一般是几个月,不差钱的可以多用点GPU缩短这个时间),这就导致了它所学习的知识不会是最新的,最新的chatGPT-4o只能基于2023年6月之前的数据进行回答,距离目前已经快一年的时间,如
  • 2024-07-01算法金 | Transformer,一个神奇的算法模型!!
    大侠幸会,在下全网同名「算法金」0基础转AI上岸,多个算法赛Top「日更万日,让更多人享受智能乐趣」抱个拳,送个礼在现代自然语言处理(NLP)领域,Transformer模型的出现带来了革命性的变化。它极大地提升了语言模型的性能和效率,而自注意力机制是其中的核心组件。今个儿我们将
  • 2024-07-01[3B1B]线性代数的本质
    video向量空间中的箭头,指导我们如何从起点走到终点。从二维向量开始考虑,例如\(\operatorname{transform}[2,3]\)。三维向量同理,\(\operatorname{transform}[2,3,4]\)。向量相加时,考虑本质,\(\operatorname{transform}[a,b]+\operatorname{transform}[c,d]=\operatorname{tran
  • 2024-07-01图论初步与可视化
    本讲将简要介绍图论中的基本概念,并主要讲解图论中的最短路径问题。以及如何将图论可视化目录一、图论的概念二、在线作图网站1.index介绍2.NodeCount介绍3.Graphdata三、Matlab作无向图1.无权图(每条边的权重默认为1)2.利用字符串做无权图3.有权图四、Matlab作有向图一、图论的
  • 2024-07-01RAG与LLM原理及实践(4)--- 语义相似度距离衡量的三种方式chroma示例
    语义相似度的计算是一个比较复杂的过程。今天打算先比较详细的介绍下几个相似度的距离衡量算法。相似度的排名衡量,在向量数据库vectordb的query中,被大量使用。还是直接上干货,理解下背后的逻辑和概念比较重要,后面看看源码 chromavectordb是怎么处理这个过程的。1)co
  • 2024-06-30吴恩达AI系列:教你如何用Langchain封装一本书
    教你快速上手AI应用——吴恩达AI系列教程人工智能风靡全球,它的应用已经渗透到我们生活的方方面面,从自动驾驶到智能家居,再到医疗辅助和量化交易等等。他们逐渐改变了我们的生活方式,然而,对于许多人来说,AI仍然是一个神秘且无法理解的领域。为了帮助更多的人理解并掌握A
  • 2024-06-24程序员系统入门大模型的路径和资源,看这篇就够了
    本篇文章面向对大模型领域感兴趣,又不知如何下嘴的程序员。看一下围绕大模型的应用场景和人才需求:**Prompt工程:**基于提示词对大模型的使用,会问问题就行。**基于大模型的应用(狭义的):**通过预设一些Prompt的方式做业务层应用,俗称大模型套壳。AI主播、AINPC、AI小助手。。。
  • 2024-06-23向量数据库Milvus快速入门——AIDOCZH.COM上线Milvus中文文档
    Milvus快速入门——AIDOCZH.COM上线Milvus中文文档文章目录Milvus快速入门——AIDOCZH.COM上线Milvus中文文档Milvus官方文档的中文翻译Milvus介绍什么是Milvus向量数据库?关键概念非结构化数据嵌入向量向量相似性搜索为什么选择Milvus?支持的索引和度量标准是什么?索
  • 2024-06-23CCSO
    AComprehensiveCompetitiveSwarmOptimizerforLarge-ScaleMulti-objectiveOptimizationPSOandCSO计算公式提出的CCSO主体框架通过CCL生成子代St,然后和父代合并,进行环境选择进行下一轮迭代。CCL综合竞争学习策略环境选择1.r是参考向量,初始生成种群一半大
  • 2024-06-23LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理
    LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理LLM技术图谱(LLMTechMap)是将LLM相关技术进行系统化和图形化的呈现,此图谱主要特点是“专注于技术人视角”,不求从LLM产业角度汇聚信息,而是希望让从事相关工作或是想了解LLM的技术人有一个快速
  • 2024-06-23Transformer细节(五)——详解Transformer解码器的自注意力层和编码器-解码器注意力层数据处理机制
    一、自注意力层(Self-AttentionLayer)并行处理目标序列        自注意力层的任务是计算输入序列中每个位置之间的关系,并生成每个位置的表示。这一过程可以并行处理,因为它并不依赖于前一个位置的计算结果。自注意力机制的具体步骤1.输入嵌入与位置编码      
  • 2024-06-21PCL 拟合二维椭圆(迭代法)
    文章目录一、简介二、实现代码三、实现效果参考资料一、简介一般情况,我们会用椭圆拟合二维点,用椭球拟合三维点。在n维中,这些对象被称为超椭球体,由二次方程隐式定义超椭球的中心是n×1向量C,n×n矩阵S是正定的,n×1向量X是超椭球上的任意点。矩阵S可以用特
  • 2024-06-21大语言模型 MOE 简明实现指南
    这篇文章中,我简要实现一下大语言模型的MOE模块。MOE模块位于每个GPT层中,位于注意力模块的后面,每个MOE模块包含若干个MLP模块作为专家。这些专家是稀疏的,也就是每次选择部分来调用,并不会调用全部,从而节省宝贵的算力。首先定义一些常量,通常应该在模型配置文件里面。bs=5#批
  • 2024-06-20第20篇:Milvus与数据库系统的比较与整合
    随着大数据和人工智能技术的迅猛发展,数据库技术也在不断进化。关系型数据库(RDBMS)作为传统的数据管理工具,已经在数据存储和处理领域占据了重要地位。而近年来,向量数据库(如Milvus)专为处理高维向量数据而设计,特别适用于大规模、高维数据的相似性搜索和分析。本文将详细比较Milv
  • 2024-06-20【 ARMv8/ARMv9 硬件加速系列 3.5.1 -- SVE 谓词寄存器有多少位?】
    文章目录SVE谓词寄存器(predicateregisters)简介SVE谓词寄存器的位数SVE谓词寄存器对向量寄存器的控制SVE谓词寄存器位数计算SVE谓词寄存器小结SVE谓词寄存器(predicateregisters)简介ARMv9的ScalableVectorExtension(SVE)引入了谓词寄存器(PredicateR
  • 2024-06-20RAG 如何消除大模型幻觉
    什么是大模型幻觉假设我们有一个基于大型生成模型(如GPT-3)的问答系统,该系统用于回答药企内部知识库中的问题。我们向其提出一个问题:“阿司匹林的主要药理作用是什么?”正确的答案应该是:“阿司匹林主要通过抑制环氧酶(COX)酶的活性,降低前列腺素和血栓素的生成,从而起到抗血小板
  • 2024-06-20【AI大模型】应用开发基础,学到就是赚到!_ai大模型应用开发
    前言1、了解大模型能做什么2、整体了解大模型应用开发技术栈3、浅尝OpenAIAPI的调用AI全栈工程师:懂AI、懂编程、懂业务的超级个体,会是AGI(ArtificialGeneralIntelligence通用人工智能)时代最重要的人。知识体系AI学习方法论从三个方面学习:原理、实践和认知三
  • 2024-06-201、R语言基础函数
    1.数据类型检查与转换typeof(x):检查变量x的数据类型。is.numeric(x) / is.character(x) / is.logical(x):检查x是否为数值型、字符型或逻辑型。as.numeric(x) / as.character(x) / as.logical(x):将x转换为数值型、字符型或逻辑型。2.向量操作c():创建向量,如c(1,2
  • 2024-06-17Langchain的向量索引(3)
    文章目录前言一、Chroma的优点1.易用性和集成:2.内存管理:3.功能丰富:4.内置存储和检索优化:二、FAISS的优点1.高性能:2.**灵活性**:3.GPU加速:4.社区支持和文档:三、选择Chroma还是FAISS四、使用FAISS1.安装FAISS2.使用FAISS与LangChain集成五、安装
  • 2024-06-17如何将图片转换为向量?(通过DashScope API调用)
    本文介绍如何通过模型服务灵积DashScope将图片转换为向量,并入库至向量检索服务。DashVector中进行向量检索。,通过灵活、易用的模型API服务,让各种模态模型的能力,都能方便的为AI开发者所用。通过灵积API,开发者不仅可以直接集成大模型的强大能力,也可以对模型进行训练微调,实现模型
  • 2024-06-17通过ModelScope开源Embedding模型将图片转换为向量
    本文介绍如何通过ModelScope魔搭社区中的视觉表征模型将图片转换为向量,并入库至向量检索服务DashVector中进行向量检索。ModelScope魔搭社区旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。ModelScope魔搭
  • 2024-06-16注意力机制
    遇到看不明白的地方,欢迎在评论中留言呐,一起讨论,一起进步!需掌握的前提知识:Seq2seq、编码器&解码器神经网络本文参考:【官方双语】一个视频理解神经网络注意力机制,详细阐释!在基本的编码器-解码器中,展开的LSTM会将整个输入句子压缩成单个上下文向量,这对于短句子是可行