• 2024-07-02数据库我是这样写出来的,Java版本1,持续更新
    了解数据库的内部原理其实很不容易,大部分的读写都停留在理论文章上,因此肖哥带着大家使用Java手写一个完整的数据库,让大家了解数据库的解析器、性能分析器、认证、查询优化器,执行引擎、存储引擎、事务管理、MVCC,数据恢复等一系列功能。这个工作量比较大,属于每日1-2更新,大家如
  • 2024-07-01机器翻译及实践 初级版:含注意力机制的编码器—解码器模型
    机器翻译及实践初级版:含注意力机制的编码器—解码器模型前言一、什么是机器翻译?二、所需要的前置知识(一).Seq2Seq1.什么是Seq2Seq2.机器翻译为什么要用Seq2Seq3.如何使用Seq2Seq3.1编码器的实现3.2解码器的实现3.3训练模型(二).注意力机制1.什么是注意力机制2.机器翻译为
  • 2024-06-22CVPR2023论文速览Transformer
    Paper1TrojViT:TrojanInsertioninVisionTransformers摘要原文:VisionTransformers(ViTs)havedemonstratedthestate-of-the-artperformanceinvariousvision-relatedtasks.ThesuccessofViTsmotivatesadversariestoperformbackdoorattacksonVi
  • 2024-06-20可以免费领取tokens的大模型服务
    本文更新时间:2024年6月20日豆包大模型"亲爱的客户,模型提供方将在5月15日至8月30日期间,为您提供一次独特的机会,即高达5亿tokens的免费权益。这是我们对您长期支持的感谢,也是对未来合作的期待。"在8月30日之前可以领取5亿tokensDeepSeek|深度求索注册获500万tokens(限中国
  • 2024-06-17AI 大模型训练中,通常会采用哪些方法?(输入篇)
    某种程度来说大模型训练的核心算法就是300到400行代码,如果真正理解了并不难。下面我将带大家分析常规大模型训练有几个阶段以及在训练中一般会用到哪些方法。由上图可以看出,大模型训练主要有四个阶段:预训练、有监督微调、奖励建模、强化学习。开始的第一个阶段是预训练阶
  • 2024-06-15(26-4-01)基于OpenAI和LangChain的上市公司估值系统:OpenAI API和Langchain探索(1)OpenAI接口
    10.5 OpenAIAPI和Langchain探索接下来使用OpenAIAPI与Langchain对解析后的文档进行总结,从中提取有价值的信息。这将帮助我们更好地理解文档中的内容,包括业务情况、风险因素、财务状况分析等,并提供更简洁的概括信息。10.5.1 OpenAI接口编写文件openai_interface.py,实
  • 2024-06-15递归下降解析器在Python中的实现与应用
    1.引言递归下降解析器是一种用于解析编程语言语法的算法,它通过递归调用函数来处理语法规则。在本文中,我们将深入探讨递归下降解析器的工作原理,以及如何在Python中实现它。2.解析器简介解析器是编译器前端的核心组件之一,负责将源代码转换为编译器能够进一步处理的内部表
  • 2024-06-02关于大语言模型的最新综述
    24年2月来自Snap等公司的论文“LargeLanguageModels:ASurvey”。自2022年11月ChatGPT发布以来,大语言模型(LLM)因其在各种自然语言任务中的出色表现而备受关注。正如规模化定律所预测的那样,LLM的通用语言理解和生成能力是通过在大量文本数据上训练数十亿个模型
  • 2024-05-30深入探索令牌桶限流的原理与实践
    在当今的互联网时代,随着用户数量和请求量的不断增加,系统的性能和稳定性面临着巨大的挑战。限流算法作为保障系统稳定性的重要手段之一,被广泛应用于各种服务和应用中。限流的核心目的是对某一时间窗口内的请求数进行限制,保持系统的可用性和稳定性,防止因流量暴增而导致的系统运行缓
  • 2024-05-25大模型之战:阿里与字节的‘平民化’革命,谁将改写AI未来的价格版图?
    近期,中国大模型市场掀起了一场前所未有的降价风潮,阿里与字节跳动两大科技巨头的举动尤为抢眼。继字节跳动于上周高调宣称其大模型产品——豆包,在成本上比行业标准低99.3%后,阿里云也迅速跟进,于5月21日正式宣布对旗下的“通义千问”大模型系列进行重大价格调整。其中,旗舰级的G
  • 2024-05-15LangChain 进阶历史对话管理
    自动历史管理前面的示例将消息显式地传递给链。这是一种完全可接受的方法,但确实需要外部管理新消息。LangChain还包括一个名为RunnableWithMessageHistory的包裹器,能够自动处理这个过程。为了展示其工作原理,我们稍微修改上面的提示,增加一个最终输入变量,该变量在聊天历史记录之后
  • 2024-05-08cmd 使用笔记
    基础rem是注释set命令用于设置变量(注意不要与已存在的环境变量同名)脚本参数echo%%0=%0echo%%1=%1echo%%2=%2echo%%3=%3echo%%4=%4echo%%5=%5REMecho%%1=%1REM上面这句表示:%%1转义为%1,而%1表示第一个命令行参数setlocal开启局部
  • 2024-04-30python airllm调用本地大模型
    官方demohttps://github.com/lyogavin/Anima/blob/main/air_llm/examples/run_all_types_of_models.ipynb这里使用百川本地fromairllmimportAirLLMLlama2,AutoModelMAX_LENGTH=128#默认会去抱脸网下载,很慢,而且需要xx上网#model=AutoModel.from_pretrained("baichua
  • 2024-04-15服务限流
     概述https://javaguide.cn/high-availability/limit-request.html单机限流Guava RateLimiter用于控制并发请求速率的工具类,可以有效地实现限流功能。通过RateLimiter,我们可以轻松控制系统的吞吐量,防止短时间内请求过多而导致系统过载;<dependency><grou
  • 2024-04-08LeetCode. 逆波兰表达式求值
    根据 逆波兰表示法,求该后缀表达式的计算结果。有效的算符包括 +、-、*、/ 。每个运算对象可以是整数,也可以是另一个逆波兰表达式。说明:整数除法只保留整数部分。给定逆波兰表达式总是有效的。换句话说,表达式总会得出有效数值且不存在除数为0的情况。示例 1:输入:t
  • 2024-04-07学习SAM过程中mask decoder的信息搜集+个人理解
    SAM主要有图像编码器(imageencoder)、提示编码器(promptencoder)和掩码解码器(maskdecoder)三部分构成,前两部分都比较直观,最后的掩码解码器(maskdecoder)相对来说复杂一些。以下是搜集到的一些帮助理解掩码解码器(maskdecoder)的资料。文字讲解:SAM模型详解-知乎代码:SAM之Mas
  • 2024-04-042024年华为OD机试题-提取字符串中的最长数学表达式并计算
    提取字符串中的最长数学表达式并计算题目描述提取字符串中的最长合法简单数学表达式,字符串长度最长的,并计算表达式的值。如果没有,则返回0。简单数学表达式只能包含以下内容0-9数字,符号+-*说明1、所有数字,计算结果都不超过long2、如果有多个长度一样的,请返回第一个表达式
  • 2024-03-30Leetcode算法训练日记 | day11
    一、有效的括号1.题目Leetcode:第20题给定一个只包括'(',')','{','}','[',']'的字符串s,判断字符串是否有效。有效字符串需满足:1.左括号必须用相同类型的右括号闭合。2.左括号必须以正确的顺序闭合。3.每个右括号都有一个对应的相同类型的左括号。示例1:输入:s="()"
  • 2024-03-28【编译原理】手工打造词法分析器
    难点:如何拆词?如何定义分隔符?匹配的优先级是什么?关键点:有限自动机元素拆分解析age>=45为了入门字词是如何拆分识别的,我们举一个最简单的例子age>=45只有三种类型:标识符(age)、大于号(GE)、数字字面量(IntLiteral)使用空格分隔不同的元素思路:从左到右依次读取字符
  • 2024-03-26LeetCode刷题Day11(补卡)
    20.有效的括号题目链接:leetcode20.有效的括号文章讲解:代码随想录视频讲解:哔哩哔哩视频这题考察的是栈的使用,遍历字符串,如果是左括号存入栈中,如果是右括号则对比栈的头部是否为与之匹配的左括号,如果不是则返回false,最后若栈为空则正好匹配返回true,详细代码如下:cl
  • 2024-03-25大数据——补充关键词
    importpandasaspdimportnltkfromnltk.tokenizeimportword_tokenizefromnltk.corpusimportstopwordsfromnltk.stemimportPorterStemmerfromnltk.probabilityimportFreqDist#下载停用词列表(如果未下载的话)nltk.download('stopwords')df=pd.read_csv(&
  • 2024-03-22使用tokenizer进行数据处理的基本步骤
    一、打开data数据(以csv为例)#打开并且预处理数据(以一个四类数据一个标签的数据库为例)defdata_read(data_dir):data=pandas.read_csv(data_dir)data['content']=data['content'].fillna('')data['text']=data['content']+data[�
  • 2024-03-20代码随想录算法训练营第十一天| 20. 有效的括号、1047. 删除字符串中的所有相邻重复项、150. 逆波兰表达式求值
    题目:20.有效的括号文章链接:代码随想录视频链接:LeetCode:20.有效的括号题目链接:力扣题目链接图释:classSolution{public://有效的括号boolisValid(strings){ //遇到左括号时就放入右括号,遇到右括号时,与栈内的顶元素进行比较 //情况一:与栈顶元素相等,则是t
  • 2024-03-19150. 逆波兰表达式求值c
    intf(inta,intb,charc){if(c=='+')returna+b;if(c=='-')returna-b;if(c=='/')returna/b;returna*b;}intevalRPN(char**tokens,inttokensSize){int*stack=(int*)malloc(sizeof(int)*tokensSize);
  • 2024-03-11技术笔记(6)SourceTree Push到github时报错
    技术笔记(6)SourceTreePush到github时报错remote:SupportforpasswordauthenticationwasremovedonAugust13,2021.Pleaseuseapersonalaccesstokeninstead.​即无法通过输入账号密码的方式来验证,需要使用个人token来验证。昨晚搜到了很多无效方法,搞得有点头痛了,记