nlp
  • 2024-11-21自然语言处理 (Natural Language Processing, NLP) 全方位解析
    自然语言处理(NaturalLanguageProcessing,NLP)全方位解析引言自然语言处理(NaturalLanguageProcessing,NLP)是一门跨学科的技术,结合了计算机科学、人工智能和语言学,旨在使计算机能够理解、解释和生成人类语言。随着人工智能技术的发展,NLP在各个领域中的应用越来越广
  • 2024-11-21从零开始学机器学习——入门NLP
    首先给大家介绍一个很好用的学习地址:https://cloudstudio.net/columns今天我们将深入探讨自然语言处理(NaturalLanguageProcessing,NLP)这一领域。自然语言处理是人工智能的一个重要子领域,主要关注如何使机器理解和处理人类的语言,从而能够执行诸如拼写检查、机器翻译等多种任务
  • 2024-11-21【淘汰9成NLP面试者的高频面题】BPE 分词器是如何训练的?
    **【淘汰9成NLP面试者的高频面题】BPE分词器是如何训练的?**︎重要性:★★此题主要是考察面试者对分词的理解,一个好的分词器不仅能够降低词表的大小,减少OOV的出现,而且还能引入额外的先验知识,降低模型的学习难度。这是我常用的一个面试题。看似简单的基础题,但在面试中能准确回答
  • 2024-11-21【RAG 项目实战 02】 Chainlit 持久化对话历史
    【RAG项目实战02】Chainlit持久化对话历史NLPGithub项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fasterai/ai-e-book介绍:该
  • 2024-11-20【淘汰9成NLP工程师的常识题】 LSTM 如何缓解 RNN 梯度消失的问题?
    NLP学习github项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fasterai/ai-e-book介绍:该仓库主要分享了数百本AI领域电子书
  • 2024-11-20【淘汰9成NLP工程师的常识题】LSTM的前向计算如何进行加速?
    【淘汰9成NLP工程师的常识题】LSTM的前向计算如何进行加速?重要性:★★★
  • 2024-11-19【淘汰9成NLP工程师的常识题】多头注意力相对于多头注意力有什么优势?
    【淘汰9成NLP工程师的常识题】多头注意力相对于多头注意力有什么优势?重要性:★★★
  • 2024-11-18【模型部署】vLLM 部署 Qwen2-VL 踩坑记 03 - 多图支持和输入格式问题
    【模型部署】vLLM部署Qwen2-VL踩坑记03-多图支持和输入格式问题NLPGithub项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fast
  • 2024-11-17【模型部署】vLLM 部署 Qwen2-VL 踩坑记 02 - 推理加速
    【模型部署】vLLM部署Qwen2-VL踩坑记02-推理加速NLPGithub项目:NLP项目实践:fasterai/nlp-project-practice介绍:该仓库围绕着NLP任务模型的设计、训练、优化、部署和应用,分享大模型算法工程师的日常工作和实战经验AI藏经阁:https://gitee.com/fasterai/ai-e-book
  • 2024-11-16大模型应用开发基础 : 语言模型的重要里程碑
    大家好,我是Edison。最近温习了ChatGPT的基本原理和语言模型的发展脉络,受益匪浅。老规矩,必须把自己学到的整理一下,才算学过。本篇我们快速复习一下上一篇的内容再次理解基于统计的语言模型,然后再了解下语言模型发展的重要里程碑。基于统计的NLP基本玩法上一篇我们了解到,在基于
  • 2024-11-14【大模型书籍】复旦大学推出首部大模型中文专著,引领AI学习新风潮!
    前言在信息爆炸的时代,自然语言处理(NLP)技术如同璀璨的星辰,照亮了我们与机器沟通的道路。而今,复旦大学自然语言处理实验室的教授团队,如同航海家般,为我们带来了一本指引大语言模型领域前行的明灯——《大语言模型入门与实践》。
  • 2024-11-13NLP论文速读(斯坦福大学)|生成式奖励模型(Generative Reward Models)
    论文速读|GenerativeRewardModels论文信息:简介:   这篇论文探讨了如何提高现代大型语言模型(LLMs)的性能,特别是在强化学习从人类反馈(RLHF)过程中的效率和效果。RLHF方法虽然有效,但它需要大量的人类偏好数据来训练奖励模型,这不仅资源密集,而且技术上具有挑战性。此外,现
  • 2024-11-12深入浅出Word2Vec:从原理到实战,如何利用词嵌入提升NLP应用
    深入浅出Word2Vec:从原理到实战,如何利用词嵌入提升NLP应用引言:为什么Word2Vec如此重要?自然语言处理(NLP)作为人工智能中的核心领域,面临着如何将人类语言转化为机器可以理解的形式的问题。在这方面,Word2Vec模型作为一种强大的词嵌入方法,极大地推动了NLP技术的进步。通过将每个
  • 2024-11-11【杂学】先进的 NLP 技术 —— 旋转位置编码(Rotary Position Embedding,RoPE)
    Transformer已经渐渐成为目前LLM最通用底层架构之一,其中的位置编码也显得极其重要,由于注意力分数本质上是每个token的val加权和,并没有考虑其中的空间信息,因此需要在自注意力模块之前就将位置信息融合进序列中。绝对位置编码绝对位置编码是一种将序列中的每个位置进行编码
  • 2024-11-09NLP论文速读|Describe-then-Reason: 通过视觉理解训练来提升多模态数学的推理
    论文速读|Describe-then-Reason:ImprovingMultimodalMathematicalReasoningthroughVisualCompre-hensionTraining论文信息:简介:   该论文试图解决的问题是开源多模态大型语言模型(MLLMs)在复杂多模态数学推理任务中的表现不佳的问题。尽管这些模型在处理涉
  • 2024-11-08【NLP】使用 SpaCy 通过 LLM 合成数据微调 NER 模型
    在我们之前的文章“使用SpaCy、ollama创建用于命名实体识别的合成数据集”中,我们探讨了如何使用Qwen生成合成数据,以自动化命名实体识别(NER)的注释过程。通过利用合成数据,我们能够高效地准备来自SmoothNLP金融新闻数据集  的高质量数据集。现在,在这篇文章中,我们将更进
  • 2024-11-07Pytorch用BERT对CoLA、新闻组文本数据集自然语言处理NLP:主题分类建模微调可视化分析-CSDN博客
     原文链接:https://tecdat.cn/?p=38181原文出处:拓端数据部落公众号自然语言处理(NLP)领域在近年来发展迅猛,尤其是预训练模型的出现带来了重大变革。其中,BERT模型凭借其卓越性能备受瞩目。然而,对于许多研究者而言,如何高效运用BERT进行特定任务的微调及应用仍存在诸多困惑。本文
  • 2024-11-07研0找实习【学nlp】12-简历修改篇,应体现的内容
    在申请NLP实习时,简历应该突出与自然语言处理相关的技能和经验。以下是一些建议,帮助你在简历中展示你的能力:简历应体现的内容1.编程语言Python:大多数NLP库和工具都是用Python编写的,因此熟练掌握Python是必不可少的。R或Java(可选):如果你有使用这些语言的经验,可
  • 2024-11-078.2 NLP主流任务和快速实践——NLP主流任务和快速实践
    8.2NLP主流任务和快速实践——NLP主流任务和快速实践自然语言处理(naturallanguageprocessing,简称NLP)是计算机科学和人工智能领域重要的方向,自2018年BERT预训练模型被提出以来,自然语言处理领域的各项任务指标不断被刷新,甚至在一些任务上已经超过了人类的基准值,例如阅读理解
  • 2024-11-02NLP segment-05-文本相似度计算 similarity java 开源实现
    拓展阅读分词系列专题jieba-fenci01结巴分词原理讲解segmentjieba-fenci02结巴分词原理讲解之数据归一化segmentjieba-fenci03结巴分词与繁简体转换segmentjieba-fenci04结巴分词之词性标注实现思路speechTaggingsegmentjieba-fenci05结巴分词之简单聊一聊
  • 2024-11-02荣耀2025届校园招聘 AI工程师-NLP大模型 笔试
    目录1.第一题2.第二题3.第三题⏰时间:2024/10/09
  • 2024-11-02NLP论文速读|DDCoT: Duty-Distinct Chain-of-Thought Prompting for Multimodal Reasoning in Language Models
    论文速读|Duty-distinctchain-of-thoughtpromptingformultimodalreasoninginlanguagemodels论文信息:简介:   论文探讨了如何使大型语言模型(LLMs)在多模态环境中进行复杂的推理,这一直是人工智能系统的长期目标。尽管最近的研究表明,通过模仿人类思维过程的“
  • 2024-11-01NLP segment-03-基于 TF-IDF 实现关键词提取 java 开源实现
    拓展阅读分词系列专题jieba-fenci01结巴分词原理讲解segmentjieba-fenci02结巴分词原理讲解之数据归一化segmentjieba-fenci03结巴分词与繁简体转换segmentjieba-fenci04结巴分词之词性标注实现思路speechTaggingsegment关键词系列专题NLPsegment-01-聊一聊
  • 2024-11-01POLIR-Mind-Cognition-Neural Models-NLP(Neural Logic Levels) 思维逻辑层级-能给你无敌洞察力
    百知思维模型-NLP理解层次能给你无敌洞察力https://v.douyin.com/iS74bMKr/POLIR-Mind-CognitionNeuralModelsNLP(NeuralLogicLevels)思维逻辑层级能给你无敌洞察力GregoryBertson(格雷歌理,贝特森)RobertDiertz(罗伯特,迪尔磁)终于在1991年成为理解问题和解决问题
  • 2024-10-31【升华】自然语言处理架构
       自然语言处理(NaturalLanguageProcessing,NLP)是指让计算机接受用户自然语言形式的输入,并在内部通过人类所定义的算法进行加工、计算等系列操作,以模拟人类对自然语言的理解,并返回用户所期望的结果。自然语言处理的目的在于用计算机代替人工来处理大规模的自然语言信息