- 2024-11-19基于MindSpore实现Transformer的文本机器翻译
一、前言相同的一句话,不同的人听的时候侧重点也可能不同。在自然语言处理中,根据任务内容的不同,句子中需要重点关注的部分也会不同,因而引入了注意力机制。注意力机制:判断在执行某个任务时,词在句子中的重要性,并通过注意力分数来表示词的重要程度。分数越高,说明该词对完成该任务
- 2024-11-13BLEU(Bilingual Evaluation Understudy)
BLEUBLEU(BilingualEvaluationUnderstudy)是一种常用的自动化评估机器翻译(MT)质量的指标,用于衡量机器翻译系统输出与参考翻译之间的相似度。它被广泛应用于自然语言处理(NLP)领域,特别是在机器翻译任务中,用来量化翻译结果的质量。BLEU的工作原理:BLEU是基于n-gram(即由n个词
- 2024-10-31【升华】自然语言处理架构
自然语言处理(NaturalLanguageProcessing,NLP)是指让计算机接受用户自然语言形式的输入,并在内部通过人类所定义的算法进行加工、计算等系列操作,以模拟人类对自然语言的理解,并返回用户所期望的结果。自然语言处理的目的在于用计算机代替人工来处理大规模的自然语言信息
- 2024-10-26基于lstm+taransforner机器翻译-中藏翻译-完整代码数据
项目视频讲解:基于lstm+taransforner机器翻译-中藏翻译_哔哩哔哩_bilibili数据展示: #coding:utf-8importnumpyasnpimporttensorflowastffromsklearn.model_selectionimporttrain_test_splitfromtensorflow.keras.preprocessing.textimportTokenizer
- 2024-10-26机器翻译中的上下文贡献分析:大模型的“脑内风暴”解读
- 2024-10-24DeepL翻译:全世界最准确的翻译
DeepL翻译是一款高质量的机器翻译工具,以下从产品描述、产品特色、适用人群、适用场景四个方面对其进行介绍:体验地址:DeepL翻译:全世界最准确的翻译产品描述DeepL是一家德国公司,以其高质量的机器翻译服务而闻名。它利用先进的神经网络技术,提供接近人工翻译质量的翻译结果。Dee
- 2024-10-11GUI 800 打印预览dump
3376098-使用FEATURE_NOT_SUPPORTED的RAISE_EXCEPTION转储在从假脱机到SP01的打印预览时发生-SAPforMe URE_NOT_SUPPORTED的RAISE_EXCEPTION转储在从假脱机到SP01的打印预览时发生SAPKnowledgeBaseArticle,version:9,审批日期:1
- 2024-09-30《机器翻译》
描述小晨的电脑上安装了一个机器翻译软件,他经常用这个软件来翻译英语文章。这个翻译软件的原理很简单,它只是从头到尾,依次将每个英文单词用对应的中文含义来替换。对于每个英文单词,软件会先在内存中查找这个单词的中文含义,如果内存中有,软件就会用它进行翻译;如果内存中没有,软
- 2024-09-26洛谷每日一题(P1540 [NOIP2010 提高组] 机器翻译)
原题目链接:P1540[NOIP2010提高组]机器翻译-洛谷|计算机科学教育新生态(luogu.com.cn)原题目截图:思路分析:读懂题意,直接模拟过程即可。这是一道很简单的题目。思路过程很类似模拟页面置换算法中的先进先出(FIFO)策略。因此我们很容易想到,要用队列来实现。下面是
- 2024-09-22机器翻译之seq2seq训练、预测、评估代码
目录1.seq2seq训练代码2.预测代码 3.评估代码 4.知识点个人理解 1.seq2seq训练代码seq2seq的训练代码:pytorch中训练代码一般都相同类似#将无效的序列数据都变成0(屏蔽无效内容的部分)defsequence_mask(X,valid_len,value=0):"""valid_len:有效序
- 2024-09-22机器翻译之数据处理
目录1.导包 2.读取本地数据3.定义函数:数据预处理 4.定义函数:词元化 5.统计每句话的长度的分布情况6.获取词汇表7. 截断或者填充文本序列 8.将机器翻译的文本序列转换成小批量tensor 9.加载数据10.知识点个人理解1.导包 #导包importosimporttorch
- 2024-09-18机器翻译之创建Seq2Seq的编码器、解码器
1.创建编码器、解码器的基类1.1创建编码器的基类fromtorchimportnn#构建编码器的基类classEncoder(nn.Module):#继承父类nn.Moduledef__init__(self,**kwargs):#**kwargs:不定常的关键字参数super().__init__(**kwargs)defforwa
- 2024-08-22洛谷P1540 [NOIP2010 提高组] 机器翻译答案
#include<bits/stdc++.h>usingnamespacestd;/*数据结构:队列queue 桶:标记某个单词是否出现在内存中 t[i]=false:不在t[i]=true:在对于读入的每个单词x: 如果不存在单词x 存储(入队) t[x]=true 内存中元素个数(q.size())>M: t[q.front()]=falses;
- 2024-08-19洛谷 P1540 [NOIP2010 提高组] 机器翻译
题目概括给定N个整数,和一个容量为M的“字典”,从头到尾依次翻译,每次翻译先看自家字典,没有的话再看别人的字典并存到自家字典,如果自家字典满了,当前单词的翻译会代替最早进入的。做题思路定义一个长度为M的字典数组,依次遍历N个数,每次翻译先检索字典数组,没有的话加入字典并
- 2024-08-19P1540 [NOIP2010 提高组] 机器翻译 题解
题目概括给定N个整数,和一个容量为M的“字典”,从头到尾依次翻译,每次翻译先看自家字典,没有的话再看别人的字典并存到自家字典,如果自家字典满了,当前单词的翻译会代替最早进入的。做题思路定义一个长度为M的字典数组,依次遍历N个数,每次翻译先检索字典数组,没有的话加入字典并
- 2024-07-19Datawhale AI 夏令营 task2语言包陷入困境
一、了解机器翻译在运行task1时,我仅仅只是按照教程一步步走下去,不理解每一步的意义,也不懂什么叫做机器翻译。于是在task2中碰了壁。1.机器翻译的含义机器翻译(MT)是自然语言处理领域的一个重要分支,其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展经历
- 2024-07-17Datawhale AI 夏令营-Task2
基于Seq2Seq的Baseline详解先就是安装基础包环境在这里多用上了几个库:torchtext:是一个用于自然语言处理(NLP)任务的库,它提供了丰富的功能,包括数据预处理、词汇构建、序列化和批处理等,特别适合于文本分类、情感分析、机器翻译等任务『Torch分离的NLP库』jieba:是一个中文
- 2024-07-17Datawhale AI 夏令营--NLP自然语言学习过程
Task1:首先我们先无脑跑通本次学习的第一个baseline1.本次我们使用的是魔塔社区提供的GPU进行项目推进:2.在Notebook中启用由魔塔提供的编译服务,我们运行Task1代码,随后将生成的txt文档上传到评分的NLP竞赛平台,最后会得到本次学习的第一个分数。(可能到这里很多初学者都不明白
- 2024-07-17Datawhale AI夏令营-机器翻译挑战赛
Baseline代码相关解读是否需要使用self判定的标准是是否在类中在Python中,self是一个类的实例方法中的参数,用于指代调用该方法的实例本身。在代码示例中,self并不是必需的,因为这个示例代码不是类的一部分,只是一个独立的函数调用。让我们逐步解释这些区别。类中的方法与独立的
- 2024-07-14从零入门NLP竞赛Task1学习记录
一、魔搭平台操作流程首先,通过阅读文档,我按照相应步骤进入了魔搭平台,并在GPU环境下上传了数据和代码文件。在成功运行并跑通baseline后,我发现下载的压缩包和对应代码文件的具体用途目前还不甚明了,但我相信通过后续的学习,我会逐渐理解它们的作用。在等待过程中,我顺便了解了机器
- 2024-07-12datawhale第二期夏令营基于术语词典干预的机器翻译挑战赛——baseline【笔记】
嗨!大家好,这一期我们来看一下夏令营所提供的baseline。首先,baseline是什么对于很多第一次参加datawhale夏令营的小伙伴,看到手册里发布的baseline,都会有这样的疑问。baseline是跑通比赛的第一个代码,里面用到的算法不会很复杂,更基础一些;本次baseline是构建和训练一个基于PyTorc
- 2024-07-01机器翻译及实践 进阶版:基于Transformer实现机器翻译(日译中)
机器翻译及实践进阶版:基于Transformer实现机器翻译(日译中)前言一、所需要的前置知识——Transformer1.自注意力机制1.1Query&Key&Value版注意力机制1.1.1什么是Query&Key&Value版注意力机制1.1.2为什么引入Query&Key&Value版注意力机制1.1.3如何实现Query&Key&Value
- 2024-07-01机器翻译及实践 初级版:含注意力机制的编码器—解码器模型
机器翻译及实践初级版:含注意力机制的编码器—解码器模型前言一、什么是机器翻译?二、所需要的前置知识(一).Seq2Seq1.什么是Seq2Seq2.机器翻译为什么要用Seq2Seq3.如何使用Seq2Seq3.1编码器的实现3.2解码器的实现3.3训练模型(二).注意力机制1.什么是注意力机制2.机器翻译为
- 2024-06-21自然语言处理(NLP):开启人机智能对话的钥匙
自然语言处理(NaturalLanguageProcessing,NLP)是人工智能(AI)和计算语言学的一个分支,它专注于使计算机能够理解和生成人类语言。NLP涵盖了广泛的研究领域,包括文本分析、信息抽取、文本生成、机器翻译等。随着技术的不断发展,NLP已经成为许多应用的核心组成部分,从搜索引擎到智
- 2024-06-19揭秘沟通之谜:自然语言处理(NLP)的魔法世界
自然语言处理NLP一、引言1.1定义自然语言处理(NLP)及其重要性1.2NLP在人工智能领域的地位和作用二、历史发展2.1NLP的起源和历史演变2.2关键技术突破和发展历程2.3当前NLP的发展趋势和未来展望三、NLP的主要技术和应用3.1语言模型3.2句法分析3.3语义分析3.4机器