首页 > 其他分享 >Datawhale AI 夏令营 task2语言包陷入困境

Datawhale AI 夏令营 task2语言包陷入困境

时间:2024-07-19 17:25:00浏览次数:18  
标签:task2 运算 AI batch 机器翻译 语言包 Datawhale size

 一、了解机器翻译

在运行task1时,我仅仅只是按照教程一步步走下去,不理解每一步的意义,也不懂什么叫做机器翻译。于是在task2中碰了壁。

1.机器翻译的含义

机器翻译(MT)是自然语言处理领域的一个重要分支,其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展经历了从基于规则的方法、统计方法到深度学习方法的演变过程。

2.机器翻译的发展 

当前,机器翻译正朝着更加智能化和个性化方向发展。一方面,结合上下文理解、情感分析等技术,提高翻译的准确性和自然度;另一方面,通过用户反馈和个性化学习,提供更加符合用户需求的翻译服务。同时,跨语言信息检索、多模态翻译等新兴领域也正在成为研究热点。

总的来说,机器翻译的发展历程是从规则驱动到数据驱动,再到智能驱动的过程,反映了自然语言处理技术的进步和应用需求的变化。

二、我在执行任务中遇到的困难

1.语言包下载失败

首次失败是因未正确配置环境,重复阅读步骤后,经过大佬的指导学会了配置环境的方法。

第二次失败,经过查找发现是计算机性能不够,调模式后经过一段时间正常下载了语言包。

2.脚本无法正常运行

配置好环境后,未经历预处理的数据一直运算不出结果。

第一步 减少了采样训练集的数量数据运算难度减小,控制在计算机算力范围内

第二步 调小batch-size

提供更频繁的权重更新,使模型更快地收敛;较小的batch-size提供了一种隐式的正则化效果,使模型有更好的泛化能力,还有了更大的梯度噪声,帮助模型跳出局部最优解,最终运算出正确的结果。

标签:task2,运算,AI,batch,机器翻译,语言包,Datawhale,size
From: https://blog.csdn.net/2302_79354115/article/details/140553462

相关文章

  • 打造安全新防线,商业综合体消防安全视频AI智能解决方案全攻略
    据新闻报道,7月17日四川省自贡市某百货大楼发生大火,已造成16人遇难。经初步调查,此次火灾事故由施工作业引发,具体情况正在进一步调查中。随着城市化进程的加快,商场、百货大楼等商业综合体作为城市商业活动的重要载体,其消防安全工作显得尤为重要。传统的消防安全监控方式已难以满足......
  • AI论文写作软件哪些比较好用?
    当前的AI写作软件市场上存在多款优秀的工具,它们各自具有不同的特点和优势。以下是一些被广泛认为比较好用的软件:writehelp论文写作:可以免费生成论文大纲快速完成论文初稿优点:输入题目一键生成完整论文并提供(知网、维普等定稿检测系统)论文查重报告,内容逻辑连贯性、语句通......
  • 守护安全,商业综合体消防安全视频AI智能解决方案全攻略
    据新闻报道,7月17日四川省自贡市某百货大楼发生大火,已造成16人遇难。经初步调查,此次火灾事故由施工作业引发,具体情况正在进一步调查中。随着城市化进程的加快,商场、百货大楼等商业综合体作为城市商业活动的重要载体,其消防安全工作显得尤为重要。传统的消防安全监控方式已......
  • 守护动物乐园:视频AI智能监管方案助力动物园安全与秩序管理
    一、背景分析近日,某大熊猫参观基地通报了4位游客在参观时,向大熊猫室外活动场内吐口水的不文明行为。这几位游客的行为违反了入园参观规定并可能对大熊猫造成严重危害,已经被该熊猫基地终身禁止再次进入参观。而在此前,另一熊猫基地也曾通报过游客向大熊猫活动场内扔甘蔗、石......
  • async await
    async函数返回值......
  • IC-Light:革新的AI光影魔术师,重塑图像的灵魂之光
    探索IC-Light:一款革命性的AI图像照明工具IC-Light,全称为“ImposingConsistentLight”,是一款由AI图像处理专家张吕敏(ControlNet的作者)精心开发的创新工具。主要用于控制图像光源效果,它利用先进的机器学习技术,为图像照明领域带来了前所未有的便利与创意空间。目前,发布了两种类......
  • PerFedRLNAS: One-for-All Personalized Federated Neural Architecture Search-_AAAI
    PerFedRLNAS:One-for-AllPersonalizedFederatedNeuralArchitectureSearch-AAAI'24-PerFedRLNAS背景与挑战:介绍个性化学习来解决设备异构和数据异构的问题。现有工作无法充分回答下面的两个问题:1.为什么个性化模型可以解决联邦的异构问题2.是否有标准和自动的方法来决......
  • 服务启动报错: [ main] c.a.n.c.config.http.ServerHttpAgent : no available server
    场景:一个服务,注册中心使用nacos 服务启动时报错:2024-07-1913:11:17.466ERROR32188---[main]c.a.n.c.config.http.ServerHttpAgent:[NACOSSocketTimeoutExceptionhttpGet]currentServerAddr:http://localhost:8848,err:connecttimedout2024-07-1913:11:18.......
  • JuiceFS 直连 NFS 新功能介绍,赋能 NAS 进行 AI 训练
    NAS通过提供多用户网络数据存取服务,极大地简化了数据共享和管理。而NFS作为实现这种共享的一种主流协议,尽管广泛应用,但在处理复杂的AI训练场景时常常受限于其性能和一致性问题。JuiceFS在最新的1.2版本中增加了直连NFS功能,这一创新允许JuiceFS直接利用NAS上的NFS服......
  • 500 行代码构建自己的AI搜索引擎
    500行代码构建自己的AI搜索引擎,真的可行吗?先看效果图,下面是体验地址:https://search.lepton.run/特性:内置支持LLM内置对搜索引擎的支持可定制的漂亮UI界面可共享的缓存搜索结果基础搜索引擎有两个默认支持的搜索引擎:Bing和Google。若要使用必应Web搜索API,请访问......