首页 > 其他分享 >Task2:从baseline代码详解入门深度学习

Task2:从baseline代码详解入门深度学习

时间:2024-07-17 18:41:48浏览次数:10  
标签:Task2 baseline 训练 模型 seq2seq 单词 详解

Task2:从baseline代码详解入门深度学习

准备工作

数据集

数据集被划分为三种,分别是:训练集,开发集 测试集。训练集数量最多,用于训练模型,开发集用于在训练中不断调整模型的参数,架构,测试集用于测试模型

模型

  • 基于seq2seq模型
    主要由encoder decoder两部分构成使用GRU模型
    大致可以理解为encoder编码器是用来将要翻译的数据转化成一个向量,解码器再将向量转化为需要的结果(由于seq2seq结构简单,训练速度慢且上限低)
    上分方法

  • 基于transformer

    ![](D:\cc\datawhale\屏幕截图 2024-07-17 012537.png)

模型搭建和训练

在训练seq2seq模型时,最简单的上分方法就是增加训练集个数和训练次数。但也可以将数据进行预处理

预处理的思路

  • 数据清洗:例如将There's 变为There is
  • 分词:将句子分解成单词或词素(构成单词的基本组成部分,一个词素可以是一个完整的单词,也可以是单词的一部分
  • 构建词汇表:构建词汇表,给出现过的每个词分配一个唯一的索引
  • 添加特殊符号
    ![](D:\cc\datawhale\屏幕截图 2024-07-17 012748.png)

标签:Task2,baseline,训练,模型,seq2seq,单词,详解
From: https://www.cnblogs.com/myxzs/p/18308086

相关文章

  • Clarke-Wright节约算法详解与Python代码示例
    Clarke-Wright节约算法详解与Python代码示例一、算法详解Clarke-Wright节约算法(简称C-W算法),也称为节约里程法或节约算法,是由Clarke和Wright于1964年提出的一种启发式算法。该算法主要用于解决车辆路径问题(VehicleRoutingProblem,VRP),特别是在运输车辆数目不确定的情况下......
  • Nginx、LNMP万字详解
    目录Nginx特点Nginx安装添加Nginx服务Nginx配置文件全局配置HTTP配置状态统计页面Nginx访问控制授权用户授权IP虚拟主机基于域名测试基于IP测试基于端口测试LNAMP解析方式LNMP转发php-fpm解析Nginx代理LAMP解析LNMP部署示例实验环境MariaDB修改密码......
  • 小一保姆级 Python 文件操作与管理详解
    Python文件操作与管理在Python编程中,文件操作是日常任务中不可或缺的一部分。本文将介绍Python中三个重要的文件相关模块和功能:open函数、json与pickle库、以及os模块的使用。1. open 函数的使用Python中的open函数是用来打开文件的核心函数。它提供了多种......
  • TCP/IP网络模型详解
    在计算机网络领域,网络模型通常指的是OSI(OpenSystemsInterconnection)参考模型或TCP/IP(TransmissionControlProtocol/InternetProtocol)模型。这些模型描述了网络中数据传输的层次结构,便于理解和设计网络系统。1.OSI七层网络模型OSI(OpenSystemsInterconnection)七层网络......
  • 基于QEMU的LCD驱动详解
    1.使用QEMU的优点概述:使用QEMU模型LCD屏幕,可以只写驱动程序,不需要设置LCD硬件相关,也不需要映射Framebuffer。使用QEMU可以非常方便地调试内核、查看驱动程序执行过程有助于深入研究内核及驱动Linux驱动=驱动框架+硬件操作。如果硬件操作足够简单,我们就可以把精力......
  • FastJson详解
    文章目录一、FastJson介绍二、FastJson序列化API1、序列化Java对象2、序列化List集合3、序列化Map集合三、FashJson反序列化API1、反序列化Java对象2、反序列化List集合3、反序列化Map集合(带泛型)四、SerializerFeature枚举1、默认字段为null的不显示2、格式化五、@JSo......
  • 以电商、消费行业为例,详解火山引擎数智平台如何应用湖仓一体架构
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群。 随着互联网的不断发展,企业数据的使用场景也发生巨大变化,湖仓一体逐渐成为一种被广泛应用的底层数据架构。 详细来说,湖仓一体架构是一种将数据湖和数据仓库的优势结合起来的新型数据架......
  • SIP消息结构详解
    SIP协议的消息由三部分构成,分别是起始行(请求行+状态行)、消息头和消息体(正文)一.起始行1.请求消息起始行 起始行:由方法名、请求URI和协议版本组成,自身内部用逗号分割,三者之间用空格分隔。例如:INVITE sip:[email protected];user=phone SIP/2.0方法名:SIP协议定义了一系列......
  • linux下使用fdisk进行磁盘分区详解
     转载:https://www.cnblogs.com/renshengdezheli/p/13941563.html目录一.前言二.关于磁盘分区的结构三.fdisk命令详解四.使用fdisk进行磁盘分区4.1磁盘分区规划4.2fdisk进行磁盘分区4.3格式化分区4.4创建挂载点/挂载目录4.5挂载分区4.6设置开机自动挂载分区......
  • 【数据结构与算法】选择排序篇----详解直接插入排序和哈希排序【图文讲解】
     欢迎来到CILMY23的博客......