首页 > 其他分享 >kaggle 入侵肾脏大赛

kaggle 入侵肾脏大赛

时间:2023-08-26 14:13:51浏览次数:36  
标签:函数 训练 验证 模型 大赛 kaggle epoch 肾脏 数据

赛题任务 : 语义分割任务
赛题思路 : 构建深度学习语义分割模型完成
步骤1: 基本的语义分割模型 (FCN或UNet )、损失函数,跑通流程
步骤2 : 根据交又验证训练多个模型,完成模型结果集成
步骤3 : 对预测闻值进行搜索&可视化,改进损失函数&模型结构
步骤4 :寻找外部数据,构建预训练模型
步骤5 : 对测试集进行预测,进行伪标签训练

 

Epochs(周期): 一个 epoch 表示模型训练过程中,将训练数据集中的所有样本都用于训练一次的次数。训练一个神经网络模型通常需要多个 epoch,因为每个 epoch 都可以使模型逐步调整权重和参数,以更好地拟合训练数据。在每个 epoch 中,模型会对整个训练数据集进行前向传播、反向传播和参数更新。较小的 epoch 数可能导致模型欠拟合,而较大的 epoch 数可能导致过拟合。

Batch Size(批大小): Batch size 表示每次模型训练中使用的样本数量。在每个 epoch 中,训练数据集会被分割成多个大小为 batch size 的小批次(mini-batches)。模型的参数更新是根据每个小批次的损失函数来进行的,而不是在整个训练集上计算损失。通过使用小批次进行训练,可以加快训练过程,同时还可以利用硬件加速,如GPU的并行计算能力。较大的 batch size 可以利用硬件性能,但可能导致训练过程中的内存占用增加。

数据集( 训练集与验证集 )划分方法先切分到小尺寸,然后随机划分为训练集和验证集按照文件划分训练集和验证集,然后再切分
模型训练过程的细节:
模型网络结构 ( FCN 或 Unet,CNN网络结构 );

损失函数( Dice loss、 BCE loss )
数据切分过程
数据扩增方法

改进细节:

数据读取&数据扩增 :
按照文件读取,按照文件划分为训练集和验证集;

将没有mask的文件加入训练集

增加更强的数据扩增方法
将数据存储为jipg,方便下次使用

网络模型 :
使用UNet代替FCN,并尝试EffecientNet作为网络结构C加入SPP网络结构
训练与验证
验证精度不能单张计算Dice score,整张图计算更为精确
Dice loss不适合加入训练,不平滑

模型预测 :
多折模型集成精度收益 >单折TTA :
多折模型的预测闽值可以加入搜索过程

 

比赛进化路线
The Right way
构建比赛线下验证集,每个TIF是一折验证集(多模型集成) ;

闯值可视化与搜索函数
寻找合理的TIF拆分方法,到256、512和1024尺寸

寻找更加合适的损失函数和评价函数( 与线上一致 )
寻找更合理的模型结构
寻找更合适的结果集成方法
寻找外部数据,用于预训练
使用测试集完成伪标签训练,对公开测试集进行标注

 

标签:函数,训练,验证,模型,大赛,kaggle,epoch,肾脏,数据
From: https://www.cnblogs.com/dwletsgo/p/17658561.html

相关文章

  • 【Sword系列】第七届全国残疾人职业技能大赛样题-网络安全-古典密码
    (文章目录)前言古典密码是指使用传统的替换或移位方式对明文进行加密,例如凯撒密码、栅栏密码等。在这种加密方式中,加密密钥通常是公开的,因此易被破解。现代密码学基本上已经放弃了古典密码的加密方式,而采用更加高级的数学算法来保证加密的安全性。ASCII是一种字符编码标准,它规......
  • 荣耀大赛二
    报名:https://cloud.51cto.com/act/honor/Talents2023大家只要按照要求提交了就可以先根据这个文档报名登记https://docs.qq.com/doc/DYm9XWUpBS2hHbU9z大赛主页https://developer.hihonor.com/cn/tg/page/tg2023031504156474时间时间:8.7-8.23(用户报名)8.7-9.20前(提交作品);目标75个作......
  • 钡铼科技,为全国职业院校技能大赛增添工业网络智能控制与维护的亮点!
    如今,越来越多的企业开始意识到数字制造和工业物联网已经成为工业自动化中大规模生产的核心驱动力。这其中,工业网络作为基础设施,是实现工厂设备联网与数据采集,建设数字工厂的基础和前提,甚至成为关乎数字工厂能否真正落地并发挥实效至关重要的环节。工业网络是新型制造系统的数字化神......
  • 阿里云 X 森马 AIGC T恤设计大赛开启! 穿什么由你定,赢Airpods,作品定制联名T恤
    “关于宇宙,我所知道的最富诗意的事实之一就是,我们身体中的每一个原子都曾经存在于某一颗爆发的恒星里。组成你左手的原子和组成你右手的原子很有可能来自不同的恒星,而我们都是恒星的孩子,我们的身体是由星尘组成的。”——物理学家劳伦斯·克劳斯出自:《无中生有的宇宙》A......
  • 用户新增预测挑战赛(算法挑战大赛)(二)
    1.可视化相关:2.交叉验证:(提分技巧之一)k折交叉验证k-foldcrossvalidation 首先随机地将数据集切分为k个互不相交的大小相同的子集; 然后将k-1个子集当成训练集训练模型,剩下的(heldout)一个子集当测试集测试模型; 将上一步对可能的k种选择重复进行(每次挑一个不......
  • Kaggle发布数据科学最新报告!82%男性, 62%硕博,薪酬6位数居多
    Kaggle开发者年度报告,机器之心编辑Kaggle正式发布了2021年度报告,超过2.5万名开发者参与调查,但来自中国的Kaggle数据科学家应该并不多。这是Kaggle进行用户深度调查和公开分享结果的第五个年头。在调查过程中,超过25000名数据科学家和机器学习工程师提交了关于自身背景和......
  • 奖金丰厚 等你来拿!第六届开源创新大赛飞桨赛道下半场来啦
    最近想要充个电......
  • 【pytorch】目标检测:一文搞懂如何利用kaggle训练yolov5模型
    笔者的运行环境:python3.8+pytorch2.0.1+pycharm+kaggle。yolov5对python和pytorch版本是有要求的,python>=3.8,pytorch>=1.6。yolov5共有5种类型n\s\l\m\x,参数量依次递增,对训练设备的要求也是递增。本文以yolov5_6s为切入点,探究yolov5如何在实战种运用。1.数据集的准备roboflow......
  • 中国大学生服务外包创新创业大赛丨借 AI 之力,助“记账”难题
    一、中国大学生服务外包创新创业大赛赛事介绍中国大学生服务外包创新创业大赛,是响应国家关于鼓励服务外包产业发展、加强服务外包人才培养的相关战略举措与号召,举办的每年一届的全国性竞赛。大赛均由中华人民共和国教育部、中华人民共和国商务部和无锡市人民政府联合主办,由国家服务......
  • 计算机视觉智能中医(一):中国大学生计算机大赛二等奖中e诊简介
    文章目录1系列文章导航2写文目的3项目总体介绍3.1项目背景3.1.1创意来源3.1.2选题意义3.2系统功能3.3系统软硬件平台3.3.1系统开发平台3.3.2系统运行平台1系列文章导航系列文章2计算机视觉智能中医(二):基于mediapipe的手掌图片穴位识别系列文章3计算机视觉智能中医(三):......