首页 > 其他分享 >3.基于Label studio的训练数据标注指南:文本分类任务

3.基于Label studio的训练数据标注指南:文本分类任务

时间:2023-03-02 19:55:11浏览次数:54  
标签:标签 label studio Label 数据 标注

文本分类任务Label Studio使用指南

1.基于Label studio的训练数据标注指南:信息抽取(实体关系抽取)、文本分类等
2.基于Label studio的训练数据标注指南:(智能文档)文档抽取任务、PDF、表格、图片抽取标注等
3.基于Label studio的训练数据标注指南:文本分类任务
4.基于Label studio的训练数据标注指南:情感分析任务观点词抽取、属性抽取

目录

1. 安装

以下标注示例用到的环境配置:

  • Python 3.8+
  • label-studio == 1.7.1

在终端(terminal)使用pip安装label-studio:

pip install label-studio==1.7.1

安装完成后,运行以下命令行:

label-studio start

在浏览器打开http://localhost:8080/,输入用户名和密码登录,开始使用label-studio进行标注。

  1. 文本分类任务标注

2.1 项目创建

点击创建(Create)开始创建一个新的项目,填写项目名称、描述,然后在Labeling Setup中选择Text Classification

  • 填写项目名称、描述

请在此添加图片描述

  • 数据上传,从本地上传txt格式文件,选择List of tasks,然后选择导入本项目

请在此添加图片描述

  • 设置任务,添加标签

请在此添加图片描述

请在此添加图片描述

2.2 数据上传

项目创建后,可在Project/文本分类任务中点击Import继续导入数据,同样从本地上传txt格式文件,选择List of tasks,详见项目创建

2.3 标签构建

项目创建后,可在Setting/Labeling Interface中继续配置标签,详见项目创建

2.4 任务标注

请在此添加图片描述

2.5 数据导出

勾选已标注文本ID,选择导出的文件类型为JSON,导出数据:

请在此添加图片描述

2.6 数据转换

将导出的文件重命名为label_studio.json后,放入./data目录下。通过label_studio.py脚本可转为UTC的数据格式。

在数据转换阶段,还需要提供标签候选信息,放在./data/label.txt文件中,每个标签占一行。例如在医疗意图分类中,标签候选为["病情诊断", "治疗方案", "病因分析", "指标解读", "就医建议", "疾病表述", "后果表述", "注意事项", "功效作用", "医疗费用", "其他"],也可通过options参数直接进行配置。

python label_studio.py \
    --label_studio_file ./data/label_studio.json \
    --save_dir ./data \
    --splits 0.8 0.1 0.1 \
    --options ./data/label.txt

2.7 更多配置

  • label_studio_file: 从label studio导出的数据标注文件。
  • save_dir: 训练数据的保存目录,默认存储在data目录下。
  • splits: 划分数据集时训练集、验证集所占的比例。默认为[0.8, 0.1, 0.1]表示按照8:1:1的比例将数据划分为训练集、验证集和测试集。
  • options: 指定分类任务的类别标签。若输入类型为文件,则文件中每行一个标签。
  • is_shuffle: 是否对数据集进行随机打散,默认为True。
  • seed: 随机种子,默认为1000.

备注:

  • 默认情况下 label_studio.py 脚本会按照比例将数据划分为 train/dev/test 数据集
  • 每次执行 label_studio.py 脚本,将会覆盖已有的同名数据文件
  • 对于从label_studio导出的文件,默认文件中的每条数据都是经过人工正确标注的。

References

标签:标签,label,studio,Label,数据,标注
From: https://www.cnblogs.com/ting1/p/17173172.html

相关文章

  • 使用Visual studio 2022 工具的项目生成不同目标平台的总结
    前几天用visualstudio2022开发了一个桌面应用程序 结果出现了如下错误,“未能加载文件或程序集或它的某一个依赖项,试图加载格式不正确的的程序”  事出必有因!!! ......
  • Visusl Studio使用技巧
    一、快捷键的使用1、使用Ctrl+K,Ctrl+E,可以清理代码,包括清理无用的using和对齐代码;也可以使用快捷按钮实现该功能,如下图:          2、......
  • QT 设置QLabel的字体颜色
    m_labelTitletext->setText("仿真系统");//设置字号QFontft;ft.setPointSize(16);m_labelTitletext->setFont(ft);//设置颜色QPalette......
  • van-picker 自定义label
    <van-popupv-model="companyShow"position="bottom":style="{height:'60%'}"><van-pickertitle="职务"show-......
  • 百度地图让标注显示在最佳视野里
    <html><head><metahttp-equiv="Content-Type"content="text/html;charset=utf-8"/><title>自动调整视野</title><scripttype="text/javascript"src="http://api.map.b......
  • Visual Studio Code 1.76 发布
    VSCode1.76已发布,此版本一些主要亮点包括:配置文件-活动配置文件徽章,通过命令面板快速切换配置文件。VSCode现在通过在管理活动栏图标上显示配置文件名称的前两......
  • Android Studio 友盟api实现apk多渠道打包
    本篇主要给大家介绍利用友盟api实现Android多渠道打包,进入友盟的官网,注册账号,添加对应的应用。1.添加友盟库的依赖2.在manifest.xml中声明appkey,以及渠道占位符3.builde......
  • Visual Studio 修改NuGet 包路径
    阅读目录修改缓存文件夹路径修改下载文件夹路径 查看Nuget包缓存及下载文件夹dotnetnugetlocalsall--list 修改缓存文件夹路径mklink/d/j"%APPDATA......
  • visual studio C++调试出现 无法启动....... 拒绝访问
    Visualstudio 调试C++控制台程序,出现无法启动。。。拒绝访问原因竟然是360安全卫士导致的,关闭后就可以启动了......
  • Rstudio 快捷键无法使用
    今天突然发现我的Rstudio很多快捷键不能使用,后面发现是因为Rstudio的快捷键与MobaXterm的快捷键起冲突了,后面关掉MobaXterm后就恢复了,如果有类似的问题可以在自己电脑打......