• 2024-07-02LLaMA-Factory/scripts/length_cdf.py 源码解析
    这段代码定义了一个函数 length_cdf,用来计算和打印数据集样本长度的累积分布函数(CDF),并在脚本直接运行时通过 fire 库将该函数暴露为命令行接口。我们逐行解释这段代码:python复制fromllmtuner.dataimportget_datasetfromllmtuner.hparamsimportget_train_argsfrom
  • 2024-07-01昇思25天学习打卡营第13天| 数据变换 Transforms
    IT专业入门,高考假期预习指南七月来临,各省高考分数已揭榜完成。而高考的完结并不意味着学习的结束,而是新旅程的开始。对于有志于踏入IT领域的高考少年们,这个假期是开启探索IT世界的绝佳时机。作为该领域的前行者和经验前辈,你是否愿意为准新生们提供一份全面的学习路线图呢?快来
  • 2024-07-01springboot使用itextpdf+jfreechart制作PDF文档
    1.springboot引入的依赖组件项目中需要引入itextpdf和jfreechart两个组件,版本根据项目所需进行引入,maven组件版本查询可根据如下地址进行查询:maven组件查询<dependency><groupId>com.itextpdf</groupId><artifactId>itextpdf</artifactId><vers
  • 2024-06-30《昇思25天学习打卡营第3天 | 数据集 Dataset》
    《昇思25天学习打卡营第3天|数据集Dataset》《昇思25天学习打卡营第3天|数据集Dataset》《昇思25天学习打卡营第3天|数据集Dataset》什么是数据集MindSpore的数据集数据集加载数据集迭代数据集常用操作mapbatch自定义数据集可随机访问数据集可迭代数据集生成
  • 2024-06-30《昇思25天学习打卡营第4天 | 数据变换》
    《昇思25天学习打卡营第4天|数据变换》目录《昇思25天学习打卡营第4天|数据变换》数据变换TransformsCommonTransformsComposeVisionTransformsRescaleNormalizeHWC2CHWTextTransformsPythonTokenizerLookupLambdaTransforms数据变换Transforms通常情
  • 2024-06-30《昇思25天学习打卡营第3天 | 数据集 Dataset》
    学习内容:MindSpores数据集相关处理方法MindSpores提供基于Pipeline的数据引擎,通过数据集(Dataset)和数据变换(Transforms)实现高效的数据预处理。其中Dataset是Pipeline的起始,用于加载原始数据。mindspore.dataset提供了内置的文本、图像、音频等数据集加载接口,并提供了自定义
  • 2024-06-30《昇思25天学习打卡营第4天 | 数据变换 Transforms》
    学习内容:MindSpore提供不同种类的数据变换通常情况下,直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指
  • 2024-06-24'MMDetection3D'+'waymo-open-dataset-tf-2-6-0'+'pytorc2.3.1+cu121'安装
    安装pytorc2.3.1+cu121步骤1.创建并激活一个conda环境condacreate-nmmdpython=3.8-ycondaactivatemmd步骤2.基于PyTorch官方说明安装PyTorch,例如:pip3installtorchtorchvisiontorchaudio--index-urlhttps://download.pytorch.org/whl/cu121步骤3.验
  • 2024-06-23【异常错误】ValueError: rdkit.Chem.rdchem.BondType.DATIVE is not in list
    在处理MoleculeNet_datasets的HIV数据集的时候出现了下面的错误:35275352763527735278Traceback(mostrecentcalllast):File"data/MoleculeNet_datasets/splitters.py",line283,in<module>dataset=MoleculeDataset(f'{data_path}',dataset=f'
  • 2024-06-23image-classification-dataset
    importtorchtextfromtorchvisionimporttransformsfromtorch.utilsimportdatafromd2limporttorchasd2limporttorchvisiontrans=transforms.ToTensor()fashion_mnist_train=torchvision.datasets.FashionMNIST("../data",
  • 2024-06-22训练准备工作(六)
    deftrain_model(model,dataset,cfg,validate=False,test=dict(test_best=False,test_last=False),timestamp=None,meta=None):"""Trainmodel
  • 2024-06-22Transformers--4-37-中文文档-一-
    Transformers4.37中文文档(一)原文:huggingface.co/docs/transformers开始吧
  • 2024-06-21【MindSpore学习打卡】初学教程-04数据集 Dataset-使用MindSpore实现高效数据加载与预处理
    在深度学习的世界里,数据是模型训练的根基。高质量的数据输入不仅能提升模型的性能,还能加速训练过程。MindSpore提供了一个强大的数据引擎,通过数据集(Dataset)和数据变换(Transforms)实现高效的数据预处理。本文将详细介绍如何使用MindSpore加载和处理数据集,并通过具体的示例
  • 2024-06-20昇思25天学习打卡营第1天 | 快速入门
    官网完整版代码详解题外话:这几天人工智能实训,在学深度学习,我觉得蛮像的过程理解:1.数据预处理1.1load数据集1.2查看数据集对象的结构和类型1.3数据变换MindSpore的dataset使用数据处理流水线(DataProcessingPipeline),需指定map、batch、shuffle等操作。使用map对图像数据
  • 2024-06-20昇思25天学习打卡营第2天|张量、数据集和数据变换
    张量Tensor张量(Tensor)是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在
  • 2024-06-19windows本地部署dify
     Dify与之前的MaxKB不同,MaxKB可以实现基础的问答以及知识库功能,但是如果要开发一个Agent,或者工作流就还是需要额外开发,而Dify是一个开源LLM应用开发平台。其直观的界面结合了AI工作流、RAG管道、代理功能、模型管理、可观察性功能等,让您可以快速从原型开发到生产。以下
  • 2024-06-18目标检测——室内服务机器人LifelongSLAM数据集
    引言亲爱的读者们,您是否在寻找某个特定的数据集,用于研究或项目实践?欢迎您在评论区留言,或者通过公众号私信告诉我,您想要的数据集的类型主题。小编会竭尽全力为您寻找,并在找到后第一时间与您分享。OpenLORIS-SceneDataset推动室内服务机器人定位技术的新里程碑随着科技
  • 2024-06-17服务器从hugging face下载数据集失败
    问题服务器没法下载外网数据导致huggingface的load_dataset下载失败。解决方法没找到load_dataset的源代码,想办法本地下载并上传到服务器,服务器从本地使用数据集。示例:dataset=load_dataset("mit-han-lab/pile-val-backup",split="validation")将该路径下的文件下载到本
  • 2024-06-16Nivdia向量数据库图检索最新标杆——CAGRA
    本文连接:https://wanger-sjtu.github.io/CARGA/CAGRA 是N社在RAFT项目中最新的ANN向量索引。这是一种高性能的、GPU加速的、基于图的方法,尤其是针对小批量情况进行了优化,其中每次查找只包含一个或几个查询向量。与其他像HNSW、SONG等这类基于图的方法相似,CAGRA在索引训练
  • 2024-06-15超详细的glm-4微调过程和代码之最强落地经验总结
    GLM-4是智谱AI在2024年推出的新一代基座大语言模型,该模型在整体性能上相比上一代有显著提升,接近GPT-4的水平。GLM-4具有多项先进特性,包括更强的多模态处理能力、支持更长上下文输入(最长可达128k)等,展示了国产大模型在技术和创新应用方面的最新进展。微调(Fine-tuning)是自然语言
  • 2024-06-15【NLP-08】NLP的语料库整理
    史上最全开源中文NLP数据集:包括10大类、142条数据源,总有你钟意的那一款,后续将会对数据集进行动态更新;本项目中的NLP数据集囊括了NER、QA、情感分析、文本分类、文本分配、文本摘要、机器翻译、知识图谱、语料库以及阅读理解等10大类共142个数据集。具体而言,对于每
  • 2024-06-14DataSet 数据集的使用
    语法: publicstaticDataTableExecuteTable(stringsql){using(SqlConnectionconn=newSqlConnection(connStr)){conn.Open();SqlCommandcmd=newSqlCommand(sql,conn);Sql
  • 2024-06-13R:microtable包随机森林
    rm(list=ls())setwd("C:\\Users\\Administrator\\Desktop\\New_microtable")#设置工作目录library(microeco)library(magrittr)library(dplyr)library(tibble)feature_table<-read.table('Bac_species.txt',header=TRUE,row.names=
  • 2024-06-13CIFAR-100 dataset分类
    ThisdatasetisjustliketheCIFAR-10,exceptithas100classescontaining600imageseach.Thereare500trainingimagesand100testingimagesperclass.The100classesintheCIFAR-100aregroupedinto20superclasses.Eachimagecomeswitha"
  • 2024-06-12NLP实战入门——文本分类任务(TextRNN,TextCNN,TextRNN_Att,TextRCNN,FastText,DPCNN,BERT,ERNIE)
    本文参考自https://github.com/649453932/Chinese-Text-Classification-Pytorch?tab=readme-ov-file,https://github.com/leerumor/nlp_tutorial?tab=readme-ov-file,https://zhuanlan.zhihu.com/p/73176084,是为了进行NLP的一些典型模型的总结和尝试。中文数据集从THUCNews