- 2024-11-11人工智能模型训练：从不同格式文件中读取训练数据集
上一篇：《研发LLM模型，如何用数值表示人类自然语言？》序言：人工智能数据工程师在采集数据时往往会使用不同的工具，因此最终得到的原始数据结构各不相同。市场上已知的数据采集和分析工具所输出的文件格式大致有几种。前面我们介绍了如何从谷歌的TFDS中提取支持的格式数据，今天将为大家
- 2024-11-09研发LLM模型，如何用数值表示人类自然语言？
上一篇：《人工智能——自然语言处理简介》序言：人工智能大语言模型（LLM）如何理解人类的自然语言？这个过程的核心在于将文本转化为计算机能处理的数值形式，经过计算，最终达到对语言的理解。起初，我们只是简单的随便用一个数字来表示一个单词或一个词根，但随着研究深入，我们发现，不同的数值表
- 2024-08-20Vue 项目 毒鸡汤 壮士可要来一碗！
项目灵感来自“聆听远方”的毒鸡汤非常简单适合Vue新童鞋按国际惯例先上图来不及解释了快把代码复制走poison-soup.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,
- 2024-08-20Vue 项目 毒鸡汤 壮士可要来一碗！
项目灵感来自“聆听远方”的毒鸡汤非常简单适合Vue新童鞋按国际惯例先上图来不及解释了快把代码复制走poison-soup.html<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><metaname="viewport"content="width=device-width,
- 2024-08-12【python学习】使用 jieba和 rank_bm25进行文本相似度计算
介绍如何使用jieba分词库和rank_bm25库中的BM25Okapi算法来计算文本相似度。我们将通过一个简单的示例，展示如何实现这一过程。准备句子列表首先，我们准备一个包含多个句子的列表：sentences=["这是一个测试句子","温格高赢得了2023环法冠军","北京奥
- 2024-07-12datawhale第二期夏令营基于术语词典干预的机器翻译挑战赛——baseline【笔记】
嗨！大家好，这一期我们来看一下夏令营所提供的baseline。首先，baseline是什么对于很多第一次参加datawhale夏令营的小伙伴，看到手册里发布的baseline，都会有这样的疑问。baseline是跑通比赛的第一个代码，里面用到的算法不会很复杂，更基础一些；本次baseline是构建和训练一个基于PyTorc
- 2024-07-03LLM大模型: RAG的最优chunk方法 — 利用本地离线LLM的embedding实现Semantic Chunking
1、RAG整个流程的核心节点如下：第一个重要的节点就是chunk。chunk最核心的目的就是把相同语义的token聚集在一起，不同语义的token互相分开，利于后续的retrieve和rerank。举个例子：今天天气很好，我和小明在一起打篮球。隔壁老王在家里看电视。小明的妈妈在家里做晚饭，晚上我
- 2024-06-18文本抄袭自动检测分析
任务描述如果你是某新闻单位工作人员（这里假设source=新华社），为了防止其他媒体抄袭你的文章，做一个抄袭自动检测分析的工具：一、定义可能抄袭的文章来源二、与原文对比定位抄袭的地方数据预处理本次实验涉及的数据预处理-数据清洗，针对content字段为空的情况，进行dropna-分词，使
- 2024-04-20Reflective journalⅡ
①Throughlearning,Ifoundsomeproblemsinwriting,suchastheabsenceoflinkingwordsbetweensentencesandthetranslationofsomesentencesisverystiff.②Secondly,IfoundthattheadditionofmusicandpicturesinthepresentationorPPTwillmak
- 2024-03-10[译]The Day You Became A Better Writer
这是在《纳瓦尔宝典》中提到的一篇文章，题目让我非常好奇。我对写作感兴趣，也想锻炼下英语，就决定翻译一下。TheDayYouBecameABetterWriterbyScottAdams当你成为一个更好的作者的那天-斯考特·亚当斯Iwentfrombeingabadwritertoagoodwriteraftertaking
- 2024-03-06大语言模型常见的文本切分之语义嵌入
语料准备选择了一篇新闻稿，有比较明显的段落区分，每个段落由若干句子构成，可用于验证切分效果。#节气释义小寒，是二十四节气中的第二十三个节气，太阳到达黄经285度时开始。《月令七十二候集解》中说：“十二月节，月初寒尚小，故云。月半则大矣。”冷气积久而寒，小寒是天气寒冷但还没有
- 2024-02-13Embedding 模型部署及效果评测
写在前面最近大模型发展迅速，与之对应的向量化需求也被带动起来了，由此社区也衍生出很多模型，本文选几款，简单做下评测。前置概念为方便读者，先简单介绍几个概念。概念1：VectorEmbedding也即向量化嵌入，举个例子：想象一下，你是一位市场研究员，职责是分析消费者的购买行为，并为你的客
- 2023-11-27js 闭包使用一例
有如下js:functionstartTimer(sentence){alert('start');sentence.longPressTimer=setTimeout(function(){alert(sentence);//此处sentence为undefined},1000);}functionendTimer(sentence){alert('end');cle
- 2023-10-09力扣-2114-句子中的最多单词数
一个句子由一些单词以及它们之间的单个空格组成，句子的开头和结尾不会有多余空格。给你一个字符串数组sentences，其中sentences[i]表示单个句子。请你返回单个句子里单词的最多数目。 示例1：输入：sentences=["aliceandbobloveleetcode","ithinksotoo","
- 2023-07-28oral speaking sentences
基本表达：Igetuptodolotsofthings.我干很多事情(问：周末你做什么)Iampassionateaboutdoingsth(喜欢做什么)Iamjustanamateur.IplayforfunIamnewtoit 放在前面的条件IfigetachangeIwillpaintwhenIgetachance,Iwillpaint
- 2023-06-02w task 2 - the tasks
UnderstandthetaskBreakthetaskintopartsMethods,techniqueslotsofpracticesfeedback Fourscoringcriteriataskresponsecoherenceandcohesionvocabularygrammar Breakthetaskintoparts250words.4paragraphsabout13sentences Intr
- 2023-04-17Bert变体--Roberta
Roberta论文地址：https://arxiv.org/pdf/1907.11692.pdfStaticvs.DynamicMaskingRoberta使用动态Mask。Bert在预处理训练数据时，每个样本会进行一次随机的mask，后续的每个训练步都采用这次mask，实际上就是每个epoch是重复的，被称为静态mask。Roberta在预处理时没有进行mask，而是
- 2023-02-04G6 Lesson2 Grammar
GrammarWhatAretheFourKindsofSentence?adeclarativesentencemakesastatement.Itendswithaperiod.Aninterrogativesentenceasksaquestion.Itends
- 2023-02-012114
一个 句子 由一些 单词 以及它们之间的单个空格组成，句子的开头和结尾不会有多余空格。给你一个字符串数组 sentences ，其中 sentences[i] 表示单个 句子 。请你
- 2023-01-161813. Sentence Similarity III
1813.SentenceSimilarityIIIAsentenceisalistofwordsthatareseparatedbyasinglespacewithnoleadingortrailingspaces.Forexample,"HelloWorld"
- 2022-10-15English Sentences
Morethan1in10AustralianshaveexperiencedlongCOVID-19:ANUstudy澳大利亚国立大学的研究:超过十分之一的澳大利亚人长期经历COVID-19Ahospitalisseenin
- 2022-10-11Description has only two Sentences
因为hduisdown所以吧这个正确性存疑的EX_BSGS暂存在这里#include<map>#include<cmath>#include<cstdio>typedeflonglongll;intgcd(inta,intb){re
- 2022-09-23BiLSTM介绍及代码实现
BiLSTM介绍及代码实现一、介绍1.1文章组织本文简要介绍了BiLSTM的基本原理，并以句子级情感分类任务为例介绍为什么需要使用LSTM或BiLSTM进行建模。在文章的最后，我们给