网站首页
编程语言
数据库
系统相关
其他分享
编程问答
Subword
2024-10-29
subword-nmt 在分子smiles分词的实践
注意!这个只是在分子smiles(简化分子线性规范输入)上的实践。环境:Python3.7分两种方法:一.直接从github拉取subword-nmt,本地运行。(这个方法查到实验后发现不好用!)二.安装subword-nmt包(这个包已经被集成到Python的安装包里)1命令:pipinstallsubword-nmt 2使用 subword-nm
2024-06-13
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text P
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 1Introduction 2SystemOverview 3LibraryDesign 3.1LosslessTokenization 3.2Efficientsubwordtrainingandsegmentation 3.3Vocabularyidmanagement 3.4Customi
2024-06-12
Neural machine translation of rare words with subword units
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 1Introduction 2NeuralMachineTranslation 3SubwordTranslation 3.1RelatedWork 3.2BytePairEncoding(BPE) 4Evaluation 4.1Subwordstatistics 4.2Translation