• 2024-10-29subword-nmt 在分子smiles分词的实践
    注意!这个只是在分子smiles(简化分子线性规范输入)上的实践。环境:Python3.7分两种方法:一.直接从github拉取subword-nmt,本地运行。(这个方法查到实验后发现不好用!)二.安装subword-nmt包(这个包已经被集成到Python的安装包里)1命令:pipinstallsubword-nmt 2使用 subword-nm
  • 2024-06-13SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text P
    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 1Introduction 2SystemOverview  3LibraryDesign 3.1LosslessTokenization  3.2Efficientsubwordtrainingandsegmentation 3.3Vocabularyidmanagement 3.4Customi
  • 2024-06-12Neural machine translation of rare words with subword units
    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract 1Introduction  2NeuralMachineTranslation 3SubwordTranslation 3.1RelatedWork 3.2BytePairEncoding(BPE) 4Evaluation 4.1Subwordstatistics 4.2Translation