首页 > 编程语言 >【开源】java版本BertTokenizer以及使用onnxruntime推理

【开源】java版本BertTokenizer以及使用onnxruntime推理

时间:2023-09-04 15:59:28浏览次数:53  
标签:java onnxruntime BertTokenizer results bertTokenizer onnx var

python训练的模型,转换为onnx模型后,用python代码可以方便进行推理,但是java代码如何实现呢?

首先ONNX 推理,可以使用onnxruntime

<dependency>  
  <groupId>com.microsoft.onnxruntime</groupId>  
  <artifactId>onnxruntime</artifactId>  
  <version>1.15.1</version>  
</dependency>

另外,训练的模型需要用到bert分词器,将单词和字变成token id, github上有 https://github.com/ankiteciitkgp/bertTokenizer,我们基于这个库简单改造下,来适配bert onnx模型的输入,改造后代码见: https://github.com/jadepeng/bertTokenizer

主要新增了tokenizeOnnxTensor 方法,返回适配bert模型输入的onnx tensor

完整demo代码:


public class OnnxTests {
    public static void main(String[] args) throws IOException, OrtException {
        BertTokenizer bertTokenizer = new BertTokenizer("D:\\model\\vocab.txt");

        var env = OrtEnvironment.getEnvironment();
        var session = env.createSession("D:\\model\\output\\onnx\\fp16_model.onnx",
                new OrtSession.SessionOptions());

        var inputMap = bertTokenizer.tokenizeOnnxTensor(Arrays.asList("hello world 你好", "肿瘤治疗未来发展趋势"));

        try (var results = session.run(inputMap)) {
            System.out.println(results);
            var embeddings = (float[][])results.get(0).getValue();
            for (var embedding : embeddings) {
                System.out.println(JSON.toJSONString(embedding));
            }
        }

    }
}

标签:java,onnxruntime,BertTokenizer,results,bertTokenizer,onnx,var
From: https://www.cnblogs.com/xiaoqi/p/java-bert-tokenizer.html

相关文章

  • Java中实现的栈or队列两种方式对比
    Java中实现的栈or队列两种方式对比​ 我们知道,在Java中,可以直接使用Stack来实现栈,这是一种看到名字就会自动想到栈的类,但是现代Java编程中却不推荐使用Stack来实现栈,这是为什么?首先来看一下Java中的Collection接口继承图:Stack1.线程安全,但是带来的开销大,效率低​ Stack是直接......
  • 几句话弄清楚Java参数传值还是传引用
    作者:fbysss关键字:Java传值传引用这是个老生常谈的问题了,引起过无数争论,但可以说一直没有一个令人满意的回答。有些人非要故弄玄虚,把传引用说成是栈里面放的是引用的值,说只有传值没有传引用,那看看这句经典名言吧:O'Reilly'sJavainaNutshellbyDavidFlanagan(seeResources)......
  • java时间类LocalDateTime的前世今生
                                                                        1.日期类API导学设计初衷:Java原本自带的java.util.Date和......
  • java ClassLoader笔记(一)
    作者:fbysss关键字:ClassLoader一、SunJDKClassloader体系1.层次关系Bootstrap:加载rt.jar<-Extension:加载 jre/ext/*.jar <-System:加载CLASSPATH中的jar<-UserDefined加载用户自定义包类2.特殊点  BootstrapClassLoader为C++所写,ExtensionClassLoader的parent为null,其中......
  • java 实现网址的截图
     maven引入<!--自动化测试工具,需要去其他网址下第三方包--><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.141.59</version><exclusions><exclusio......
  • 【校招VIP】前端JavaScript语言之跨域
    考点介绍:什么是跨域?浏览器从一个域名的网页去请求另一个域名的资源时,域名、端口、协议任一不同,都是跨域。跨域是前端校招的一个重要考点,在面试过程中经常遇到,需要着重掌握。本期分享的前端算法考点之大数据相关,分为试题、文章以及视频三部分。答案详情解析和文章内容可点击下方......
  • 无涯教程-JavaScript - CUBEMEMBER函数
    描述CUBEMEMBER函数从多维数据集返回一个成员或元组。使用此函数可以验证多维数据集中是否存在成员或元组。语法CUBEMEMBER(connection,member_expression,[caption])争论Argument描述Required/OptionalconnectionNameoftheconnectiontothecube-Atextstr......
  • java实现发邮件功能的三种方式
    在Java中,有多种不同的方法可以实现发送邮件的功能。以下是几种常用的方法:使用JavaMailAPI:importjava.util.Properties;importjavax.mail.*;importjavax.mail.internet.*;publicclassEmailSender{publicstaticvoidsendEmail(Stringsender,Stringreceiver,Str......
  • 无涯教程-JavaScript - CUBEKPIMEMBER函数
    描述该函数返回关键绩效指标(KPI)属性,并在单元格中显示KPI名称。语法CUBEKPIMEMBER(connection,kpi_name,kpi_property,[caption])争论Argument描述Required/OptionalconnectionNameoftheconnectiontothecube-AtextstringRequiredkpi_nameNameoft......
  • Java语言基础知识全总结
    一.Java的优点1.      跨平台性。一次编译,到处运行。Java编译器会将Java代码编译成能在JVM上直接运行的字节码文件,C++会将源代码编译成可执行的二进制代码文件,所以C++执行速度快2.      纯面向对象。Java所有的代码都必须在类中书写。C++兼具面向对象和面向过程的特......