首页 > 其他分享 >kettle从入门到精通 第八十九课 ETL之kettle kettle jms activemq使用教程

kettle从入门到精通 第八十九课 ETL之kettle kettle jms activemq使用教程

时间:2024-09-29 17:48:12浏览次数:9  
标签:Destination activemq jms kettle JMS 所示 ActiveMQ 第八十九

 场景:群里有小伙伴求助jms activemq如何使用kettle 进行消费数据,之前连接过kafka,rabbtimq,想着activemq应该也没啥难度,结果低估了activemq。盘他!!!

插曲:ActiveMq 有两个版本:ActiveMQ Classic和ActiveMQ Artemis两个版本,kettle 中的jms插件连接activemq只支持ActiveMQ Artemis,结果我没有看官方文档一直用kettle 连接ActiveMQ Classic。。。

 1、ActiveMQ Artemis服务安装(windows环境)

1)从官方地址(https://activemq.apache.org/)进行下载,注意选择合适的版本和本地jdk的版本。

 2)解压文件 依次执行如下命令即可启动ActiveMQ服务

cd path/to/apache-artemis-<version>/bin

artemis create mybroker

cd mybroker/bin

bin/artemis run

3)测试JMS producer生产者(queue模式),如下图所示:

 4、通过生成记录步骤产生一条数据,message为{"name":"java小金刚"},如下图所示:

 5、JMS producer设置,如下图所示:

Connection选择ActiveMQ

JMS URL设置为tcp://127.0.0.1:61616,通过tcp协议进行交互

Destination type:选择queue

Destination name:自定义设置,这里设置test

Message field:选择生成记录步骤中的输出字段message

 6、保存&运行,数据正常写入activemq中间件,如下图所示:

 7、测试JMS consumer消费者(queue模式),如下图所示:

8、JMS consumer设置(queue模式),如下图所示:

Transformation:设置子转换读取流数据,子转换使用到的步骤为Get records from stream

Connection选择ActiveMQ

JMS URL设置为tcp://127.0.0.1:61616,通过tcp协议进行交互

Destination type:选择queue

Destination name:和生产者保持一致,这里设置test

保存&运行,可以正常消费到数据

9、测试JMS producer生产者(topic模式),如下图所示:

Destination name:自定义设置,这里设置test.topic

 10、保存&运行,数据可以正常写入activemq,如下图所示:

 

11、JMS consumer设置(topic模式),如下图所示:

Destination type:选择topic

Destination name:和生产者保持一致,这里设置test.topic

保存&运行,可以正常消费到数据

注意:在测试的时候先启动JMS consumer,然后使用JMS producer 推送数据。

12、activemq 使用amqp协议进行连接,调整url为amqp://127.0.0.1:5672,从错误信息来看kettle原生步骤不支持amqp协议,如下图所示:

 

 

标签:Destination,activemq,jms,kettle,JMS,所示,ActiveMQ,第八十九
From: https://www.cnblogs.com/zjBoy/p/18434062

相关文章

  • kettle从入门到精通 第八十八课 ETL之kettle kettle连接sqlserver彻底搞明白
    场景:时不时群里面会有小伙伴咨询使用kettle连接mssqlserver数据库,折腾很久浪费时间,今天刚好有时间把这一块梳理下,希望能让大家节省时间提高效率。 1、首先要知道连接sqlserver有两种方式,JTDSjdbc驱动和微软的原装驱动,如下图所示: 兼容性:jTDS:jTDS兼容旧版本的SQLSer......
  • kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传
    1、kettle本身文件上传功能不是很友好,甚至是不能直接使用,需要调整文件上传接口才可以正常接收到文件,本次讲解内容主要是通过自定义插件解决这个问题。2、通过springboot编写简单demo,模拟文件上传,接口支持三个参数unitCode、password、和文件dataFile。 java代码如下:@Po......
  • kettle从入门到精通 第八十六课 ETL之kettle kettle调用https接口忽略SSL校验
     1、在使用kettle调用接口的时候不可避免要调用http或者https接口,调用http接口kettle可以正常工作,但是遇到https接口的时候kettle就会提示证书有误,无法正常调用接口,今天咱们一起通过自研插件的方式来解决这个问题。自研插件需要有一定的java基础,git上有比较多的例子,本次不讲解如......
  • 使用Kettle对Excel进行数据处理
        下载:示例用Excel文件(密码:awov)示例用工程文件    ps:每一个都可以预览哦。......
  • Kettle的实战练习指南:从数据导入到ETL自动化
            在数据集成和数据仓库建设中,Kettle作为一个强大的开源ETL工具,提供了灵活的数据抽取、转换和加载功能。本文将通过实战案例,详细介绍Kettle在数据导入、ETL流程设计、自动化任务调度等方面的应用。一、数据导入1.SQL语句导入导入sql语句,支持拖拽加入你......
  • Kettle的安装与基本使用
    什么是Kettle?        Kettle最早是一个开源的ETL(Extract-Transform-Load的缩写)工具,全称为KDEExtraction,Transportation,TransformationandLoadingEnvironment。是一个功能丰富的ETL工具,它允许用户轻松地进行数据抽取、转换和加载。后来Kettle重命名为PentahoD......
  • 六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移
            在数据集成和数据仓库建设中,ETL(Extract,Transform,Load)工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较,并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1.DataPipeline设计及架构:专为超大数据量、高度复杂的数据链路设计的灵活、可扩......
  • kettle从入门到精通 第八十五课 ETL之kettle kettle中javascript步骤调用外部javascri
     场景:交流学习群里面有小伙伴咨询kettle中的javascript代码步骤如何调用外部js文件中的函数,觉得有点意思的,于是就抽时间整理了一下。 1、外部js文件为test.js,代码如下:functiontest(param){return"接收到了参数"+param;}2、当时没有过多考虑,在本地简单写了个demo测......
  • Kettle
    一、Kettle简介Kettle(又名:PentahoDataIntegration)是一款国外开源的ETL工具。Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。kettle是纯java开发,开源的ETL工具,用于数据库间的数据迁移。可以在Linux、Windows、Unix中运......
  • Kettle 发送Http请求获取数据,并保存到db
    布局图 1.Generaterows:设置请求参数 2.配置第一个接口(登录)- POST  2.1.往请求head中插入数据2.2.从响应的head中读取数据  2.3.对获取的数据进行处理 3.配置第二个接口(获取数据)-GET 3.1.从响应的结果中,反序列化数据  5.保存到DB Reference:......