首页 > 其他分享 >kettle从入门到精通 第二十六课 再谈 kettle Transformation executor

kettle从入门到精通 第二十六课 再谈 kettle Transformation executor

时间:2023-12-25 09:01:38浏览次数:48  
标签:rows 步骤 kettle executor 100 Transformation

 1、前面文章有学习过Transformation executor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。

 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation executor步骤,最后Speed 列表示处理速度,很明显440 远远小于上有步骤kafka的处理速度1567,此处就是瓶颈。

 

 3、非常重要的一个性能属性配置Row grouping,如下图所示:

 Number of rows to send to transformation:

指定一个数字,表示每N行数据执行一次任务,并将这N行数据传递给转换步骤进行处理。这里默认是1,表示一笔一笔的处理,速度非常慢,可以根据自己的要求设置大一点的数,如100,但是如果数据达不到100条,会一直等待直到数据满100条才会进行处理。

 Field to group rows on 指定一个用于分组行的字段。只要字段值保持不变,行将被收集到同一组中。如果值发生变化,将执行转换步骤,并将累计的行传递给转换处理。   Duration time when collecting rows

请指定一个毫秒级的时间。这个值表示在执行转换之前,步骤将花费多少时间来收集行数据。这个参数也尝试用过但未达到效果,有使用过的朋友可以@我交流。

  总结: Number of rows to send to transformation 参数设置大些,可以提高性能。  

标签:rows,步骤,kettle,executor,100,Transformation
From: https://www.cnblogs.com/zjBoy/p/17920801.html

相关文章

  • Netty源码学习9——从Timer到ScheduledThreadPoolExecutor到HashedWheelTimer
    系列文章目录和关于我一丶前言之前在学习netty源码的时候,经常看nettyhash时间轮(HashedWheelTimer)的出现,时间轮作为一种定时调度机制,在jdk中还存在Timer和ScheduledThreadPoolExecutor。那么为什么netty要重复造轮子昵,HashedWheelTimer又是如何实现的,解决了什么问题?这一篇将从T......
  • kettle从入门到精通 第二十四课 kettle 部署生产常用命令
    一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integrationvi~/.bash_profileexportKETTLE_HOME=/xxx/data-integration/configsource~/.bash_profileecho$KETTLE_HOME二、启动carte命令1、cd/xxx/data-integration./carte.sh./pw......
  • Mac M2 启动 kettle web 服务 cart
    查看本地资料库配置<?xmlversion="1.0"encoding="UTF-8"?><repositories><connection><name>dses_etldb</name><server>10.132.81.199</server><type>MYSQL</type><access&g......
  • kettle组件控制操作MySQL
    使用kettle执行脚本:然后保存执行实现以下效果;转换参数:实现变量转换:deletefromtestwhereuserid='${userid}';实现效果:100被删除......
  • gitlabrunner之executor配置拉取镜像的账户密码
    dockerexecutor$catconfig.toml......[[runners]]environment=["DOCKER_AUTH_CONFIG={\"auths\":{\"registry.xxx.com\":{\"auth\":\"dmlwZXIucm9ib3QuZG9ja2VyOlNUYWkyMDIzLm\"}}}"]......k8sexec......
  • kettle更新组件(insert_update)
    2种装载方式:全量装载和增量装载插入更新与表到表区别:表到表:只追加数据,不管表里重不重复插入更新:对比关键字段,更新所有数据(不会删除)创建数据流:需求:表输入组件只是将数据追加装载到表中,并不是我们想要的更新数据:如下:插入/更新匹配关键字id=id保留关键字的字段,用来匹......
  • Executors.newFixedThreadPool(int nThreads)存在的缺陷
    一般来讲是不推荐直接使用JAVA提供的Executors类来初始化线程池,如果有需要可以自行通过ThreadPoolExecutor来封装进行初始化。可以用newFixedThreadPool(intnThreads)来简单分析下。看一下源代码不难发现,问题的原因在于此方法返回的ThreadPoolExecutor使用的阻塞队列是Linked......
  • kettle从入门到精通 第二十三课 kettle carte 错误(java.lang.OutOfMemoryError: GC ov
     1、Couldnotemitbufferduetolackofrequests(无法发出缓冲区,因为请求不足。)原因有两点:1)消费者处理数据能力较弱,如表输出步骤。2)消费者没有处理数据,如传递的数据中有字段type=1的数据,这种情况没有处理。解放方案:针对1)采用多线程处理和开启批量提交,如下图所示批量插入......
  • kettle从入门到精通 第二十二课 kettle carte web服务中文乱码
    在windows上面carte服务的canvas画布展示的中文正常,但是在linux上面中文展示乱码,如下所示:原因:linux机器缺少字体所致。kettle源码中使用字体: 解决方法: 安装字体即可,无需重启机器,如果不生效,试着重启下carte服务,参考如下连接安装字体https://blog.csdn.net/weixin_42477......
  • XXL-JOB executor未授权访问漏洞
    XXL-JOB概述XXL-JOB是一个开源的分布式任务调度平台,支持定时任务和分布式任务。该平台提供了一套可视化的任务管理界面,方便用户配置和监控任务的执行情况。漏洞概述漏洞影响版本:<=2.2.0executor默认没有配置认证,未授权的攻击者可以通过RESTfulAPI接口执行任意命令。此漏洞......