首页 > 其他分享 >kettle动态传输多表所遇问题

kettle动态传输多表所遇问题

时间:2023-05-12 20:15:43浏览次数:41  
标签:5000 kettle 传输 多表所遇 mysql true

  客户切换服务器,涉及数据迁移。由于数据不是太庞大,不想用备份迁移来实现。

  数据库有两种,一个是mysql , 一个是clickhouse 

  所遇问题:

  1、mysql迁移时,字段为''的值,转换为null,于是有由不能为null的就报错了

  解决办法:

  C:\Users\用户名.kettle目录中找到kettle.properties,增加 KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

  2、有一张表六百万条记录,传输了一个多小时。

  解决办法:经查需要设置连接参数

  defaultFetchSize:5000
  useCursorFetch : true 相当于告诉数据库,分批读取数据,每次打包5000条回来
  rewriteBatchedStatements : true 插入数据的时候,批量插入
  useServerPrepStmts : true 启动预编译
  useCompression : true 客户端跟服务器之间的数据压缩传输 

  表输出,调整提交记录数量由1000改为10000

  主流程

  

    invok_trans

   

  runtrans

 

   setvariable

   trans_table

 

标签:5000,kettle,传输,多表所遇,mysql,true
From: https://www.cnblogs.com/bianguji/p/17396146.html

相关文章

  • 关于Xshell安装出现功能传输错误问题
    Xshell安装时出现致命错误,有关详细信息,请参阅windowsinstallerhelp或者MSDN解决方法:1、在命令行窗口输入regedit打开注册表编辑器2、找到HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control3、将RegistrySizeLimit(REG_SZ类型的)的值改为FFFFFFFF(10进制就是4294967295......
  • 网络中的数据传输模式有哪些-镭速
    数据传输模式定义了两个通信设备之间信息流的方向,也称为数据通信或定向模式,同事也规定了信息在计算机网络中从一处流向另一处的方向。在开放系统互连(OSI)层模型中,物理层专用于网络中的数据传输。它主要决定数据到达接收器系统或节点所需的数据方向。因此,在本文中,我们将了解基于......
  • mac M2 apple silicon kettle 在线http 接口执行任务
    carte和kettleCarte作为Kettle服务器的一种实现,可以方便地管理和执行转换和作业,并且可以在分布式环境中扩展使用Carte,可以通过RESTWeb服务接口进行调度和监视转换和作业。配置cartedata-integration/pwd/carte-config-master-8080.xml<slave_config><slaveserver......
  • kettle从入门到精通 第十八课 kettle Metadata Injection
    1、MetadataInjection类似于java里面的模版,设置通用的模版,通过输入不同的数据,得到不同的结果。本示例演示两个字段拼接成一个新字段。2、设置模版,设置模版时,只需要根据自己的需要拉取一些控件,以及设置控件之间的关系,无需设置控制的具体属性,有个前提用到的控件需要支持元数据注......
  • Linux文件传输FTP命令详解
    首先需要下载ftp客户端工具yuminstall-yftplftp语法ftp(选项)(参数)选项-d启动调试模式-u关闭自动认证-e不记录历史指令-i关闭交互模式-x在成功认证之后,协商密钥-n关闭自动登录功能-p传输文件模式为被动模式-v程序运行时......
  • js 实现类chatgpt流式传输
    startStreaming(){//创建XMLHttpRequest对象constxhr=newXMLHttpRequest();//设置请求的URLxhr.open('GET',"接口");//设置响应类型为text/event-streamxhr.setRequestHeader('Content-Type','te......
  • Protobuf: 高效数据传输的秘密武器
    当涉及到网络通信和数据存储时,数据序列化一直都是一个重要的话题;特别是现在很多公司都在推行微服务,数据序列化更是重中之重,通常会选择使用JSON作为数据交换格式,且JSON已经成为业界的主流。但是Google这么大的公司使用的却是一种被称为Protobuf的数据交换格式,它是有什么优......
  • Kettle使用教程
    Kettle使用教程Kettle是什么kettle原本是水壶的意思,是可以将一种类型的数据转换为另一种类型的数据,还可以对同种类型的数据进行筛选,分表操作。对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种ETL工具的使用,必不可少,这篇文章介绍的ETL工具是Kettle,现在已经更......
  • 什么是点对点传输?什么是点对多传输
    点对点技术(peer-to-peer,简称P2P)又称对等互联网络技术,是一种网络新技术,依赖网络中参与者的计算能力和带宽,而不是把依赖都聚集在较少的几台服务器上。P2P网络通常用于通过AdHoc连接来连接节点。这类网络可以用于多种用途,各种文件共享软件已经得到了广泛的使用。P2P技术也被使用在......
  • 【python】http.server搭建局域网文件传输
    1、起因  因为测试需要向平板传输apk安装文件,插数据线比较麻烦,同一局域网起个服务方便又快捷,速度也快,linux下类似 2、官网文档  python3.11  https://docs.python.org/3/library/http.server.html  python2.7(自行了解)  https://docs.python.org/2.7/......