首页 > 其他分享 >kettle从入门到精通 第三十三课 再谈 kettle 表输出 分区/分片

kettle从入门到精通 第三十三课 再谈 kettle 表输出 分区/分片

时间:2024-01-23 15:14:25浏览次数:31  
标签:表中 分区 kettle 字段 日期 分区表 分片 第三十三

1、之前第九章有讲过kettle 表输出步骤,里面有简单的提到过表输出步骤里面的表分区设置,这里详细介绍下。

  表分区数据:选择此选项可根据“分区”字段中指定的日期字段的值将数据拆分到多个表中。选择此选项后,数据将插入到表中,这些表的名称遵循<target table>_<date format>模式,如trade_info_20240101。在运行转换之前,必须手动创建这些表,以便在这些表中插入数据。

 分区字段:指定要用于确定如何在多个表中拆分值的日期字段。此值用于生成要插入数据的日期表名称。

 每个月分区数据和每天分区数据是互斥的,只能二选一,分区表需要自行创建哦,参考如下截图

2、分区表需要提前手动创建,不然会提示如下错误。

 

3、分区字段的类型一定需要时日期类型的,不然会提示如下错误

 

 4、若表中的分区字段不是日期类型,也可以通过kettle相关步骤(如javascript)转换为日期类型的字段供表输出使用,也可以达到同样的效果

提前创建好分区表以及正确设置分区字段类型之后正常运行,如下所示

 

 

 

 

 5、上面提到的表分区仅仅是简单的日期切片,如果想实现更复杂的分片策略,自己利用kettle步骤自定义设计灵活实现即可。

 

 

标签:表中,分区,kettle,字段,日期,分区表,分片,第三十三
From: https://www.cnblogs.com/zjBoy/p/17979251

相关文章

  • Kettle
    Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个......
  • reids分片技术cluster篇
    为什么学redis-cluster前面两篇文章,主从复制和哨兵机制保障了高可用就读写分离,而言虽然slave节点扩展了主从的读并发能力但是写能力和存储能力是无法进行扩展,就只能是master节点能够承载的上限。如果面对海量数据那么必然需要构建master(主节点分片)之间的集群同时必......
  • kettle从入门到精通 第三十一课 mysql 数据连接连接池配置
    无论开发应用程序还是做ETL研发,都离不开连接池的应用,如下是kettle中mysql连接池设置界面,今天重点讲解下连接池中的参数配置。defaultAutoCommit当defaultAutoCommit参数设置为true时,表示连接会自动提交每个单独的SQL语句,这意味着每个语句都将被当作一个独立的事务自动提交......
  • Mac M2 KETTLE 请求HTTPS接口 SSL 证书错误
    获取证书安装证书sudo/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home/jre/bin/keytool-import-aliascarpooling-keystore"/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home/jre/lib/security/cacerts"-file/Users/jimog......
  • Kettle用查出来的数据自动创建表
    Kettle在表输入的时候,写好很复杂的SQL,有种场景,就是想把这个很复杂的查出来的数据,自动创建一个表。其实,操作步骤不复杂。跟着我来做就是了。1,新建表输出,Shift按住,从表输入拖动箭头到表输出,打开表输出属性,指定数据库,输入需要创建的目标表名。2,点击右下角SQL,自动出来创建表的语句。......
  • Vue实现大文件分片上传,包括断点续传以及上传进度条
    首先解释一下什么是分片上传分片上传就是把一个大的文件分成若干块,一块一块的传输。这样做的好处可以减少重新上传的开销。比如:如果上传的文件是一个很大的文件,那么上传的时间应该会比较久,再加上网络不稳定各种因素的影响,很容易导致传输中断,用户除了重新上传文件外没有其他的办法......
  • PDF.js实现按需分片加载pdf文件-包含前后端开发源码和详细开发教程
    PDF.js实现按需分片加载pdf文件-包含前后端开发源码和详细开发教程:https://blog.csdn.net/qq_29864051/article/details/130742657?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170529842016800186594900%2522%252C%2522scm%2522%253A%252220140713.130102334..%252......
  • kettle从入门到精通 第三十课 mysql 数据连接常用配置
    1、我们平常用的最多的数据库就是mysql了,这里我以mysql为例说下数据库连接池配置。为啥要用连接池,因为数据库建立连接很费性能,所以就建立连接池(提前建立好一批连接)缓存起来提高性能。下图中mysql的设置参数,提前是需要把mysql的jar(如mysql-connector-java-8.0.20.jar)放到kettle文......
  • es手动迁移分片
    主分片未分配      由于是索引的主分片未能分配,导致集群一直处于red状态         1.查看未分配的分片信息      curl-uelastic:111111--insecurehttps://10.32.3.3:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reas......
  • 利用Kettle按需分发邮件
    一、需求:全量数据发送给A邮箱,再把各个供应商的数据发送给各个供应商的邮箱全量数据发送到a邮箱b的数据发送b邮箱c的数据发送c邮箱d的数据发送d邮箱二、实现思路:从全量的Excel里根据name字段保存成每个对应名字的Excel文件,再把各个Excel文件发送到对应的邮箱提前准备两个Exce......