首页 > 其他分享 >解决datax输出文件随机数后缀问题

解决datax输出文件随机数后缀问题

时间:2023-08-29 13:00:12浏览次数:42  
标签:filePrefix String 后缀 fileSuffix 编译 datax 随机数 fullFileName

原版的datax将数据库数据输出到指定文件时,会在该文件名后面加上一个随机数,不方便使用。这是datax源码中的问题,需要去 https://github.com/alibaba/DataX 下载源码并重新编译datax。参考datax源代码编译安装_程序员_IT序号网 (itno.cn)

  1. 修改./datax-master/txtfilewriter/src/main/java/com/alibaba/datax/plugin/writer/txtfilewriter/TxtFileWriter.java237行,注释掉后缀fileSuffix代码,只包含原文件名filePrefix
                String fullFileName = null;
                fullFileName = filePrefix;//only carry prefix
//                fileSuffix = UUID.randomUUID().toString().replace('-', '_');
//                fullFileName = String.format("%s__%s", filePrefix, fileSuffix);
//                while (allFiles.contains(fullFileName)) {
//                    fileSuffix = UUID.randomUUID().toString().replace('-', '_');
//                    fullFileName = String.format("%s__%s", filePrefix,
//                            fileSuffix);
//                }
                allFiles.add(fullFileName);
  1. 重编译datax:mvn -U clean package assembly:assembly -Dmaven.test.skip=true。如果发现哪个依赖(我这里是neo4jwriter和datax-example-neo4j)下不来,就在pom.xml中注释掉

  2. 编译完成后,会在./datax-master/target目录下生成datax.tar.gz文件,解压即可

标签:filePrefix,String,后缀,fileSuffix,编译,datax,随机数,fullFileName
From: https://www.cnblogs.com/nemuzuki/p/17664467.html

相关文章

  • 阿里云DataX-KuduReader插件
    1.插件介绍1.1需求背景项目中需要从另一个Kudu集群定时同步数据,尝试好几个同步方案都不顺手。Datax上也只有KuduWriter插件,就简单实现了一个KuduReader插件。插件已同步至Github,有需要的小伙伴可以参考。插件支持Kudu作为源来读取数据,利用Datax丰富的插件库,可以满足不同的写......
  • 后缀数组典题
    后缀数组典题约定:\(sa_i\)表示将所有后缀排序后第\(i\)小的后缀的编号,\(rk_i\)表示后缀\(i\)的排名,\(hgt_i=lcp(sa[i],sa[i-1])\)[NOI2016]优秀的拆分求一个字符串的子串能被拆成\(AABB\)形式的方案数,其中\(A,B\)均为字符串(\(|S|\leq300000\))。\(O(n^2)\)枚举......
  • .bat批处理(十):从路径字符串中截取盘符、文件名、后缀名等信息
    文章目录前言`%~dp0`的含义扩展字符串从字符串中截取路径、文件名脚本传参for语法扩展总结 前言又是实际开发中的问题,想要截取一个文件路径中的盘符、文件名等信息,第一反应是正则表达式?或者是split函数?这些往往都是“高级”语言中才会有的实现方法,对于批处......
  • 生成随机数
    一:生成一个16位的随机数functiongenerateRandomNumber(){varrandomNumber=Math.floor(Math.random()*10000000000000000);varrandomString=randomNumber.toString().padStart(16,'0');returnrandomString;}varrandomNum=generateRandomNumber()......
  • ios 生成一个动态的随机的头像/随机数的操作
               在写项目的时候,可能会遇到这种情况,用到集中随机的颜色,或者头像等,首先:把所需要的图片放进一个数组当中imgsAry=@[@"t1.png",@"t2.png",@"t3.png",@"t4.png",@"t5.png",@"t6.png",@"t7.png",@"t8.png"];然后根据数组的count数生成一个随机......
  • Swift - 使用arc4random()、arc4random_uniform()取得随机数
    arc4random()这个全局函数会生成9位数的随机整数1,下面是使用arc4random函数求一个1~100的随机数(包括1和100)lettemp:Int=Int(arc4random()%100)+1print(temp)2,下面是使用arc4random_uniform函数求一个1~100的随机数(包括1和100)lettemps:Int=Int(arc4random_uniform(10......
  • 自制随机数
    我昨天发现了一个好玩的东西,今天打算记录下来我们在写随机数的时候,一般会用到Random///<summary>///产生重复的随机数///</summary>publicstaticvoidPrint1(){for(inti=0;i<10;i++){Randomrd=newRandom();varrds......
  • 『学习笔记』欧拉函数、莫比乌斯函数、高位前缀和、狄利克雷前后缀和
    欧拉函数定义又叫做\(\varphi\)函数,\(\varphi(x)\)用来描述不大于\(x\)且与\(x\)互素的数的个数。性质满足一切积性函数的性质。若\(a\botb\),则\(f(a\timesb)=f(a)\timesf(b)\).能用线性筛或埃氏筛求出。\(\text{from}\1\\text{to}\n\)中与......
  • C# 短时间内随机数生成
    计算机无法生成真正意义上的完全随机数字。程序生成的所谓随机数实际上是通过一系列复杂的计算,基于一个固定的随机种子来模拟随机性,因此这些数字被称为伪随机数。换句话说,如果使用相同的随机种子,生成的随机数也会相同。常见的随机数生成方法包括平方取中法和线性同余法,而常用的随......
  • 精细解析中文公司名称:智能分词工具助力地名、品牌名、行业词和后缀提取
    精细解析中文公司名称:智能分词工具助力地名、品牌名、行业词和后缀提取中文公司名称分词工具,支持公司名称中的地名,品牌名(主词),行业词,公司名后缀提取。对公司名文本解析,识别并提取地名(place)、品牌名(brand)、行业词(trade)、公司名后缀词(suffix)。[x]补充中国三级地名,优化地名......