首页 > 数据库 >logstash抽取clickhouse数据库偶现网络错误异常并提示FORMAT TabSeparatedWithNamesAndTypes格式问题

logstash抽取clickhouse数据库偶现网络错误异常并提示FORMAT TabSeparatedWithNamesAndTypes格式问题

时间:2023-12-26 15:55:05浏览次数:35  
标签:问题 TabSeparatedWithNamesAndTypes FORMAT 网络 偶现 clickHouse sql logstash clickhouse

 如上图错误信息所示,可以看到第一次sql查询是正常的,在第二次offset偏移的时候报了网络错误。

起初的想法就是clickhouse的问题,把sql粘贴出来放入clickHouse中单独执行发现sql并无问题。然后又认为是logstash的问题并分别下载了logstash-7.3.1、logstash-7.17.15、logstash-8.11.1不同版本的logstash,网络还是依然存在,再次排查思路放在了logstash使用的clickHouse驱动上并更换了不同的驱动问题并未解决。

最后把问题指向了clickHouse数据库仔细观察clickhouse-server服务安装路径下的config.xml配置文件发现了<keep_alive_timeout>3</keep_alive_timeout>标签,发现http空闲等待时长默认是3秒,logstash底层处理的时候会超过3秒 clickHouse将会断开logstash的连接,logstash进行下次偏移时则报连接clickHouse的网络错误。

解决方案:

增加clickHouse config.xml配置文件的<keep_alive_timeout>30</keep_alive_timeout>参数

示例图:

 

标签:问题,TabSeparatedWithNamesAndTypes,FORMAT,网络,偶现,clickHouse,sql,logstash,clickhouse
From: https://www.cnblogs.com/huigee/p/17928311.html

相关文章

  • MySql的information_schema.processlist库学习之"如何检测出大数据sql查询"
    1.如何通过MySql检测出大数据sql查询一般数据库都会存在:information_schema数据库 检测出大数据sql查询[time时间越长说明,数据量越大,要根据公司的限度来衡量,我的思路是500以上都要查看是否是大数据的范畴]2.案例--检测出大数据sql查询[time时间越长说明,数据量越大,要根据......
  • kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
     1、前面文章有学习过Transformationexecutor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformationexecutor步骤,最后Speed列表示处理速......
  • C# .NET的BinaryFormatter、protobuf-net、Newtonsoft.Json以及自己写的序列化方法序
    https://www.cnblogs.com/s0611163/p/11872484.html测试结果整理后: 结论:1、这几个工具中,protobuf-net序列化和反序列化效率是最快的2、BinaryFormatter和Newtonsoft.Json反序列化慢的比较多3、Newtonsoft.Json序列化后的文件体积比较大4、Newtonsoft.Json在序列化反序列......
  • clang-format插件下载后不起作用(远程登录)
    1.下载clang-format先在服务器上下载clang-formatsudoaptinstall-yclang-format2.vscode中下载clang-format3.在与.vscode同文件夹下创建.clangformat#风格:Google,LLVM,Chromium,Mozilla,WebKit,Microsoft,GUNBasedOnStyle:Google#语言:None,Cpp,Jav......
  • An Introduction to Bioinformatics Algorithms, Neil C. Jones and Pavel Pevzner, t
    AnIntroductiontoBioinformaticsAlgorithms,NeilC.JonesandPavelPevzner,theMITPress,2004. Thisintroductorytextoffersaclearexpositionofthealgorithmicprinciplesdrivingadvancesinbioinformatics.Accessibletostudentsinbothbiology......
  • formatter 和 scope 冲突不能同时使用失效问题
    formatter 和scope冲突不能同时使用否则就会失效解决办法:自己写 formatter方法:<divv-else-if="item.prop==='file_size'"><spanv-html="formatter(scope.row.file_size,item.prop)"></span></div> methods:{formatte......
  • DateFormat
    概述{@codeDateFormat}isanabstractclassfordate/timeformattingsubclasseswhichformatsandparsesdatesortimeinalanguage-independentmanner.Thedate/timeformattingsubclass,suchas{@linkSimpleDateFormat},allowsforformatting(i.e.,date&......
  • hadoop启动时报错process information unavailable
    启动hadoop,jps查看报错[root@slave1home]#jps7798--processinformationunavailable7081--processinformationunavailable查看进程是否存在[root@slave1home]#ps-ef|grep7798root93127475023:19pts/200:00:00grep--color=auto7798......
  • Bioinformatics/ Computational Biology /biostats
    BioinformaticsComputationalBiologybiostats 对于这两个专业,我们可以从应用领域来区分:●Biostatistics生物统计学的研究方向可分为两类:统计遗传学和临床统计学;课程中与生物相关的内容很少,更重视学生的量化能力。●而Bioinformatics生物信息学与数据挖......
  • High-Efficiency Lossy Image Coding Through Adaptive Neighborhood Information Agg
    目录简介创新点内容EntropyCodingUsingMultistageContextModel模型结构残差邻域注意力块ResidualNeighborhoodAttentionBlockRNAB激活函数高斯误差线性单元激活函数GELU并行解码简介创新点IntegratedConvolutionandSelf-Attention(ICSA)unit提出集成卷积和自......