如上图错误信息所示,可以看到第一次sql查询是正常的,在第二次offset偏移的时候报了网络错误。
起初的想法就是clickhouse的问题,把sql粘贴出来放入clickHouse中单独执行发现sql并无问题。然后又认为是logstash的问题并分别下载了logstash-7.3.1、logstash-7.17.15、logstash-8.11.1不同版本的logstash,网络还是依然存在,再次排查思路放在了logstash使用的clickHouse驱动上并更换了不同的驱动问题并未解决。
最后把问题指向了clickHouse数据库仔细观察clickhouse-server服务安装路径下的config.xml配置文件发现了<keep_alive_timeout>3</keep_alive_timeout>标签,发现http空闲等待时长默认是3秒,logstash底层处理的时候会超过3秒 clickHouse将会断开logstash的连接,logstash进行下次偏移时则报连接clickHouse的网络错误。
解决方案:
增加clickHouse config.xml配置文件的<keep_alive_timeout>30</keep_alive_timeout>参数
示例图:
标签:问题,TabSeparatedWithNamesAndTypes,FORMAT,网络,偶现,clickHouse,sql,logstash,clickhouse From: https://www.cnblogs.com/huigee/p/17928311.html