首页 > 数据库 >flink sql 程序消费kafka数据到mysql设置参数connector.url问题汇总

flink sql 程序消费kafka数据到mysql设置参数connector.url问题汇总

时间:2022-12-06 11:01:09浏览次数:42  
标签:url flink kafka connector mysql server true

1.问题现象:

 使用flink sql程序消费kafka数据写入mysql时,使用TVF表值函数,START_ENENT_TIME和END_ENENT_TIME 始终比消费时间小大约13小时。

解决办法

在写入mysql 的sink表时 在connector.url加上参数 “&serverTimezone=Asia/Shanghai” 。

2.问题现象:

com.MySQL.jdbc.CommunicationsException: The last packet successfully received from the server was58129 seconds ago.The last packet sent successfully to the server was 58129 seconds ago, which is longer than the server configured value of 'wait_timeout'. You should consider either expiring and/or testing connection validity before use in your application, increasing the server configured values for client timeouts, or using the Connector/J connection property 'autoReconnect=true' to avoid this problem. 

解决办法

如果连接闲置1小时 (1小时内没有进行数据库操作), mysql就会自动断开连接, 要重启flink sql  task 任务导致数据异常报错. 则需要 connection url加上参数: “&autoReconnect=true”

常用 connector.url

'connector.url' = 'jdbc:mysql://192.168.10.101:3600/dbname?autoReconnect=true&useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai',

标签:url,flink,kafka,connector,mysql,server,true
From: https://www.cnblogs.com/whiteY/p/16954606.html

相关文章

  • MySql的运行(Windows环境)
    MySql的运行(Windows环境)MySql数据库是免费、开源的关系型数据库一、MySql的下载mysql-5.7win64下载地址:https://downloads.mysql.com/archives/community/注意:这里......
  • 详解监听MySQL的binlog日志工具分析:Canal
    Canal是阿里巴巴旗下的一款开源项目,利用Java开发。主要用途是基于MySQL数据库增量日志解析,提供增量数据订阅和消费,目前主要支持MySQL。GitHub地址:https://github.com/alib......
  • Mysqlbackup 增量备份恢复示例
    适用范围5.7+方案概述在生产环境中,我们都会对数据库进行备份,我们知道ORACLE的RMAN备份很灵活,有全备,增量,归档等等备份方式!针对MYSQL来讲,也有一款自己的备份工具mysql......
  • Kafka连接配置(win)
    1、首先需要更改host映射文件地址:C:\Windows\System32\drivers\etc\hosts1)未更改时会报错1.Causedbyjava.nio.channels.UnresolvedAddressExceptionnull2.org.apa......
  • mysql基础问题三问(底层逻辑;正在执行;日志观察)
    背景:经常面试会遇到且实际工作中也会应用到的三个场景:目录:一.mysql查询时的底层原理是什么?二.如何查看正在执行的mysql语句?三.如何观察mysql运行过程中的日志信息?--......
  • MySQL
    MySQL创建数据表创建MySQL数据表需要以下信息:表名表字段名定义每个表字段语法以下为创建MySQL数据表的SQL通用语法:CREATETABLEtable_name(column_namecolumn_type);以......
  • 服务器上kafka单机版安装以及shell简单测试
    在Kafka2.8之后,引入了基于Raft协议的KRaft模式,支持取消对Zookeeper的依赖。在此模式下,一部分KafkaBroker被指定为Controller,另一部分则为Broker。这些Controller的作用就......
  • k8s笔记9(集群外beat->kafka集群:OK)
    1、helmupgrade后kibana采集不到数据,需要删除后重新INSTALL然后测试。这里打开了externalAccess参数。#helmupgradekafka-nlogging.#helm-nloggingdeletekafka......
  • 《MySQL必知必会》知识汇总三
    十三、联结表本章将介绍什么是联结,为什么使用联结,如何编写使用联结的select语句联结简单来说,联结是一种机制,用来在一条select语句中关联表,因此称为联结。使用特殊的语......
  • mysql四种连接测试
    #创建并选择数据库CREATEDATABASEshop;USEshop;#创建商品分类表CREATETABLEsh_goods_category(idINTUNSIGNEDPRIMARYKEYAUTO_INCREMENTCOMMENT'分类id',......