binlog_parse_clickhouse.py(ETL抽数据工具)将MySQL8.0迁移至ClickHouse
原理:
将解析 binlog 和执行 SQL 语句两个过程由两个线程来执行。
其中,解析 binlog 的线程每次解析完一个事件后通过队列将 SQL 语句传给 SQL 执行线程, SQL 执行线程从队列中取出 SQL 语句并按顺序依次执行,这样就保证了 SQL 语句的串行执行。
https://github.com/hcymysql/binlog_parse_sql/
注:clickhouse_driver库需要调用ssl,由于python3.10之后版本不在支持libressl使用ssl,需要用openssl1.1.1版本或者更高版本
参见:python3.10编译安装报SSL失败解决方法
https://blog.csdn.net/mdh17322249/article/details/123966953