一、背景
微批治理任务分多个job治理一张表,还有一个Flink程序每5分钟一次写入iceberg表,如治理任务划分了20个job治理一张表,在治理期间存在新的数据更新,如何保证治理准确性
二、猜想待验证
1、治理和写入时快照和文件变化
snapshot_id | manifest_file | 备注 |
标签:Iceberg,写入,准确性,微批,job,治理 From: https://www.cnblogs.com/robots2/p/18306588
一、背景
微批治理任务分多个job治理一张表,还有一个Flink程序每5分钟一次写入iceberg表,如治理任务划分了20个job治理一张表,在治理期间存在新的数据更新,如何保证治理准确性
二、猜想待验证
1、治理和写入时快照和文件变化
snapshot_id | manifest_file | 备注 |
标签:Iceberg,写入,准确性,微批,job,治理 From: https://www.cnblogs.com/robots2/p/18306588