cloudquery 开源ETL 框架提供了基于plugin 的数据集成模式
包含的特性
- 开源，提供了sdk
- 快速，基于golang 轻量级协程,基于apache arrow
- 部署方便，就是一个独一的二进制文件
- 可扩展，cloudquery plugin 是无状态的，可以方便的扩展
说明
cloudquery 可以应用的场景还是比较多的，但是目前一些source 是不开源的（mysql，pg。。。），类似的dlt 是基于python 进行数据集成开发的工具，singer 属于一个指南，理论上可以使用任何语言开发tap 以及target
steampipe 也是一个etl 框架，属于一个zero etl 的工具，包含了pg fdw，sqlite 扩展，cli 我们可以安装插件然后基于sql 查询
参考资料
https://github.com/cloudquery/cloudquery
https://www.cloudquery.io/
https://github.com/dlt-hub/dlt
https://dlthub.com/docs/intro
https://www.singer.io/
https://github.com/singer-io
https://steampipe.io/
https://github.com/turbot/steampipe
https://www.cloudquery.io/blog/cloudquery-vs-steampipe
https://kestra.io/blogs/2023-10-11-why-ingestion-will-never-be-solved