首页 > 其他分享 >dlt开源数据加载工具

dlt开源数据加载工具

时间:2024-02-16 09:02:53浏览次数:26  
标签:singer python 基于 开源 dlt com dbt 加载

dlt是一个开源数据加载工具,基于python 开发

特点

  • 一个库 
    dlt 就是一个python包,其他地方需要我们自己开发
  • 非黑盒系统 
    我们可以基于代码灵活的进行自定义开发
  • 基于乘法的玩法,而不是加法
  • 自动代码生成 
    包含了类似dbt 的一些处理cli
  • 基于python 的玩法 
    dlt 对于数据的处理是基于python 开发的,同时使用上也比较符合python的玩法

官方的一个参考实践

如下图,核心是基于dlt 进行数据加载,基于dbt进行数据建模

说明

基于singer 的etl的开源方案也比较多,dlt 基于python 代码的处理也是值得尝试下的,同时dlt 与dbt 的集成也很强大,值得试用下

参考资料

https://dlthub.com/
https://github.com/dlt-hub/dlt
https://www.getdbt.com/product/what-is-dbt
https://github.com/dbt-labs/dbt-core
https://www.singer.io/
https://github.com/singer-io
https://github.com/singer-io/getting-started/blob/master/docs/SPEC.md#singer-specification

标签:singer,python,基于,开源,dlt,com,dbt,加载
From: https://www.cnblogs.com/rongfengliang/p/18012411

相关文章

  • Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
    2023年10月,我们发表了一篇关于TimeGPT的文章,TimeGPT是时间序列预测的第一个基础模型之一,具有零样本推理、异常检测和共形预测能力。虽然TimeGPT是一个专有模型,只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月,已经有了一个用于时间序列预测的开源......
  • 开源.NetCore通用工具库Xmtool使用连载 - OSS文件上传篇
    【Github源码】《上一篇》介绍了Xmtool工具库中的图像处理类库,今天我们继续为大家介绍其中的OSS文件上传类库。将本地文件上传到服务器是软件系统经常会遇到的需求,例如:设置用户头像,上传Excel报表等等;涉及到网络访问性能、存储空间等因素的考虑,通常我们会选择使用第三方的对象......
  • 书生开源大模型训练营-第2讲笔记
    1大模型及InternLM模型简介1.1什么是大模型?大模型=大语料+大算力+大模型参数大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。书读三遍,其义自见大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。1.2InternLM模型全链条开源I......
  • Linux下指定so动态库的加载路径的5种方法
    搜索的先后顺序是:编译目标代码时指定的动态库搜索路径;环境变量LD_LIBRARY_PATH指定的动态库搜索路径;配置文件/etc/ld.so.conf中指定的动态库搜索路径;默认的动态库搜索路径/lib;默认的动态库搜索路径/usr/lib。将库文件放置在对应的路径中,运行时就可以搜索到了。例1:通过gcc......
  • 【C#】【WPF】WPF开源控件库HandyControl应用
    1、首先使用nuget包管理器下载handycontrol 2、app.xaml里面引用,这样可以使用里面的样式<Applicationx:Class="HandyControlTest.App"xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x="http://schemas.microso......
  • 借助 .NET 开源库 Sdcb.DashScope 调用阿里云灵积通义千问 API
    在昨天的博文中,我们通过SemanticKernel调用了自己部署的通义千问开源大模型,但是自己部署通义千问对服务器的配置要求很高,即使使用抢占式按量实例,每次使用时启动服务器,使用完关闭服务器,也比较麻烦,而且越高级的大模型对服务器的配置越高。所以昨天的博文中使用了很低级的Qwen-7B......
  • 初步体验通过 Semantic Kernel 与自己部署的通义千问开源大模型进行对话
    春节之前被SemanticKernel所吸引,开始了解它,学习它。在写这篇博文之前读了一些英文博文,顺便在这里分享一下:IntrotoSemanticKernel–PartOneIntrotoSemanticKernel–PartTwoBuildacustomCopilotexperiencewithyourprivatedatausingandKernelMemory......
  • 使用FluentScheduler和IIS预加载在asp.net中实现定时任务管理
    FluentScheduler介绍github地址:https://github.com/fluentscheduler/FluentSchedulerFluentScheduler是一个简单的任务调度框架,使用起来非常方便,这个框架也是我在搜索iis预加载的时候偶然间发现的,立马拿来试用一下,感觉爽呆了,当然还有Quarz.Net之类的其他任务管理框架,不过看配置......
  • 图片延迟加载插件lazyload使用
    图片懒加载,又称图片延时加载、惰性加载,即在用户需要使用图片的时候才加载。这种技术的主要好处包括:优化页面加载速度:在页面被请求时,只加载可视区域的图片,其它部分的图片则不加载,只有当这些图片出现在可视区域时才会动态加载。这样可以减少首次加载时需要加载的内容量,显著提高页面加......
  • 扒开源安卓性能测试工具moblieperf源码——开发属于你自己的性能稳定性测试工具
    moblieperf下载和使用moblieperf由阿里巴巴开源的Android性能测试工具下载:官方源码地址mobileperfgithub使用:使用pycharm打开下载的项目使用只需要修改配置文件config.conf即可运行采集:a.mac、linux在mobileperf工具根目录下执行shrun.sh;b.windows双击run.bat配置......