dbt class 简单说明

标签：%- -% name format class source relation 简单 dbt

dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用
在不少开源同时也包括官方core 中都有使用到

主要包含的功能

• Relation 对象创建
  参考(对于在宏中使用 api.Relation.create创建)

 

{% set relation = api.Relation.create(schema='snowplow', identifier='events') %}

• Column 创建

{%- set string_column = api.Column('name', 'varchar', char_size=255) %}

dremio 中的使用

比如buildin 改写的时候

 {%- macro ref(model_name) -%}

  {%- set relation = builtins.ref(model_name) -%}

  {%- if execute -%}

    {%- set model = graph.nodes.values() | selectattr("name", "equalto", model_name) | list | first -%}

    {%- if model.config.materialized == 'reflection' -%}

      {% do exceptions.CompilationError("Reflections cannot be ref()erenced (" ~ relation ~ ")") %}

    {%- endif -%}

    {%- set format = model.config.format if

      model.config.materialized not in ['view', 'reflection']

      and model.config.format is defined

      else none -%}

    {%- set format_clause = format_clause_from_node(model.config) if format is not none else none -%}

    {%- set relation2 = api.Relation.create(database=relation.database, schema=relation.schema, identifier=relation.identifier, format=format, format_clause=format_clause) -%}

    {{ return (relation2) }}

  {%- else -%}

    {{ return (relation) }}

  {%- endif -%}

{%- endmacro -%}

 

{%- macro source(source_name, table_name) -%}

  {%- set relation = builtins.source(source_name, table_name) -%}

  {%- if execute -%}

    {%- set source = graph.sources.values() | selectattr("source_name", "equalto", source_name) | selectattr("name", "equalto", table_name) | list | first -%}

    {%- set format = source.external.format if

      source.external is defined

      and source.external.format is defined

      else none -%}

    {%- set format_clause = format_clause_from_node(source.external) if format is not none else none -%}

    {%- set relation2 = api.Relation.create(database=relation.database, schema=relation.schema, identifier=relation.identifier, format=format, format_clause=format_clause) -%}

    {{ return (relation2) }}

  {%- else -%}

    {{ return (relation) }}

  {%- endif -%}

{%- endmacro -%}

说明

dbt 还提供了其他一些比较有用的宏，可以进行一些内置功能的改写（可以用来判断对于dbt 兼容的支持）
比如builtins 包含了ref，source，同时adapter 支持了不少功能（具体参考链接），dispatch 使用的地方也
比较多可以进行方便的重定向支持（就是将方法的调用使用其他模块提供的方法进行替换），对于开放三
方模式以及一些高级功能开发的时候比较有用

参考资料

https://docs.getdbt.com/reference/dbt-classes#relation
https://github.com/dremio/dbt-dremio
https://docs.getdbt.com/reference/dbt-jinja-functions/adapter
https://docs.getdbt.com/reference/dbt-jinja-functions/dispatch
https://docs.getdbt.com/reference/dbt-jinja-functions/builtins
https://docs.getdbt.com/reference/dbt-jinja-functions/config

标签：%-,-%,name,format,class,source,relation,简单,dbt
From： https://www.cnblogs.com/rongfengliang/p/17594792.html