dbt 的schema 我们是可以灵活进行自定义的,可以实现一个比较有意思的事情
使用场景
- 模型级别的schema自定义
- seed 数据schema自定义
- 不同env 或者vars 的schema 自定义
- 不同target schema 的自定义
schema 自定义
核心是generate_schema_name 这个macro,我们可以自己定义
- 参考自定义
{% macro generate_schema_name(custom_schema_name, node) -%}
{%- set default_schema = target.schema -%}
{%- if custom_schema_name is none -%}
{{ default_schema }}
{%- else -%}
{{ default_schema }}_{{ custom_schema_name | trim }}
{%- endif -%}
{%- endmacro %}
- 可以使用的一些jinja 上下文数据
包含了target,env_var, var ,exceptions, log, 当然还有不少自己开发,或者三方包的macro
参考可覆盖的几个特殊macro
如下图,可以结合代码以及定义看出来,当然实际可以覆盖的东西比较多,这几个主要是关于schema 以及database 相关的
说明
dbt 的schema 覆盖重写还是很有用的,可以基于不同的环境,使用不同的数据
参考资料
core/dbt/parser/partial.py
https://docs.getdbt.com/docs/build/custom-schemas