- 压缩就用gzip 汇总数据
TSV
- 建表语句
- 全量表设计
null的格式不一样,虽然显示都为空 都用空字符显示
- 增量表13张 和业务无关的不用拿过来
- ods数据装载 脚本
i:4 substring方法
- DIM表的数据源是ods层 如果找不到不能从数据库拿过来,而是设计一个ods表,不断迭代
- 商品维度表建表语句
- CTE写法,提炼出来 方便维护,写SQL
- dwd
- 首日无法判断历史状态,没办法,折中认为当前全是新增购物
- ADS层
- DWS
有可能没有DWS层
纯粹靠经验,靠自己设计,一定要参考ads层
- dophlin调度器
- 工作流
重跑整个工作流都会跑,失败重试不一样
在hdfs上创建脚本