ETL (Extra-Transform-Load)

背景介绍

随着企业的发展，目前的业务线越来越复杂，各个业务系统独立运营。例如：CRM系统只会生产CRM的 数据；Billing只会生产Billing的数据。各业务系统之间只关心自己的数据，导致各业务系统之间数据相互独立，互不相通。一旦业务系统之间进行数据交互，只能通过传统的webservice接口之间进行数据通信。该种方式对人力成本、时间成本要求比较高。也就是说：需要成熟的开发人员才能编写响应的webservice接口进行数据通信。而ETL的诞生就解决了此类问题，企业不需要技术很好、很成熟的开发人员一样可以完成该任务。而且可以比优秀的开发人员完成的更好，致使人力成本更低。这些都是企业所迫切需要的，有此诞生了ETL。

什么是ETL

ETL是将业务系统的数据经过抽取（Extract）、清洗转换（Transform）之后加载（Load）到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

ETL 工作流程

1. 从源数据中抽取相关的数据（structure or unstructure: SQL, NoSQL, CRM, ERP, Flat Files, Email, pic, Web pages...)

2.对抽取后的数据进行清洗转换(Filtering, cleaning, calculating, conducting, removing, formating, encryping...)， 以便于后续分析（DSS and BI, Decision Support Systems and Business Intelligence)

3.把清洗转转换后的的数据加载到目标数据库

ELT Tools

 一下是一些常用流行的ETL工具：

DataPipeline： 

一家为企业用户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性， 以保证数据质量的完整性、一致性、准确性及唯一性，彻底解决数据孤岛和数据定义进化的问题。

Kettle：

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。

Talend：

Talend，是一家专业的开源集成软件公司，为企业提供开源的中间件解决方案，从而让企业能够在他们的应用，系统以及数据库中赢取更大的价值

Informatica：

Informatica是全球领先的数据管理软件提供商。在如下Gartner魔力象限位于领导者地位：数据集成工具魔力象限、数据质量工具魔力象限 、元数据管理解决方案魔力象限 、主数据管理解决方案魔力象限 、企业级集成平台即服务（EiPaaS）魔力象限。

Datax：

DataX 是离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Oracle Goldengate：

GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。