简介
Apache Hudi (Hadoop Data Unified Storage System) 是一个用于存储和处理大规模数据集的开源分布式文件系统。它最初是由 Apache Hadoop 项目开发的，并已成为 Hadoop 生态系统的重要组成部分之一。
Hudi 的特点在于它能够统一存储和管理不同类型的数据，例如文本、图像、音频和视频等。这使得开发人员能够更轻松地处理和分析大规模数据集，因为 Hudi 能够自动处理数据类型转换和数据压缩等任务。
Hudi 还提供了高效的数据读取和写入能力，特别是在处理大量数据时。它采用了一种称为“主节点”的中心化控制器，以确保数据访问的安全性和可靠性。此外，Hudi 还支持多种数据分析和机器学习算法，例如聚类、分类、回归和神经网络等。
Hudi特性
- 支持多种数据类型:Hudi 支持存储和管理不同类型的数据，包括文本、图像、音频、视频等。这使得开发人员能够更轻松地处理和分析大规模数据集。
- 高效数据读取和写入能力:Hudi 采用了一种称为“主节点”的中心化控制器，以确保数据访问的安全性和可靠性。此外，Hudi 还提供了高效的数据读取和写入能力，使得开发人员能够更轻松地处理和分析大规模数据集。
- 支持数据分析和机器学习:Hudi 支持多种数据分析和机器学习算法，例如聚类、分类、回归和神经网络等。这使得开发人员能够更好地探索和利用数据。
- 支持数据压缩和格式转换:Hudi 支持对数据进行压缩和格式转换，以减少数据的传输和存储大小。这使得开发人员能够更轻松地处理和分析大规模数据集。
- 高可用性和容错性:Hudi 采用了一种称为“主节点”的中心化控制器，以确保数据访问的安全性和可靠性。此外，Hudi 还提供了高可用性和容错性，使得开发人员能够更轻松地处理和分析大规模数据集。
- 易于使用和部署:Hudi 具有易于使用和部署的特性，使得开发人员能够更轻松地使用和管理 Hudi。此外，Hudi 还提供了多种编程语言和框架的支持，例如 Java、Python 和 Scala 等。
使用场景
- 近实时写入： Hudi 可以通过减少碎片化工具的使用，例如 Apache Kafka、Apache Cassandra 等，来实现近实时写入。同时，Hudi 还支持 CDC(Data Collection Engine) 增量导入 RDBMS 数据，减少数据迁移的工作量。此外，Hudi 还限制小文件的大小和数量，以减少数据写入的延迟和磁盘占用。
- 近实时分析： Hudi 可以提供分钟级别的时效性，支撑更高效的查询，相对于秒级存储 (如 Druid、OpenTSDB) 更为轻量。此外，Hudi 还支持区分 arrivetime 和 event time 处理延迟数据，以更好地支持实时数据处理和事件驱动的应用程序。
- 增量 pipeline: Hudi 可以通过更短的调度 interval 减少端到端延迟 (小时->分钟),实现增量数据处理。这可以替代部分 Kafka 的场景，例如数据导出到在线服务存储 (如 ES),以实现数据的实时处理和增量存储。
- 增量导出： Hudi 支持将数据导出到在线服务存储 (如 ES),以减少数据迁移的工作量。此外，Hudi 还支持增量导出，以更好地支持数据实时处理和增量存储。这可以替代部分 Kafka 的场景，例如数据导出到在线服务存储，以实现数据的实时处理和增量存储。