Hadoop常见问题解析

Hadoop特性

1.高可靠性：采用冗余数据存贮方式，即使一个副本发生故障，其他副本也可以保证对外工作的正常进行。

2.高效性：作为并行分布式计算平台，hadoop采用分布式存贮和分布式处理两大核心技术，能够高效的处理PB级别的数据

3.高可扩展性：hadoop的设计目标是可以高效稳定的运行在廉价的计算机集群上，可以扩展到数以千计的计算机节点上。

4.高容错性：采用冗余数据存贮方式，自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

5.成本低：hadoop采用廉价的计算机集群，普通的用户也可以pc机搭建环境

6.运行在linux平台上，hadoop是基于java语言开发的，可以较好的运行在linux的平台上

7.支持多种编程语言，如：C++等/

HDFS读写流程

HDFS写流程

MD5校验（checksum）是通过对接收的传输数据执行散列运算来检查数据的正确性。