标签：存储 数据仓库 Hadoop Hive 查询 学习 数据

1.数据仓库

1.1什么是数据仓库

数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 同时数据仓库自身也不“消费”任何的数据，其结果开放给各个外部应用使用；

数据仓库是为了分析数据的。关系型数据库（RDBMS）是OLTP（联机事务处理系统）典型应用，比如：Oracle、MySQL、SQL Server等。

1.2数仓四个特征：

• 面向主题性（Subject-Oriented）
• 集成性（Integrated）
• 非易失性、非异变性（Non-Volatile）
• 时变性（Time-Variant）

 

1.3数仓开发语言：SQL

结构化查询语言（Structured Query Language）简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理数据。

2.Apache Hive

2.1Apache Hive是什么，有什么用途

Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。

• Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行

• Hive利用HDFS存储数据，利用MapReduce查询分析数据。

优势在于：用户可以专注于编写HQL，Hive帮转换成为MapReduce程序完成对数据的分析   映射信息专业的叫法称之为元数据信息（元数据是指用来描述数据的数据 metadata）。

（把元数据信息描述清楚，这里映射是指：文件和表之间的对应关系）

 

2.2Hive架构图及功能

 

1. 用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。
2. 元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
3. Driver驱动程序：包括语法解析器、计划编译器、优化器、执行器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。
4. 执行引擎：Hive本身并不直接处理数据文件。而是通过执行引擎处理。当下Hive支持MapReduce、Tez、Spark3种执行引擎。

2.3元数据

元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。 Hive Metadata即Hive的元数据。 元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。   metastore服务配置有3种模式：内嵌模式、本地模式、远程模式。

标签：存储,数据仓库,Hadoop,Hive,查询,学习,数据
From： https://www.cnblogs.com/hmy22466/p/17719840.html