由于大多数服务器和外网做了隔离,进行源码编译并不方便，所以采用window进行编译1.安装maven并需要配置conf进行可用源。尽量用公共源，公司内部源并不全2.进行windowprotoc-2.5.0-win32.zip的下载和安装需要到环境变量进行路径配置3./apache-tez-0.9.2-src下载tez源码进行编

目录在Tez上优化Hive查询的指南调优指南理解Tez中的并行化理解mapper数量理解reducer数量并发案例1：未指定队列名称案例2：指定队列名称并发的指南/建议容器复用和预热容器容器复用预热容器一般Tez调优参数在Tez上优化Hive查询的指南在Tez上优化Hive查询无法采用一刀切的方法。查询

大数据计算引擎：从Hadoop到Flink=========================大数据计算引擎，根据使用场景和数据处理方式，可以分为批量计算、流式计算和图计算三大类。其中，Hadoop是奠定了所有计算框架的基石，虽然数据吞吐量大，但离线处理速度较慢。TEZ是有向无还图图计算引擎，虽然支持DAG，但是其复杂度

1.spark-sql启动报错java.lang.NoClassDefFoundError:org/apache/tez/dag/api/SessionNotRunning原因：在启动时找不到tez的jar包解决方法：将tez目录下的tez-api-0.9.1.jar复制一份到spark的jars目录下cptez-api-0.9.1.jar/usr/hdp/current/spark2-client/jars/分发到其他

目录一、下载Tez1、下载apache-tez-0.9.2-bin.tar.gz包二、hive配置tez引擎1、解压apache-tez-0.9.2-bin.tar.gz2、进入tez目录，上传tez目录下的share/tez.tar.gz到

SEThive.execution.engine=tez;SEThive.tez.auto.reducer.parallelism=true;SEThive.auto.convert.join=true;sethive.exec.compress.output=true;sethive.in

1.Tez简介Tez是支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。从本质上讲，Tez组成非常简单，只有两个组成部分：数据处理

文档编写目的CDH5中的Hive版本是1.1，而CDP7中的Hive版本为3。Hive3相对Hive1更新特别多，比如支持全新的ACIDv2机制，并且底层使用Tez和内存进行查询，相比MR的方式性能提升超过10