首页 > 其他分享 >从入门到精通 - Fayson带你玩转CDH

从入门到精通 - Fayson带你玩转CDH

时间:2023-01-05 16:01:46浏览次数:57  
标签:Fayson Kerberos CDH Hive 如何 集群 玩转 使用

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​https://github.com/fayson/cdhproject​


提示:代码块部分可以左右滑动查看噢


本文更新时间:2018年8月20日00:29:47


Fayson会持续的写作,本文会定期更新。另外大家可以留言推荐比较方便做目录的工具,或者在公众号里展示文章的方式。


Fayson正在调研网页端的方式,因为腾讯云+社区没有分类功能,对于找寻文章还是非常不方便,如果大家有比较好的社区,博客或者电子书的网站/工具推荐,也可以留言,目前看来gitbook还不错。不过网页端优先级没那么高,因为实在没时间,所以会优先考虑微信的方式。



重要的事情说三遍:

以下所有文章均为超链接,可以直接点击文章名跳转。

以下所有文章均为超链接,可以直接点击文章名跳转。

以下所有文章均为超链接,可以直接点击文章名跳转。


1.规划设计

1.1.on-premise部署规划




0001-《​​CDH网络要求(Lenovo参考架构)​​》

0062-《​​如何为Hadoop集群选择正确的硬件​​》

0158-《​​如何给Hadoop集群划分角色​​》


1.2.on private cloud部署规划



0200- 《​​如何在VMware上部署Hadoop​​》



1.3.on public cloud部署规划




0195- 《​​公有云中的Hadoop​​》


2.安装/升级/卸载

2.1.安装




0002-《​​CENTOS7.2安装CDH5.10和Kudu1.2(一)​​》

0002-《​​CENTOS7.2安装CDH5.10和Kudu1.2(二)​​》

0024-《​​CENTOS6.5安装CDH5.12.1(一)​​》

0025-《​​CENTOS6.5安装CDH5.12.1(二)​​》

0030-《​​如何在CDH中安装Kudu&Spark2&Kafka​​》

0072-《​​CDH安装前置准备​​》

0073-《​​CentOS6.5安装CDH5.13​​》

0167-《​​如何在Redhat7.3安装CDH5.14​​》

0222- 《​​如何在Centos7.2安装HDP2.6​​》

0270- 《​​如何在Redhat7.4安装CDH6.0.0_beta1​​》

0317- 《​​如何在Redhat7.4安装CDH5.15​​》


2.2.一键安装




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


2.3.升级




0009-《​​如何升级Cloudera Manager和CDH​​》

0095-《​​如何通过CM升级Kafka0.11及Spark2.2​​》

0171- 《​​如何使用Cloudera Manager升级Spark2.1版本至Spark2.2​​》

0284- 《​​CDH集群跨多版本滚动升级​​》


2.4.迁移




0007-《​​如何迁移Cloudera Manager节点​​》


2.5.卸载




0008-《​​如何卸载CDH(附一键卸载github源码)​​》


3.Cloudera Manager

3.1.产品介绍




0053-《​​CDH5.13和CM5.13的新功能​​》

0160-《​​CDH5.14和CM5.14的新功能​​》

0216- 《​​Cloudera Manager管理控制台​​》

0217- 《​​Cloudera Manager首页​​》

0269- 《​​Cloudera Enterprise 6 Beta发布​​》

0274- 《​​CDH5弃用的项目​​》

0303- 《​​CDH5.15和CM5.15的新功能​​》

0336- 《​​Kudu1.7的新功能​​》


3.2.扩容




0080-《​​如何在CDH集群中加入异构设备​​》

0089-《​​如何给CDH集群增加Gateway节点​​》

0110-《​​如何给Kerberos环境下的CDH集群添加Gateway节点​​》

0112-《​​如何在非Kerberos环境下对CDH进行扩容​​》

0126-《​​如何为Kerberos环境的CDH集群在线扩容数据节点​​》

0344- 《​​如何Redhat7的CDH集群中扩容增加Redhat6的节点​​》


3.3.减容




0115-《​​如何使用Cloudera Manager在线为集群减容​​》


3.4.使用




0003-《​​如何在CDH中使用LZO压缩​​》

0036-《​​如何通过CM API优雅的获取元数据库密码​​》

0040-《​​如何重置Cloudera Manager的admin密码​​》

0088-《​​如何将CDH集群JAVA升级至JDK8​​》

0090-《​​如何将CDH从企业版降级为免费版​​》

0091-《​​如何将Kerberos环境下CDH集群JAVA升级至JDK8​​》

0096-《​​如何使用Cloudera Manager启用HDFS的HA​​》

0098-《​​如何使用Cloudera Manager禁用HDFS HA​​》

0100-《​​如何使用Cloudera Manager启用YARN的HA​​》

0104-《​​如何使用Cloudera Manager禁用YARN的HA​​》

0117-《​​如何修改CDH集群的DataNoe节点HOSTNAME​​》

0163-《​​如何修改CDH集群的IP地址​​》

0187- 《​​如何降级Cloudera Manager和CDH​​》

0271- 《​​如何修改Kerberos的CDH集群的HOSTNAME​​》

0297- 《​​如何在CDH集群外配置非Kerberos环境的Gateway节点​​》

0300- 《​​如何在CDH集群中为数据节点热插拔硬盘​​》

0306- 《​​如何在CDH集群外配置Kerberos环境的Gateway节点​​》

0311- 《​​如何在CDH集群外配置非Kerberos环境的Spark2和Kafka客户端环境​​》

0314- 《​​如何在CDH集群外配置Kerberos环境的Spark2和Kafka客户端环境​​》

0332- 《​​如何修改CDH集群元数据库地址​​》

0349- 《​​如何迁移CDH的opt目录​​》


3.5.异常分析




0023-《​​HOSTS配置问题导致集群异常故障分析​​》

0034-《​​CM启动报InnoDB engine not found分析​​》

0044-《​​CDH高可用集群误删NameNode故障恢复​​》

0086-《​​Cloudera Manager Server服务在RedHat7状态显示异常分析​​》

0170- 《​​Cloudera Manager分发Parcel异常分析​​》

0196- 《​​CDH内存调拨过度警告分析​​》

0350- 《​​Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析​​》


4.Navigator

4.1.Navigator安装




0197- 《​​Cloudera Navigator介绍与安装​​》


4.2.Navigator使用




0203- 《​​Navigator的使用​​》

0205- 《​​Cloudera Navigator异常分析​​》


5.数据科学

5.1.基础环境




0012-《​​什么是数据科学工作台?为什么数据科学家需要它?​​》

0038-《​​如何在CDH集群安装Anaconda&搭建Python私有源​​》

0049-《​​什么是sparklyr​​》

0050-《​​如何在Redhat中配置R环境​​》

0051-《​​如何在Redhat中安装R的包及搭建R的私有源​​》

0052-《​​如何使用R连接Hive与Impala​​》

0057-《​​PySpark数据类型转换异常分析​​》

0118-《​​如何在CDH集群上部署Python3运行环境及运行Python作业​​》

0334- 《​​CDH集群升级Python3异常问题分析​​》

0339- 《​​Python3环境通过JDBC访问非Kerberos环境的Hive​​》

0340- 《​​Python3通过JDBC访问非Kerberos环境的Impala​​》


5.2.CDSW

5.2.1.安装




0037-《​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​》

0047-《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​》

0077-《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》

0078-《​​如何在CDH5.13中安装CDSW1.2​​》

0172- 《​​如何在RedHat6上使用Bind搭建DNS服务​​》

0174- 《​​如何在RedHat7上使用Bind搭建DNS服务​​》

0323- 《​​如何在CDH5.14中安装CDSW1.3​​》

0325- 《​​如何在CDH5.15中安装CDSW1.4​​》


5.2.2.产品介绍




0063-《​​CDSW1.2的新功能​​》

0165-《​​CDSW1.3的新功能​​》

0304- 《​​如何在CDSW中使用GPU运行深度学习​​》

0313- 《​​CDSW1.4的新功能​​》

0355- 《​​Hadoop之上的模型训练 - CDSW1.4新功能模块​​》

0357- 《​​Hadoop之上的模型部署 - CDSW1.4新功能模块​​》


5.2.3.使用




0042-《​​如何在CDSW中使用R绘制直方图​​》

0054-《​​如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业​​》

0055-《​​如何使用CDSW在CDH中分布式运行所有R代码​​》

0059-《​​如何基于CDSW基础镜像定制Docker​​》

0151-《​​如何使用Nginx实现CDSW的跨网段访问​​》

0156-《​​如何修改CDSW服务的DNS和HOSTNAME​​》

0159-《​​如何在CDSW上运行TensorFlow​​》

0161-《​​如何在CDSW中定制Docker镜像​​》

0175- 《​​如何在CDSW上创建Git工程​​》

0265- 《​​如何在CDSW上创建Git工程并提交代码​​》

0327- 《​​如何在CDH中使用PySpark分布式运行GridSearch算法​​》

0331- 《​​如何在CDSW上分布式运行GridSearch算法​​》

0333- 《​​如何在CDSW上调试失败或卡住的Spark应用​​》

0347- 《​​后台查找CDSW中用户的审计日志​​》

0350- 《​​如何通过CM将CDSW从1.3升级至1.4​​》

0356- 《​​CDSW1.4的Experiments功能使用​​》

0358- 《​​CDSW1.4的Models功能-创建和部署模型(QuickStart)​​》

0359- 《​​模型训练和部署-Iris数据集​​》


6.元数据库

6.1.MySQL




0029-《​​如何实现CDH元数据库MySQL的主备​​》

0058-《​​如何在CDH集群的非元数据库节点安装MySQL5.7.12​​》

0134-《​​如何实现CDH元数据库MySQL的主主互备​​》

0135-《​​如何实现CDH元数据库MySQL的高可用​​》

0136-《​​如何修改CM及CDH元数据库配置​​》


7.Hadoop组件

7.1.Hive




0004-《​​Hive表字段Comment中文乱码​​》

0010-《​​Hive多分隔符支持示例​​》

0011-《​​如何在Hive&Impala中使用UDF​​》

0014-《​​Hive中的Timestamp类型日期与Impala中显示不一致分析​​》

0026-《​​Hive使用十六进制分隔符异常分析​​》

0043-《​​如何在CDH中使用HPLSQL实现存储过程​​》

0083-《​​如何使用HAProxy实现HiveServer2负载均衡​​》

0084-《​​如何使用Zookeeper实现HiveServer2的HA​​》

0099-《​​如何使用java代码通过JDBC连接Hive(附github源码)​​》

0102-《​​Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)​​》

0144-《​​Hive Load本地数据文件异常分析​​》

0146-《​​如何向Hive表加载数据​​》

0149-《​​如何使用java代码通过JDBC访问Sentry环境下的Hive​​》

0180- 《​​Hive与Impala的关键字​​》

0181- 《​​如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡​​》

0190- 《​​如何获取Hive正在执行或者已结束的的MapReduce作业的SQL语句​​》

0204- 《​​如何编译及使用hive-testbench生成Hive基准测试数据​​》

0210- 《​​使用Hive SQL插入动态分区的Parquet表OOM异常分析​​》

0240- 《​​如何使用HAProxy实现HiveServer2服务的LDAP和Kerberos认证负载均衡​​》

0246- 《​​在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞​​》

0247- 《​​Parquet格式表重命名列名后Hive查询列数据显示NULL异常分析​​》

0249- 《​​如何在CDH集群中安装Hive2.3.3​​》

0250- 《​​如何在Hive中生成Parquet表​​》

0261- 《​​如何强制Hive使用指定时区而非操作系统时区​​》

0263- 《​​Hive2.2.0如何与CDH集群中的Spark1.6集成​​》

0315- 《​​如何为Hive2启用Kerberos认证​​》

0343- 《​​HiveServer2服务异常日志分析​​》


7.2.Impala




0039-《​​如何使用Python Impyla客户端连接Hive和Impala​​》

0070-《​​如何使用Beeline连接Impala​​》

0081-《​​如何使用Nginx实现Impala负载均衡​​》

0082-《​​如何使用HAProxy实现Impala的负载均衡​​》

0097-《​​如何使用java代码通过JDBC连接Impala(附Github源码)​​》

0113-《​​Impala升级为Apache顶级项目​​》

0124-《​​如何使用HAProxy实现Kerberos环境下的Impala负载均衡​​》

0131-《​​如何在Kerberos的Linux上安装及配置Impala的ODBC驱动​​》

0147-《​​如何使用Java访问集成OpenLDAP并启用Sentry的Impala和Hive​​》

0154-《​​如何在Impala中实现拉链表​​》

0162-《​​使用Java代码通过JDBC连接只启用Sentry的Impala异常分析​​》

0206- 《​​Impala的Short-Circuit Reads​​》

0224- 《​​Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析​​》

0242- 《​​Impala TPC-DS基准测试​​》

0248- 《​​如何在Impala中使用Parquet表​​》

0275- 《​​当Impala碰到由Hive生成的timestamp数据​​》

0276- 《​​由Impala-3316导致的并发查询缓慢问题​​》

0277- 《​​Impala并发查询缓慢问题解决方案​​》

0312- 《​​如何在Kerberos环境下使用Spark2通过JDBC访问Impala​​》

0326- 《​​如何为Impala Daemon服务配置Executor和Coordinator角色​​》

0337- 《​​Impala最佳实践​​》


7.3.HBase




0045-《​​Cloudera Labs中的Phoenix​​》

0066-《​​如何使用Java连接Kerberos的HBase​​》

0071-《​​如何在CDH中使用HBase快照​​》

0046-《​​如何在CDH中使用Phoenix​​》

0254- 《​​如何使用HBase存储文本文件​​》

0258- 《​​如何使用HBase存储图片​​》

0266- 《​​如何使用Java调用HBase的 Endpoint Coprocessor​​》

0268- 《​​如何开发HBase Endpoint类型的Coprocessor以及部署使用​​》

0307- 《​​如何使用Phoenix在CDH的HBase中创建二级索引​​》

0308- 《​​如何在CDH5.14.2中安装Phoenix4.14.0​​》

0321- 《​​如何在CDH中使用HBase的ACLs进行授权​​》

0322- 《​​如何在CDH中使用HBase的Quotas设置资源请求限制​​》

0346- 《​​使用Spark通过BulkLoad快速导入数据到HBase​​》


7.4.Hue




0056-《​​如何重置Hue用户密码​​》

0152-《​​如何在Hue中配置已启用SSL的HttpFS服务​​》

0153-《​​Hue禁止用户下载数据问题分析​​》

0164-《​​如何在Hue中配置HiveServer2的负载均衡​​》

0168-《​​如何在Hue中配置Impala的负载均衡​​》

0236- 《​​Hue中无法删除用户异常分析​​》

0241- 《​​如何开启Hue的Debug模式​​》

0251- 《​​如何在Hue中集成配置Hive2.3.3服务​​》

0328- 《​​如何在退出Hue后关闭Spark会话​​》


7.5.Sqoop




0121-《​​Sqoop抽取Hive Parquet表数据到MySQL异常分析​​》

0193- 《​​如何使用Sqoop2​​》

0342- 《​​Sqoop抽数到Hive表异常分析​​》

0348- 《​​Sqoop抽数到Hive表异常分析(之二)​​》


7.6.Solr




0103-《​​如何使用Java代码访问CDH的Solr服务​​》

0114-《​​如何使用Hue通过数据文件创建Collections​​》

0252- 《​​如何在CDH中使用Solr对HDFS中的JSON数据建立全文索引​​》

0253- 《​​如何使用Flume准实时建立Solr的全文索引​​》

0256- 《​​如何使用Lily HBase Indexer对HBase中的数据在Solr中建立索引​​》

0293- 《​​如何在Kerberos下使用Solr​​》

0301- 《​​使用命令行创建collection时Sentry给Solr赋权的问题​​》


7.7.Oozie




0060-《​​如何使用Hue创建Spark1和Spark2的Oozie工作流​​》

0061-《​​如何使用Hue创建Spark2的Oozie工作流(补充)​​》

0075-《​​如何在Hue中创建Ssh的Oozie工作流​​》

0119-《​​如何使用Hue上创建一个完整Oozie工作流​​》

0120-《​​Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析​​》

0123-《​​Hue中使用Oozie创建Shell工作流在脚本中切换不同用户​​》

0132-《​​使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析​​》

0133-《​​在Kerberos环境使用Hue通过Oozie执行Sqoop作业报错异常分析​​》

0184- 《​​如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业​​》

0185- 《​​如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业​​》

0186- 《​​如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流​​》

0188- 《​​如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark作业​​》

0189- 《​​如何启用Oozie的HA​​》

0194- 《​​如何使用Oozie API接口向Kerberos集群提交Java程序​​》

0202- 《​​如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业​​》

0207- 《​​如何使用Oozie API接口向Kerberos环境的CDH集群提交Shell作业​​》

0296- 《​​如何在Oozie中创建有依赖的WorkFlow​​》



7.8.HDFS




0068-《​​如何在CDH集群使用HDFS快照​​》

0105-《​​如何使用Java代码访问HDFS.docx​​》

0125-《​​如何在集群外节点跨网段向HDFS写数据​​》

0130-《​​如何将HDFS文件系统挂载到Linux本地文件系统​​》

0148-《​​如何为HttpFS服务配置SSL​​》

0209- 《​​JournalNode的edits目录没有格式化异常分析​​》

0243- 《​​Slow ReadProcessor&Error Slow BlockReceiver错误日志分析​​》

0262- 《​​HDFS部署最佳实践​​》

0264- 《​​如何修改启用了高可用HDFS的NameService ID​​》

0292- 《​​如何使用Java API访问HDFS为目录设置配额​​》

0341- 《​​集群JournalNode服务重启导致NameNode挂掉分析​​》

0360- 《​​NameNode Metadata备份和恢复最佳实践​​》


7.9.Kudu




0020-《​​使用JDBC向Kudu表插入中文字符-双引号的秘密​​》

0021-《​​使用JDBC向Kudu表插入中文字符-cast的秘密​​》

0085-《​​如何在Kudu1.5中使用Sentry授权​​》

0128-《​​如何迁移Kudu1.2的WAL和Data目录​​》

0267- 《​​如何使用Java API访问CDH的Kudu​​》


7.10.Kafka




0022-《​​如何永久删除Kafka的Topic​​》

0065-《​​如何通过Cloudera Manager为Kafka启用Kerberos及使用​​》

0069-《​​如何使用Java连接Kerberos的Kafka​​》

0324- 《​​如何在CDH中为Kafka设置流量配额​​》

0362- 《​​如何查看Kafka的Topic消费情况​​》

0363- 《​​如何在Spark Streaming应用中使用Kudu管理Kafka的Offset​​》


7.11.YARN




0019-《​​Yarn的JobHistory目录权限问题导致MapReduce作业异常​​》

0107-《​​如何跨平台在本地开发环境提交MapReduce作业到CDH集群​​》

0108-《​​如何使用hadoop命令向CDH集群提交MapReduce作业​​》

0109-《​​如何使用java命令从非集群节点向CDH集群提交MapReduce作业​​》

0129-《​​如何在HDFS上查看YARN历史作业运行日志​​》

0291- 《​​如何使用Cloudera Manager设置使用YARN队列的ACL​​》

0353- 《​​如何使用curl命令调用CM的API动态配置Yarn资源池​​》

0354- 《​​如何使用Java调用CM的API动态配置Yarn资源池​​》


7.12.Spark




0016-《​​Avro序列化&反序列化和Spark读取Avro数据​​》

0017-《​​Spark的HistoryServer不能查看到所有历史作业分析​​》

0041-《​​如何使用Intellij搭建Spark开发环境​​》

0064-《​​如何通过Cloudera Manager配置Spark1和Spark2的运行环境​​》

0079-《​​如何在CDH中启用Spark Thrift​​》

0176- 《​​Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs​​》

0177- 《​​如何编译Livy并在非Kerberos环境的CDH集群中安装​​》

0178- 《​​如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业​​》

0182- 《​​如何在Kerberos环境的CDH集群部署Livy​​》

0183- 《​​如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业​​》

0278- 《​​如何在Kerberos环境下的CDH集群部署Spark1.6 Thrift及spark-sql客户端​​》

0280- 《​​如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端​​》

0281- 《​​如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端​​》

0285- 《​​如何使用java连接Kerberos和非kerberos和kerberos的Spark1.6 ThriftServer​​》


7.13.Zookeeper




0006-《​​Zookeeper指标分析​​》

0101-《​​Kerberos环境下删除ZooKeeper服务注册信息问题分析​​》

0239- 《​​集群启用Kerberos后对Zookeeper的Znode操作异常分析​​》


8.多租户

8.1.静态资源管理




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


8.2.动态资源管理/YARN




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


8.3.动态资源管理/Impala




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


8.4.安全

8.4.1.认证

8.4.1.1.Kerberos




0005-《​​Windows Kerberos客户端配置并访问CDH​​》

0027-《​​如何在CDH集群启用Kerberos​​》

0087-《​​如何配置Kerberos服务的高可用​​》

0173- 《​​如何在Redhat7.3的CDH5.14中启用Kerberos​​》

0271- 《​​如何禁用CDH集群Kerberos​​》

0273- 《​​如何在CDH6.0.0-beta1中启用Kerberos​​》

0319- 《​​如何在Redhat7.4的CDH5.15中启用Kerberos​​》

0345- 《​​如何将CDH集群的KDC从RedHat7迁移到RedHat6​​》


8.4.1.2.OpenLDAP




0137-《​​1.如何在CentOS6.5安装OpenLDAP并配置客户端​​》

0138-《​​2.OpenLDAP集成SSH登录并使用SSSD同步用户​​》

0139-《​​3.如何实现OpenLDAP的主主同步​​》

0140-《​​4. 如何为Hive配置OpenLDAP认证​​》

0141-《​​5.如何为Impala配置OpenLDAP认证​​》

0142-《​​6.如何为Hue配置OpenLDAP认证​​》

0150-《​​7.如何在OpenLDAP中实现将一个用户添加到多个组​​》

0166-《​​如何集成OpenLDAP+Sentry.docx​​》

0226- 《​​1.如何在RedHat7上安装OpenLDA并配置客户端​​》

0227- 《​​2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户​​》

0229- 《​​3.如何RedHat7上实现OpenLDAP的主主同步​​》

0233- 《​​4.如何为Hive集成RedHat7的OpenLDAP认证​​》

0234- 《​​5.如何为Impala集成Redhat7的OpenLDAP认证​​》

0235- 《​​6.如何为Hue集成RedHat7的OpenLDAP认证​​》

0237- 《​​7.如何在RedHat7的OpenLDAP中实现将一个用户添加到多个组​​》

0238- 《​​8.如何使用RedHat7的OpenLDAP和Sentry权限集成​​》

0361- 《​​9.如何为Navigator集成RedHat7的OpenLDAP认证​​》



8.4.1.3.AD




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


8.4.1.4.SAML



0191- 《​​如何使用Shibboleth搭建IDP服务并集成OpenLDAP​​》

0192- 《​​如何使用SAML配置Cloudera Manager的身份验证​​》

0199- 《​​如何使用SAML配置CDSW的身份验证​​》


8.4.2.授权




0015-《​​如何使用Sentry管理Hive外部表权限​​》

0028-《​​如何在CDH未启用认证的情况下安装及使用Sentry​​》

0031-《​​如何在CDH启用Kerberos的情况下安装及使用Sentry(一)​​》

0032-《​​如何在CDH启用Kerberos的情况下安装及使用Sentry(二)​​》

0033-《​​如何在Hue中使用Sentry​​》

0035-《​​如何使用Sentry管理Hive外部表(补充)​​》

0067-《​​Sentry赋予server1权限给hive以外用户时ACL不同步问题分析​​》

0074-《​​如何在启用Sentry的CDH集群中使用UDF​​》

0155-《​​如何查看集成Sentry后Hive作业的真实用户​​》

0208- 《​​如何使用Sentry实现Hive/Impala的数据脱敏​​》

0225- 《​​如何使用Sentry通过视图实现Impala的行级授权​​》

0279- 《​​如何在Kerberos的CDH使用Sentry实现Spark SQL的权限控制​​》

0294- 《​​如何使用Sentry为Solr赋权​​》

0298- 《​​如何使用Sentry为Kafka赋权​​》

0304- 《​​如何在Hue中使用Sentry为Solr赋权​​》


8.4.3.加密




0092-《​​什么是HDFS透明加密​​》

0111-《​​如何在CDH实现HDFS透明加密​​》


8.4.4.审计




计划中...

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API

从入门到精通 - Fayson带你玩转CDH_API


8.5.集群资源使用报告




0157-《​​如何在CM中启用YARN的使用率报告​​》


9.灾备

9.1.介绍




0244- 《​​如何部署active-active的Hadoop集群​​》


9.2.HDFS



0013-《​​如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据​​》


9.2.HBase




0076-《​​如何使用HBase快照实现跨集群全量与增量数据迁移​​》


10.运维

10.1.监控




0211- 《​​Cloudera Manager监控介绍​​》

0212- 《​​Cloudera Manager的时间轴​​》

0213- 《​​Cloudera Manager的运行状况测试​​》

0218- 《​​使用Cloudera Manager查看集群,服务,角色和主机的图表​​》

0289- 《​​如何使用Cloudera Manager监控服务​​》


10.2.告警




0259- 《​​如何通过Cloudera Manager配置使用SNMP方式转发告警​​》


11.外部工具集成

11.1.Tableau




0093-《​​如何安装Tableau并连接CDH的Hive/Impala​​》

0094-《​​如何通过Tableau连接Kerberos的Hive/Impala​​》


11.2.SAS



0198- 《​​如何安装SAS并配置连接Hive/Impala​​》


11.3.Azkaban



0214- 《​​如何编译安装Azkaban服务​​》

0215- 《​​如何编译Azkaban插件​​》

0219- 《​​如何在Azkaban中安装HDFS插件以及与CDH集成​​》

0222- 《​​如何在Azkaban安装插件(二)​​》

0223- 《​​Azkaban的使用及Command作业创建​​》


11.4.SmartBI



0257- 《​​如何安装SmartBI并连接到Impala​​》



11.4.StreamSets



0220- 《​​如何在CDH中安装和使用StreamSets​​》

0231- 《​​如何使用StreamSets从MySQL增量更新数据到Hive​​》

0232- 《​​如何使用StreamSets实现MySQL中变化数据实时写入Kudu​​》

0255- 《​​如何使用StreamSets实时采集Kafka并入库Kudu​​》

0282- 《​​如何使用StreamSets实现MySQL中变化数据实时写入HBase​​》

0299- 《​​如何使用StreamSets实时采集Kafka数据并写入Hive表​​》

0302 -《​​如何使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表​​》

0320- 《​​如何使用StreamSets实现Oracle中变化数据实时写入Kudu​​》


11.5.Kylin



0260- 《​​如何在CDH中部署及使用Kylin​​》

0295- 《​​如何在启用Kerberos的CDH中部署及使用Kylin​​》


11.6.Presto



0316- 《​​如何在CDH集群中部署Presto​​》

0318- 《​​如何为Presto集成Kerberos环境下的Hive​​》


12.应用场景

12.1.实时




0116-《​​如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS​​》

0122-《​​非Kerberos环境下Kafka数据到Flume进Hive表​​》

0145-《​​如何使用Spark Streaming读取HBase的数据并写入到HDFS​​》

0283- 《​​SparkStreaming读Kafka数据写HBase​​​》
0286- 《​​​SparkStreaming读Kafka数据写Kudu​​》

0287- 《​​如何使用Flume采集Kafka数据写入Kudu​​》

0288- 《​​如何使用Flume采集Kafka数据写入HBase​​》

0290- 《​​如何在Kerberos环境下使用Flume采集Kafka数据写入HBase​​》

0309- 《​​Spark2Streaming读Kerberos环境的Kafka并写数据到Kudu​​》

0310- 《​​Spark2Streaming读Kerberos环境的Kafka并写数据到HBase​​》

0330- 《​​Spark2Streaming读Kerberos环境的Kafka并写数据到Hive​​》

0335- 《​​Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS​​》

0338-《​​Spark2Streaming读Kafka并写入到HBase​​》

0352- 《​​Spark2Streaming读非Kerberos环境的Kafka并写数据到Kudu​​》


13.基准测试



0245- 《​​如何使用HiBench进行基准测试​​》

0201- 《​​如何编译及使用TPC-DS生成测试数据​​》


14.其他



0018- 《​​大数据售前的中年危机​​》

0059- 《​​工程师的一天​​》

0179- 《​​Fayson给大家拜年​​》

0221- 《​​冲上云霄​​》

0228- 《​​Cloudera去年第四季度以及全年财报​​》

0230- 《​​Hortonworks去年第四季度以及全年财报​​》

0259- 《​​如何在DELL R730服务器上使用U盘安装linux操作系统​​》

0329- 《​​Hortonworks正式发布HDP3.0​​》

《​​刘汨春:AI大数据在企业全链业务中的应用和价值(上)​​》

《​​HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法​​》

《​​近期文章内容预告​​》

《​​安装CDSW数据磁盘初始化异常问题分析​​》

《​​安装CDSW数据磁盘初始化异常问题分析​​》

《​​重庆某项目生产集群扩容问题总结及复盘​​》

《​​如何为CDH集群配置机架感知​​》

《​​HDFS运行Balancer失败及问题解决办法​​》



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

从入门到精通 - Fayson带你玩转CDH_API_19

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


标签:Fayson,Kerberos,CDH,Hive,如何,集群,玩转,使用
From: https://blog.51cto.com/u_14049791/5991368

相关文章