温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
提示:代码块部分可以左右滑动查看噢
本文更新时间:2018年8月20日00:29:47
Fayson会持续的写作,本文会定期更新。另外大家可以留言推荐比较方便做目录的工具,或者在公众号里展示文章的方式。
Fayson正在调研网页端的方式,因为腾讯云+社区没有分类功能,对于找寻文章还是非常不方便,如果大家有比较好的社区,博客或者电子书的网站/工具推荐,也可以留言,目前看来gitbook还不错。不过网页端优先级没那么高,因为实在没时间,所以会优先考虑微信的方式。
重要的事情说三遍:
以下所有文章均为超链接,可以直接点击文章名跳转。
以下所有文章均为超链接,可以直接点击文章名跳转。
以下所有文章均为超链接,可以直接点击文章名跳转。
1.规划设计
1.1.on-premise部署规划
0001-《CDH网络要求(Lenovo参考架构)》
0062-《如何为Hadoop集群选择正确的硬件》
0158-《如何给Hadoop集群划分角色》
1.2.on private cloud部署规划
0200- 《如何在VMware上部署Hadoop》
1.3.on public cloud部署规划
0195- 《公有云中的Hadoop》
2.安装/升级/卸载
2.1.安装
0002-《CENTOS7.2安装CDH5.10和Kudu1.2(一)》
0002-《CENTOS7.2安装CDH5.10和Kudu1.2(二)》
0024-《CENTOS6.5安装CDH5.12.1(一)》
0025-《CENTOS6.5安装CDH5.12.1(二)》
0030-《如何在CDH中安装Kudu&Spark2&Kafka》
0072-《CDH安装前置准备》
0073-《CentOS6.5安装CDH5.13》
0167-《如何在Redhat7.3安装CDH5.14》
0222- 《如何在Centos7.2安装HDP2.6》
0270- 《如何在Redhat7.4安装CDH6.0.0_beta1》
0317- 《如何在Redhat7.4安装CDH5.15》
2.2.一键安装
计划中...
2.3.升级
0009-《如何升级Cloudera Manager和CDH》
0095-《如何通过CM升级Kafka0.11及Spark2.2》
0171- 《如何使用Cloudera Manager升级Spark2.1版本至Spark2.2》
0284- 《CDH集群跨多版本滚动升级》
2.4.迁移
0007-《如何迁移Cloudera Manager节点》
2.5.卸载
0008-《如何卸载CDH(附一键卸载github源码)》
3.Cloudera Manager
3.1.产品介绍
0053-《CDH5.13和CM5.13的新功能》
0160-《CDH5.14和CM5.14的新功能》
0216- 《Cloudera Manager管理控制台》
0217- 《Cloudera Manager首页》
0269- 《Cloudera Enterprise 6 Beta发布》
0274- 《CDH5弃用的项目》
0303- 《CDH5.15和CM5.15的新功能》
0336- 《Kudu1.7的新功能》
3.2.扩容
0080-《如何在CDH集群中加入异构设备》
0089-《如何给CDH集群增加Gateway节点》
0110-《如何给Kerberos环境下的CDH集群添加Gateway节点》
0112-《如何在非Kerberos环境下对CDH进行扩容》
0126-《如何为Kerberos环境的CDH集群在线扩容数据节点》
0344- 《如何Redhat7的CDH集群中扩容增加Redhat6的节点》
3.3.减容
0115-《如何使用Cloudera Manager在线为集群减容》
3.4.使用
0003-《如何在CDH中使用LZO压缩》
0036-《如何通过CM API优雅的获取元数据库密码》
0040-《如何重置Cloudera Manager的admin密码》
0088-《如何将CDH集群JAVA升级至JDK8》
0090-《如何将CDH从企业版降级为免费版》
0091-《如何将Kerberos环境下CDH集群JAVA升级至JDK8》
0096-《如何使用Cloudera Manager启用HDFS的HA》
0098-《如何使用Cloudera Manager禁用HDFS HA》
0100-《如何使用Cloudera Manager启用YARN的HA》
0104-《如何使用Cloudera Manager禁用YARN的HA》
0117-《如何修改CDH集群的DataNoe节点HOSTNAME》
0163-《如何修改CDH集群的IP地址》
0187- 《如何降级Cloudera Manager和CDH》
0271- 《如何修改Kerberos的CDH集群的HOSTNAME》
0297- 《如何在CDH集群外配置非Kerberos环境的Gateway节点》
0300- 《如何在CDH集群中为数据节点热插拔硬盘》
0306- 《如何在CDH集群外配置Kerberos环境的Gateway节点》
0311- 《如何在CDH集群外配置非Kerberos环境的Spark2和Kafka客户端环境》
0314- 《如何在CDH集群外配置Kerberos环境的Spark2和Kafka客户端环境》
0332- 《如何修改CDH集群元数据库地址》
0349- 《如何迁移CDH的opt目录》
3.5.异常分析
0023-《HOSTS配置问题导致集群异常故障分析》
0034-《CM启动报InnoDB engine not found分析》
0044-《CDH高可用集群误删NameNode故障恢复》
0086-《Cloudera Manager Server服务在RedHat7状态显示异常分析》
0170- 《Cloudera Manager分发Parcel异常分析》
0196- 《CDH内存调拨过度警告分析》
0350- 《Redhat7.4安装CDH6.0_beta1时分发Parcel异常分析》
4.Navigator
4.1.Navigator安装
0197- 《Cloudera Navigator介绍与安装》
4.2.Navigator使用
0203- 《Navigator的使用》
0205- 《Cloudera Navigator异常分析》
5.数据科学
5.1.基础环境
0012-《什么是数据科学工作台?为什么数据科学家需要它?》
0038-《如何在CDH集群安装Anaconda&搭建Python私有源》
0049-《什么是sparklyr》
0050-《如何在Redhat中配置R环境》
0051-《如何在Redhat中安装R的包及搭建R的私有源》
0052-《如何使用R连接Hive与Impala》
0057-《PySpark数据类型转换异常分析》
0118-《如何在CDH集群上部署Python3运行环境及运行Python作业》
0334- 《CDH集群升级Python3异常问题分析》
0339- 《Python3环境通过JDBC访问非Kerberos环境的Hive》
0340- 《Python3通过JDBC访问非Kerberos环境的Impala》
5.2.CDSW
5.2.1.安装
0037-《如何在Windows Server2008搭建DNS服务并配置泛域名解析》
0047-《如何利用Dnsmasq构建小型集群的本地DNS服务器》
0077-《如何在Windows Server2012搭建DNS服务并配置泛域名解析》
0078-《如何在CDH5.13中安装CDSW1.2》
0172- 《如何在RedHat6上使用Bind搭建DNS服务》
0174- 《如何在RedHat7上使用Bind搭建DNS服务》
0323- 《如何在CDH5.14中安装CDSW1.3》
0325- 《如何在CDH5.15中安装CDSW1.4》
5.2.2.产品介绍
0063-《CDSW1.2的新功能》
0165-《CDSW1.3的新功能》
0304- 《如何在CDSW中使用GPU运行深度学习》
0313- 《CDSW1.4的新功能》
0355- 《Hadoop之上的模型训练 - CDSW1.4新功能模块》
0357- 《Hadoop之上的模型部署 - CDSW1.4新功能模块》
5.2.3.使用
0042-《如何在CDSW中使用R绘制直方图》
0054-《如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业》
0055-《如何使用CDSW在CDH中分布式运行所有R代码》
0059-《如何基于CDSW基础镜像定制Docker》
0151-《如何使用Nginx实现CDSW的跨网段访问》
0156-《如何修改CDSW服务的DNS和HOSTNAME》
0159-《如何在CDSW上运行TensorFlow》
0161-《如何在CDSW中定制Docker镜像》
0175- 《如何在CDSW上创建Git工程》
0265- 《如何在CDSW上创建Git工程并提交代码》
0327- 《如何在CDH中使用PySpark分布式运行GridSearch算法》
0331- 《如何在CDSW上分布式运行GridSearch算法》
0333- 《如何在CDSW上调试失败或卡住的Spark应用》
0347- 《后台查找CDSW中用户的审计日志》
0350- 《如何通过CM将CDSW从1.3升级至1.4》
0356- 《CDSW1.4的Experiments功能使用》
0358- 《CDSW1.4的Models功能-创建和部署模型(QuickStart)》
0359- 《模型训练和部署-Iris数据集》
6.元数据库
6.1.MySQL
0029-《如何实现CDH元数据库MySQL的主备》
0058-《如何在CDH集群的非元数据库节点安装MySQL5.7.12》
0134-《如何实现CDH元数据库MySQL的主主互备》
0135-《如何实现CDH元数据库MySQL的高可用》
0136-《如何修改CM及CDH元数据库配置》
7.Hadoop组件
7.1.Hive
0004-《Hive表字段Comment中文乱码》
0010-《Hive多分隔符支持示例》
0011-《如何在Hive&Impala中使用UDF》
0014-《Hive中的Timestamp类型日期与Impala中显示不一致分析》
0026-《Hive使用十六进制分隔符异常分析》
0043-《如何在CDH中使用HPLSQL实现存储过程》
0083-《如何使用HAProxy实现HiveServer2负载均衡》
0084-《如何使用Zookeeper实现HiveServer2的HA》
0099-《如何使用java代码通过JDBC连接Hive(附github源码)》
0102-《Hive中的Timestamp类型日期与Impala中显示不一致分析(补充)》
0144-《Hive Load本地数据文件异常分析》
0146-《如何向Hive表加载数据》
0149-《如何使用java代码通过JDBC访问Sentry环境下的Hive》
0180- 《Hive与Impala的关键字》
0181- 《如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡》
0190- 《如何获取Hive正在执行或者已结束的的MapReduce作业的SQL语句》
0204- 《如何编译及使用hive-testbench生成Hive基准测试数据》
0210- 《使用Hive SQL插入动态分区的Parquet表OOM异常分析》
0240- 《如何使用HAProxy实现HiveServer2服务的LDAP和Kerberos认证负载均衡》
0246- 《在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞》
0247- 《Parquet格式表重命名列名后Hive查询列数据显示NULL异常分析》
0249- 《如何在CDH集群中安装Hive2.3.3》
0250- 《如何在Hive中生成Parquet表》
0261- 《如何强制Hive使用指定时区而非操作系统时区》
0263- 《Hive2.2.0如何与CDH集群中的Spark1.6集成》
0315- 《如何为Hive2启用Kerberos认证》
0343- 《HiveServer2服务异常日志分析》
7.2.Impala
0039-《如何使用Python Impyla客户端连接Hive和Impala》
0070-《如何使用Beeline连接Impala》
0081-《如何使用Nginx实现Impala负载均衡》
0082-《如何使用HAProxy实现Impala的负载均衡》
0097-《如何使用java代码通过JDBC连接Impala(附Github源码)》
0113-《Impala升级为Apache顶级项目》
0124-《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》
0131-《如何在Kerberos的Linux上安装及配置Impala的ODBC驱动》
0147-《如何使用Java访问集成OpenLDAP并启用Sentry的Impala和Hive》
0154-《如何在Impala中实现拉链表》
0162-《使用Java代码通过JDBC连接只启用Sentry的Impala异常分析》
0206- 《Impala的Short-Circuit Reads》
0224- 《Hive与Impala对VARCHAR/CHAR存放中文字符解析不一致问题分析》
0242- 《Impala TPC-DS基准测试》
0248- 《如何在Impala中使用Parquet表》
0275- 《当Impala碰到由Hive生成的timestamp数据》
0276- 《由Impala-3316导致的并发查询缓慢问题》
0277- 《Impala并发查询缓慢问题解决方案》
0312- 《如何在Kerberos环境下使用Spark2通过JDBC访问Impala》
0326- 《如何为Impala Daemon服务配置Executor和Coordinator角色》
0337- 《Impala最佳实践》
7.3.HBase
0045-《Cloudera Labs中的Phoenix》
0066-《如何使用Java连接Kerberos的HBase》
0071-《如何在CDH中使用HBase快照》
0046-《如何在CDH中使用Phoenix》
0254- 《如何使用HBase存储文本文件》
0258- 《如何使用HBase存储图片》
0266- 《如何使用Java调用HBase的 Endpoint Coprocessor》
0268- 《如何开发HBase Endpoint类型的Coprocessor以及部署使用》
0307- 《如何使用Phoenix在CDH的HBase中创建二级索引》
0308- 《如何在CDH5.14.2中安装Phoenix4.14.0》
0321- 《如何在CDH中使用HBase的ACLs进行授权》
0322- 《如何在CDH中使用HBase的Quotas设置资源请求限制》
0346- 《使用Spark通过BulkLoad快速导入数据到HBase》
7.4.Hue
0056-《如何重置Hue用户密码》
0152-《如何在Hue中配置已启用SSL的HttpFS服务》
0153-《Hue禁止用户下载数据问题分析》
0164-《如何在Hue中配置HiveServer2的负载均衡》
0168-《如何在Hue中配置Impala的负载均衡》
0236- 《Hue中无法删除用户异常分析》
0241- 《如何开启Hue的Debug模式》
0251- 《如何在Hue中集成配置Hive2.3.3服务》
0328- 《如何在退出Hue后关闭Spark会话》
7.5.Sqoop
0121-《Sqoop抽取Hive Parquet表数据到MySQL异常分析》
0193- 《如何使用Sqoop2》
0342- 《Sqoop抽数到Hive表异常分析》
0348- 《Sqoop抽数到Hive表异常分析(之二)》
7.6.Solr
0103-《如何使用Java代码访问CDH的Solr服务》
0114-《如何使用Hue通过数据文件创建Collections》
0252- 《如何在CDH中使用Solr对HDFS中的JSON数据建立全文索引》
0253- 《如何使用Flume准实时建立Solr的全文索引》
0256- 《如何使用Lily HBase Indexer对HBase中的数据在Solr中建立索引》
0293- 《如何在Kerberos下使用Solr》
0301- 《使用命令行创建collection时Sentry给Solr赋权的问题》
7.7.Oozie
0060-《如何使用Hue创建Spark1和Spark2的Oozie工作流》
0061-《如何使用Hue创建Spark2的Oozie工作流(补充)》
0075-《如何在Hue中创建Ssh的Oozie工作流》
0119-《如何使用Hue上创建一个完整Oozie工作流》
0120-《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》
0123-《Hue中使用Oozie创建Shell工作流在脚本中切换不同用户》
0132-《使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析》
0133-《在Kerberos环境使用Hue通过Oozie执行Sqoop作业报错异常分析》
0184- 《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》
0185- 《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业》
0186- 《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流》
0188- 《如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark作业》
0189- 《如何启用Oozie的HA》
0194- 《如何使用Oozie API接口向Kerberos集群提交Java程序》
0202- 《如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业》
0207- 《如何使用Oozie API接口向Kerberos环境的CDH集群提交Shell作业》
0296- 《如何在Oozie中创建有依赖的WorkFlow》
7.8.HDFS
0068-《如何在CDH集群使用HDFS快照》
0105-《如何使用Java代码访问HDFS.docx》
0125-《如何在集群外节点跨网段向HDFS写数据》
0130-《如何将HDFS文件系统挂载到Linux本地文件系统》
0148-《如何为HttpFS服务配置SSL》
0209- 《JournalNode的edits目录没有格式化异常分析》
0243- 《Slow ReadProcessor&Error Slow BlockReceiver错误日志分析》
0262- 《HDFS部署最佳实践》
0264- 《如何修改启用了高可用HDFS的NameService ID》
0292- 《如何使用Java API访问HDFS为目录设置配额》
0341- 《集群JournalNode服务重启导致NameNode挂掉分析》
0360- 《NameNode Metadata备份和恢复最佳实践》
7.9.Kudu
0020-《使用JDBC向Kudu表插入中文字符-双引号的秘密》
0021-《使用JDBC向Kudu表插入中文字符-cast的秘密》
0085-《如何在Kudu1.5中使用Sentry授权》
0128-《如何迁移Kudu1.2的WAL和Data目录》
0267- 《如何使用Java API访问CDH的Kudu》
7.10.Kafka
0022-《如何永久删除Kafka的Topic》
0065-《如何通过Cloudera Manager为Kafka启用Kerberos及使用》
0069-《如何使用Java连接Kerberos的Kafka》
0324- 《如何在CDH中为Kafka设置流量配额》
0362- 《如何查看Kafka的Topic消费情况》
0363- 《如何在Spark Streaming应用中使用Kudu管理Kafka的Offset》
7.11.YARN
0019-《Yarn的JobHistory目录权限问题导致MapReduce作业异常》
0107-《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》
0108-《如何使用hadoop命令向CDH集群提交MapReduce作业》
0109-《如何使用java命令从非集群节点向CDH集群提交MapReduce作业》
0129-《如何在HDFS上查看YARN历史作业运行日志》
0291- 《如何使用Cloudera Manager设置使用YARN队列的ACL》
0353- 《如何使用curl命令调用CM的API动态配置Yarn资源池》
0354- 《如何使用Java调用CM的API动态配置Yarn资源池》
7.12.Spark
0016-《Avro序列化&反序列化和Spark读取Avro数据》
0017-《Spark的HistoryServer不能查看到所有历史作业分析》
0041-《如何使用Intellij搭建Spark开发环境》
0064-《如何通过Cloudera Manager配置Spark1和Spark2的运行环境》
0079-《如何在CDH中启用Spark Thrift》
0176- 《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》
0177- 《如何编译Livy并在非Kerberos环境的CDH集群中安装》
0178- 《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》
0182- 《如何在Kerberos环境的CDH集群部署Livy》
0183- 《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》
0278- 《如何在Kerberos环境下的CDH集群部署Spark1.6 Thrift及spark-sql客户端》
0280- 《如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端》
0281- 《如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端》
0285- 《如何使用java连接Kerberos和非kerberos和kerberos的Spark1.6 ThriftServer》
7.13.Zookeeper
0006-《Zookeeper指标分析》
0101-《Kerberos环境下删除ZooKeeper服务注册信息问题分析》
0239- 《集群启用Kerberos后对Zookeeper的Znode操作异常分析》
8.多租户
8.1.静态资源管理
计划中...
8.2.动态资源管理/YARN
计划中...
8.3.动态资源管理/Impala
计划中...
8.4.安全
8.4.1.认证
8.4.1.1.Kerberos
0005-《Windows Kerberos客户端配置并访问CDH》
0027-《如何在CDH集群启用Kerberos》
0087-《如何配置Kerberos服务的高可用》
0173- 《如何在Redhat7.3的CDH5.14中启用Kerberos》
0271- 《如何禁用CDH集群Kerberos》
0273- 《如何在CDH6.0.0-beta1中启用Kerberos》
0319- 《如何在Redhat7.4的CDH5.15中启用Kerberos》
0345- 《如何将CDH集群的KDC从RedHat7迁移到RedHat6》
8.4.1.2.OpenLDAP
0137-《1.如何在CentOS6.5安装OpenLDAP并配置客户端》
0138-《2.OpenLDAP集成SSH登录并使用SSSD同步用户》
0139-《3.如何实现OpenLDAP的主主同步》
0140-《4. 如何为Hive配置OpenLDAP认证》
0141-《5.如何为Impala配置OpenLDAP认证》
0142-《6.如何为Hue配置OpenLDAP认证》
0150-《7.如何在OpenLDAP中实现将一个用户添加到多个组》
0166-《如何集成OpenLDAP+Sentry.docx》
0226- 《1.如何在RedHat7上安装OpenLDA并配置客户端》
0227- 《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》
0229- 《3.如何RedHat7上实现OpenLDAP的主主同步》
0233- 《4.如何为Hive集成RedHat7的OpenLDAP认证》
0234- 《5.如何为Impala集成Redhat7的OpenLDAP认证》
0235- 《6.如何为Hue集成RedHat7的OpenLDAP认证》
0237- 《7.如何在RedHat7的OpenLDAP中实现将一个用户添加到多个组》
0238- 《8.如何使用RedHat7的OpenLDAP和Sentry权限集成》
0361- 《9.如何为Navigator集成RedHat7的OpenLDAP认证》
8.4.1.3.AD
计划中...
8.4.1.4.SAML
0191- 《如何使用Shibboleth搭建IDP服务并集成OpenLDAP》
0192- 《如何使用SAML配置Cloudera Manager的身份验证》
0199- 《如何使用SAML配置CDSW的身份验证》
8.4.2.授权
0015-《如何使用Sentry管理Hive外部表权限》
0028-《如何在CDH未启用认证的情况下安装及使用Sentry》
0031-《如何在CDH启用Kerberos的情况下安装及使用Sentry(一)》
0032-《如何在CDH启用Kerberos的情况下安装及使用Sentry(二)》
0033-《如何在Hue中使用Sentry》
0035-《如何使用Sentry管理Hive外部表(补充)》
0067-《Sentry赋予server1权限给hive以外用户时ACL不同步问题分析》
0074-《如何在启用Sentry的CDH集群中使用UDF》
0155-《如何查看集成Sentry后Hive作业的真实用户》
0208- 《如何使用Sentry实现Hive/Impala的数据脱敏》
0225- 《如何使用Sentry通过视图实现Impala的行级授权》
0279- 《如何在Kerberos的CDH使用Sentry实现Spark SQL的权限控制》
0294- 《如何使用Sentry为Solr赋权》
0298- 《如何使用Sentry为Kafka赋权》
0304- 《如何在Hue中使用Sentry为Solr赋权》
8.4.3.加密
0092-《什么是HDFS透明加密》
0111-《如何在CDH实现HDFS透明加密》
8.4.4.审计
计划中...
8.5.集群资源使用报告
0157-《如何在CM中启用YARN的使用率报告》
9.灾备
9.1.介绍
0244- 《如何部署active-active的Hadoop集群》
9.2.HDFS
0013-《如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据》
9.2.HBase
0076-《如何使用HBase快照实现跨集群全量与增量数据迁移》
10.运维
10.1.监控
0211- 《Cloudera Manager监控介绍》
0212- 《Cloudera Manager的时间轴》
0213- 《Cloudera Manager的运行状况测试》
0218- 《使用Cloudera Manager查看集群,服务,角色和主机的图表》
0289- 《如何使用Cloudera Manager监控服务》
10.2.告警
0259- 《如何通过Cloudera Manager配置使用SNMP方式转发告警》
11.外部工具集成
11.1.Tableau
0093-《如何安装Tableau并连接CDH的Hive/Impala》
0094-《如何通过Tableau连接Kerberos的Hive/Impala》
11.2.SAS
0198- 《如何安装SAS并配置连接Hive/Impala》
11.3.Azkaban
0214- 《如何编译安装Azkaban服务》
0215- 《如何编译Azkaban插件》
0219- 《如何在Azkaban中安装HDFS插件以及与CDH集成》
0222- 《如何在Azkaban安装插件(二)》
0223- 《Azkaban的使用及Command作业创建》
11.4.SmartBI
0257- 《如何安装SmartBI并连接到Impala》
11.4.StreamSets
0220- 《如何在CDH中安装和使用StreamSets》
0231- 《如何使用StreamSets从MySQL增量更新数据到Hive》
0232- 《如何使用StreamSets实现MySQL中变化数据实时写入Kudu》
0255- 《如何使用StreamSets实时采集Kafka并入库Kudu》
0282- 《如何使用StreamSets实现MySQL中变化数据实时写入HBase》
0299- 《如何使用StreamSets实时采集Kafka数据并写入Hive表》
0302 -《如何使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表》
0320- 《如何使用StreamSets实现Oracle中变化数据实时写入Kudu》
11.5.Kylin
0260- 《如何在CDH中部署及使用Kylin》
0295- 《如何在启用Kerberos的CDH中部署及使用Kylin》
11.6.Presto
0316- 《如何在CDH集群中部署Presto》
0318- 《如何为Presto集成Kerberos环境下的Hive》
12.应用场景
12.1.实时
0116-《如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS》
0122-《非Kerberos环境下Kafka数据到Flume进Hive表》
0145-《如何使用Spark Streaming读取HBase的数据并写入到HDFS》
0283- 《SparkStreaming读Kafka数据写HBase》
0286- 《SparkStreaming读Kafka数据写Kudu》
0287- 《如何使用Flume采集Kafka数据写入Kudu》
0288- 《如何使用Flume采集Kafka数据写入HBase》
0290- 《如何在Kerberos环境下使用Flume采集Kafka数据写入HBase》
0309- 《Spark2Streaming读Kerberos环境的Kafka并写数据到Kudu》
0310- 《Spark2Streaming读Kerberos环境的Kafka并写数据到HBase》
0330- 《Spark2Streaming读Kerberos环境的Kafka并写数据到Hive》
0335- 《Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS》
0338-《Spark2Streaming读Kafka并写入到HBase》
0352- 《Spark2Streaming读非Kerberos环境的Kafka并写数据到Kudu》
13.基准测试
0245- 《如何使用HiBench进行基准测试》
0201- 《如何编译及使用TPC-DS生成测试数据》
14.其他
0018- 《大数据售前的中年危机》
0059- 《工程师的一天》
0179- 《Fayson给大家拜年》
0221- 《冲上云霄》
0228- 《Cloudera去年第四季度以及全年财报》
0230- 《Hortonworks去年第四季度以及全年财报》
0259- 《如何在DELL R730服务器上使用U盘安装linux操作系统》
0329- 《Hortonworks正式发布HDP3.0》
《刘汨春:AI大数据在企业全链业务中的应用和价值(上)》
《HDFS添加 NFS Gateway 角色实例启动失败问题及解决办法》
《近期文章内容预告》
《如何为CDH集群配置机架感知》
提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操