首页 > 其他分享 >IT十年--大数据系列讲解

IT十年--大数据系列讲解

时间:2023-08-04 17:06:23浏览次数:33  
标签:系列 -- Sqoop hadoop 十年 Storm 讲解 数据

个人觉得IT十年的大数据系列的博文非常干货。对于希望掌握整个大数据行业的技术栈的一个初步了解非常的有帮助,本人也是有事没事的上来看看。所以整理出来一个目录,放在自己的博客里,方便寻找学习。





大数据(一) - hadoop生态系统及版本演化

大数据(二) - HDFS

大数据(三) - YARN

大数据(四) - MapReduce

大数据(五) - HBase

大数据(六) - ZooKeeper

大数据(七) - Flume

大数据(八) - Sqoop

大数据(九) - Hive

大数据(十) - Pig

大数据(十一) - Mahout

大数据(十二) - Oozie

大数据(十三) - Azkaban

大数据(十四) - Storm

大数据(十五) - JStorm  


标签:系列,--,Sqoop,hadoop,十年,Storm,讲解,数据
From: https://blog.51cto.com/u_6468453/6964702

相关文章

  • 周志湖Spark系列
    本人本着十分尊重的态度来学习周老师的博文,特此为方便好找,在此做一个目录。方便学习。Scala-IDEEclipse(Windows)中开发Spark应用程序,在UbuntuSpark集群上运行Spark-1.4.0集群搭建Spark国内外书籍推荐Spark修炼之道——Spark学习路线、课程大纲Spark修炼之道系列教程预告Spark修......
  • 使用 Spring 3 MVC HttpMessageConverter 功能构建 RESTful web 服务(转)
    Spring,构建Java™平台和EnterpriseEdition(JavaEE)应用程序的著名框架,现在在其模型-视图-控制器(Model-View-Controller,MVC)层支持具象状态传输(REST)。RESTfulweb服务根据客户端请求生成多个具象(representations)很重要。在本篇文章中,学习使用HttpMessageConverter 生成......
  • HTools:开源免费的Hadoop集群监控工具
    HTools是一款功能强大、开源免费的Hadoop集群监控工具,拥有人性化的用户体验、智能化的故障提醒。 HTools官网:http://www.htools.co 下载地址:http://www.htools.co/down/ 功能介绍: 向导式操作流程免客户端部署实时监控短信、邮件故障告警节点故......
  • 剖析Disruptor:为什么会这么快?(三)揭秘内存屏障(转)
    主题是什么?我写这个系列的博客主要目的是解析Disruptor是如何工作的,并深入了解下为什么这样工作。理论上,我应该从可能准备使用disruptor的开发人员的角度来写,以便在代码和技术论文[Disruptor-1.0.pdf]之间搭建一座桥梁。这篇文章提及到了内存屏障,我想弄清楚它们到底是什么,以及它们......
  • 剖析Disruptor:为什么会这么快?(三)伪共享(转)
    缓存系统中是以缓存行(cacheline)为单位存储的。缓存行是2的整数幂个连续字节,一般为32-256个字节。最常见的缓存行大小是64个字节。当多线程修改互相独立的变量时,如果这些变量共享同一个缓存行,就会无意中影响彼此的性能,这就是伪共享。缓存行上的写竞争是运行在SMP系统中并行线程实现......
  • 如何使用Disruptor(二)如何从Ringbuffer读取(转)
    ConsumerBarrier与消费者这里我要稍微反过来介绍,因为总的来说读取数据这一过程比写数据要容易理解。假设通过一些“魔法”已经把数据写入到RingBuffer了,怎样从RingBuffer读出这些数据呢?(好,我开始后悔使用Paint/Gimp 了。尽管这是个购买绘图板的好借口,如果......
  • 如何使用 Disruptor(三)写入 Ringbuffer(转)
    本文的 重点 是:不要让Ring重叠;如何通知消费者;生产者一端的批处理;以及多个生产者如何协同工作。ProducerBarriersDisruptor 代码给 消费者 提供了一些接口和辅助类,但是没有给写入RingBuffer的 生产者 提供接口。这是因为除了你需要知道生产者之外,没有别人需要访问它。......
  • Facebook 2013年的9个开源项目
    Facebook是全球最大的社交网站,它的成长背后离不开开源力量。其开源项目负责人JamesPearce介绍说,Facebook从写下自己的第一行PHP代码开始,第一次使用MySQLINSERT声明语句开始,开源就已经融入到公司的工程师文化里面了。  Facebook不仅取之开源,更是不断开源其内部项目,将内部成......
  • GitHub中最火的开源项目及编程语言
    GitHub目前已经成为全球最流行的开源项目托管平台,目前托管在GitHub上的项目数量已经达到了1000万,而达到这一里程碑只用了不到4年的时间,这足以见得开源的趋势以及GitHub的受欢迎程度。 2012年8月,GitHub在每个项目主页面中加入了Star功能,允许用户通过标注Star的形式来标记自己感兴趣......
  • 可伸缩性最佳实践:来自eBay的经验(转)
    在eBay,可伸缩性是我们每天奋力抵抗的一大架构压力。我们所做的每一项架构及设计决策,身前身后都能看到它的踪影。当我们面对的是全世界数以亿计的用户,每天的页面浏览量超过10亿,系统中的数据量要用皮字节(1015或250)来计算——可伸缩性是生死交关的问题。在一个可伸缩的架构中,资源的消......