首页 > 其他分享 >Hadoop - hadoop介绍

Hadoop - hadoop介绍

时间:2023-05-30 17:34:37浏览次数:32  
标签:Google 海量 Hadoop 介绍 hadoop Lucene 引擎 数据

Hadoop是什么

Hadoop的发展历史

Hadoop的优势

 

 

 

 

 

 

 

Hadoop是什么

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上讲,Hadoop通常是指一个更广泛的概念 —— Hadoop生态圈。

 

Hadoop的发展历史

Lucene框架是道格卡丁开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎,包括完整的查询引擎和索引引擎。

2021年年底Lucene称为Apache基金会的一个子项目

对于海量数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢。

学习和模仿Google解决这些问题的办法:微型版Nutch

可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

  • GFS => HDFS
  • Map-Reduce => MR
  • BigTable => Hbase

 

Hadoop的优势

  • 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
  • 高扩展性:在集群间分配任务数据,可方便地扩展数以千计的节点。
  • 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
  • 高容错性:能够自动将失败的任务重新分配。

 

标签:Google,海量,Hadoop,介绍,hadoop,Lucene,引擎,数据
From: https://www.cnblogs.com/harleyblogs/p/17443859.html

相关文章

  • Mysql DDL执行方式-pt-osc介绍 | 京东云技术团队
    1引言大家好,接着上次和大家一起学习了《MySQLDDL执行方式-OnlineDDL介绍》,那么今天接着和大家一起学习另一种MySQLDDL执行方式之pt-soc。在MySQL使用过程中,根据业务的需求对表结构进行变更是个普遍的运维操作,这些称为DDL操作。常见的DDL操作有在表上增加新列或给某个列添加......
  • 直播app开发,系统之窗口横屏锁定以屏幕方向介绍
    直播app开发,系统之窗口横屏锁定以屏幕方向介绍android源码中通过PhoneWindowManager.java来管理窗口的显示,为WMS的一个主要部分。其源码地址如下: frameworks\base\services\core\java\com\android\server\policy\PhoneWindowManager.java​PhoneWindowManager关于屏幕方向控......
  • Photoshop 2023 Beta 内置Ai绘图功能介绍&安装教程
    距离Adobe软件公司首次将图像编辑及数字绘画软件Photoshop推出到大众面前已经过去35年,最近该公司又再次书写了属于Photoshop的历史新篇章。最近,Adobe宣布Photoshop(Beta)迎来更新,新增「创意填充(GenerativeFill)」功能,生成式AI绘图由AdobeFirefly提供支持,Adobe的创意生成AI模型系......
  • Mysql DDL执行方式-pt-osc介绍 | 京东云技术团队
    1引言大家好,接着上次和大家一起学习了《MySQLDDL执行方式-OnlineDDL介绍》,那么今天接着和大家一起学习另一种MySQLDDL执行方式之pt-soc。在MySQL使用过程中,根据业务的需求对表结构进行变更是个普遍的运维操作,这些称为DDL操作。常见的DDL操作有在表上增加新列或给某个列添加索引......
  • RabbitMQ 工作模式介绍
    RabbitMQ工作模式介绍1.HelloWorldRabbitMQ是一个消息代理:它接受并转发消息。您可以将其视为邮局:当您将要邮寄的邮件放入邮箱时,您可以确定信使最终会将邮件交付给您的收件人。在这个类比中,RabbitMQ是一个邮政信箱,一个邮局和一个信件载体。RabbitMQ和邮局之间的主要区别在于......
  • keepalive-haproyx高可用介绍
    假设我们现在开发了一个应用应用的端口号为8080,这个应用我们想让它去实现一个负载均衡的访问,就是说我们有两台服务器都部署了我们的8080应用,我们想让它一会访问ip为:192.168.0.1的,一会访问192.168.0.2的,我们之前的做法是不是在这两台服务器之上部署一台Nginx来进行实现......
  • jwt介绍和原理 JWT认证
    目录一、cookie,session,token发展历史jwt:二、base64编码和解码基本使用base64的用途小练习三、JWT认证一、cookie,session,token发展历史-会话管理-cookie:客户端浏览器的键值对-session:服务的的键值对(djangosession表,内存中,文件,缓存数据库)-token:服务的生成的加密字符串,如果......
  • Hadoop之MapReduce性能优化
    现在大家已经掌握了MapReduce程序的开发步骤,注意了,针对MapReduce的案例我们并没有讲太多,主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了,因为后面我们会学习一个大数据框架Hive,Hive支持SQL,这个Hive底层会把SQL转化为MapReduce执行,不需要我们写一行代......
  • Wpf基础入门——控件介绍
    本篇文章学习于:刘铁猛老师《深入浅出WPF》控件到底是什么?WPF中是数据驱动UI,数据是核心、是主动的;UI从属于数据并表达数据、是被动的。Control是数据和行为的载体,而无需具有固定的形象。控件的派生关系如下:WPF的内容模型各类内容模型详解我们把符合某类内容模型的UI元......
  • 转载-奇小葩- 深入ftrace uprobe原理和功能介绍
    原文链接:https://blog.csdn.net/u012489236/article/details/127954817 上一章我们学习了,kprobe可以实现动态内核的注入,基于中断的方法在任意指令中插入追踪代码,并且通过pre_handler/post_handler去接收回调。另一个kprobe的同族是kretprobe,只不过是针对函数级别的内核......