首页 > 数据库 >大数据技术原理与应用——从入门到文档数据库

大数据技术原理与应用——从入门到文档数据库

时间:2024-09-17 10:23:38浏览次数:10  
标签:HDFS 入门 数据库 Hadoop 文档 HBase 数据 节点

大数据技术原理与应用

3次信息化的浪潮
image

研究问题的四个阶段
image

image

大数据技术的层次
image

大数据的计算模式
image

PaaS
image

image

物联网的概念
image

云计算、大数据、物联网之间的关系
image

Hadoop应用现状
image

选择Hdoop需要考虑的因素
image

Hadoop的定量评分(满分为5分)

image
image
image

总体评价
image

Ubuntu的一些基本知识(之所以不用CentOs,是因为其太重了)
image

Hadoop安装方式
image

Hadoop是什么
image

Hadoop的发展历程(了解)
image

安装Hadoop前的jdk路径

image

Hadoop使用

3种Shell命令方式
image

MapReduce两大核心组件
image

热备份:
image

HDFS

是 Hadoop Distribution File System的缩写

HDFS实现目标
image

HDFS的局限性
image

HDFS的相关概念
1.块
image

为什么要这样设计:
image

这样设计的好处:
image

2.名称节点(NameNode)与数据节点(DataNode)
image

FsImage:
image

元数据:
image

名称节点的具体文件结构:
image

名称节点与数据节点经常通信、传递信息,所以名称节点知道各个数据节点的信息

开始shell后的操作流程:
image

文件保存的位置:
image

HDFS的体系结构:
局限性:
image

第二名称节点的作用、冷备份:
image

3.4 HDFS存储原理

3.5.1 HDFS读数据过程

3.5.2 HDFS写数据过程

4.1 HBase简介

是一个稀疏的列式数据库

HBase与关系数据库的联系和区别:
image

访问接口:
image

4.2 HBase数据模型

定位一个数据:
4个必须:行键、列组、列限定符、时间戳:
image

概念示图(可能比较稀疏):
image

底层存储示意图(基本都是紧凑地存储):
image

面向行的存储的优势和缺点:
image

如何选择列式数据库还是行式数据库:
image

4.3 HBase的实现原理

HBase的功能组件:
库函数;Master服务器;Region服务器
image

Master服务器的作用:
image

Region的拆分(拆分速度很快,只是修改链接,并不会修改物理地址;只有合并后的才需要修改物理地址)及大小配置:
补充:同一个Region只是会在一个Region服务器上;每个Region大概能存储10-1000个region
image

寻址结构:
image
3层结构及作用:
image

查找数据时的缓存:
image

4.4 HBase运行机制

读写数据的过程:

写数据:
image

HLog的工作原理:
image

4.5 HBase应用方案

性能优化方法:
image

HBase怎么检测性能:
image

Ambari
image

4.6 HBase安装配置和常用Shell命令

5.1 NoSQL概述

NoSQL特点:
image

传统的关系数据库性能上的缺陷:
image

MySQL集群方式的缺陷:
image

NoSQL兴起的原因:
image

在web2.0时代,关系数据库没法发挥的特性
image

5.2 NoSQL与关系数据库的比较

关系数据库的优势:
image

NoSQL数据库的优势和劣势
image

5.3.1键值数据库和列族数据库

不同数据库的分类
image

不同类型数据库的举例
image

键值数据库
image

列族数据库
image

5.3.2文档数据库图数据库以及不同数据库比较分析

文档数据库
image

图数据库
image

5.4.1 CAP理论

CAP理论:image

CAP理论理论下的几种选择
image

不同产品在CAP理论理论下的不同设计原则
image

5.4.2 BASE和最终一致性

BASE:
image

image

最终一致性;
image
回话一致性;单调写一致性
image

如何实现各种类型的一致性
image

N/W/R之间的关系
image

举例:
image

5.5 从NoSQL到NewSQL数据库

数据库的发展,伴随着大数据的发展
image

newSQL数据库
image

5.6 文档数据库MongoDB

标签:HDFS,入门,数据库,Hadoop,文档,HBase,数据,节点
From: https://www.cnblogs.com/fromWell888Dare/p/16651563.html

相关文章

  • Python 操作 MySQL 数据库
    Python操作MySQL数据库Python标准数据库接口为PythonDB-API,PythonDB-API为开发人员提供了数据库应用编程接口。Python数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:GadFlymSQLMySQLPostgreSQLMicrosoftSQLServer2000InformixInterbaseOracleSybase......
  • 数据库的基本使用
     数据存储逻辑   数据存储的逻辑是行和列。我们根据数据库中的表的结构来认识数据的存储结构,用什么的结构去呈现我们所要存储的数据。               6.2数据库架构   MySQL是一种可移植的数据库,几乎能在当前所有的操作系统中运行,如......
  • Faiss向量数据库
    安装Faiss:......
  • 汽车资讯网站|基于springboot+vue的汽车资讯网站(源码+数据库+文档)
    汽车资讯网站目录基于springboot+vue的汽车资讯网站一、前言二、系统设计三、系统功能设计 四、数据库设计 五、核心代码 六、论文参考七、最新计算机毕设选题推荐八、源码获取:博主介绍:✌️大厂码农|毕设布道师,阿里云开发社区乘风者计划专家博主,CSDN平台Java领......
  • 企业管理|基于springboot+vue的企业OA管理系统(源码+数据库+文档)
    企业管理目录基于springboot+vue的企业OA管理系统一、前言二、系统设计三、系统功能设计 四、数据库设计 五、核心代码 六、论文参考七、最新计算机毕设选题推荐八、源码获取:博主介绍:✌️大厂码农|毕设布道师,阿里云开发社区乘风者计划专家博主,CSDN平台Java领域......
  • 智慧宿舍平台|基于Springboot+vue的智慧宿舍系统(源码+数据库+文档)
    智慧宿舍系统目录基于Springboot+vue的智慧宿舍系统一、前言二、系统设计三、系统功能设计四、数据库设计 五、核心代码 六、论文参考七、最新计算机毕设选题推荐八、源码获取博主介绍:✌️大厂码农|毕设布道师,阿里云开发社区乘风者计划专家博主,CSDN平台Java领域......
  • 电子竞技信息交流平台|基于java的电子竞技信息交流平台系统小程序(源码+数据库+文档)
    电子竞技信息交流平台系统小程序目录基于java的电子竞技信息交流平台系统小程序一、前言二、系统设计三、系统功能设计四、数据库设计 五、核心代码 六、论文参考七、最新计算机毕设选题推荐八、源码获取:博主介绍:✌️大厂码农|毕设布道师,阿里云开发社区乘风者计......
  • 课堂助手|微信课堂助手系统小程序(源码+数据库+文档)
    课堂助手|课堂助手系统小程序目录微信课堂助手系统小程序一、前言二、系统设计三、系统功能设计四、数据库设计 五、核心代码 六、论文参考七、最新计算机毕设选题推荐八、源码获取: 博主介绍:✌️大厂码农|毕设布道师,阿里云开发社区乘风者计划专家博主,CSDN平台......
  • SQL Server_查询某一数据库中的所有表的内容
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表(名),可以使用以下SQL语句:USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释:SELECTTABLE_NAME:这个语句的作用是......
  • IntelliJ IDEA内置代码文档汉化简单指南
    测试环境:IntelliJIDEA2024.1(CommunityEdition)IntelliJIDEA,作为一款业界领先的集成开发环境(IDE),提供了丰富的代码提示和文档支持功能,极大地促进了开发者的编码效率。然而,对于中文用户,尤其是初学者,英文的代码文档提示可能会成为理解和使用的障碍。因此,将IntelliJIDEA......