首页 > 其他分享 >01、大数据存储技术介绍

01、大数据存储技术介绍

时间:2023-03-09 09:35:04浏览次数:51  
标签:存储 01 数据库 存储技术 介绍 索引 ElasticSearch Hbase 数据

转载公众号《微言晓意》,仅用于个人学习

鉴于网络安全数据组成的复杂性、规模,以及对实时搜索响应的需求,需要通过大数据存储集群快速实现空间的扩容,在PB级的安全数据中做到安全分析查询的秒级响应,同时需要为数据提供了冗余机制,保障数据的安全。

▼Hbase

Hbase是一个提供高可靠、高性能、可伸缩、实时读写、分布式的列式数据库,主要用户存储非结构化的松散数据。Hbase与传统关系数据库的一个重要区别在于,它采用基于列的存储,而后者采用基于行的存储。Hbase具有良好的横向扩展能力,可以通过不断增加廉价的商用服务器从而提高存储能力,也可以处理非常庞大的表。HDFS为Hbase提供可靠的底层数据存储服务,MapReduce为Hbase提供高性能的计算能力,Zookeeper为Hbase提供稳定服务和Failover机制,因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。Hbase适合存数据,但对于模糊匹配查询不擅长,且不适合高并发查询,它比较适合的场景为:存数据量巨大(百T、PB级别),但查询简单,数据不涉及到复杂关联。

▼▼Mongo DB

MongoDB数据库是一个高性能、非关系型的开源文档型数据库,在当前分布式数据库产品使用中最为流行。MongoDB支持松散的数据结构,使用文档型的存储方式,可以存放比较复杂的数据类型。Mongo DB最大的特点是存储的内容是文档型的,不需要固定的表结构也可以对指定字段建立索引,实现关系型数据库的功能。由于MongoDB的数据结构非常简单,所以它的读写性能也非常高,当数据量达到50GB以上时,Mongo DB数据库的访问速度是My SQL数据库的10倍以上。但是MongoDB存储的数据量达到10亿级别后,性能会有明显的下降,除非另外分库。

▼ElasticSearch

ElasticSearch和Hbase、MongoDB一样,是非关系型数据库。ElasticSearch是基于全文搜索引擎(Lucene)构建的开源、分布、RESTful搜索引擎,是优秀的全文检索和分析引擎。ElasticSearch主要是基于高性能数据存储系统构建,集海量异构数据分析处理、元数据提取、索引数据统一构建管理、通用化检索接口于一体,系统由分布式的全文搜索引擎和海量数据索引服务组成。针对海量异构数据进行预处理解析后形成构建索引的元数据,对元数据分析后,根据其特性形成索引映射机制,提取构建索引结构数据,并提供持久化机制。以统一的索引资源池为基础,屏蔽异构数据的复杂性,提供统一检索服务。ElasticSearch在解决大数据相关问题中有良好的表现,随着日志事件搜索量的增加,搜索反应时间不线性增加,说明基于ElasticSearch的大日志实时搜索的软件集成方案设计具有可行性。ElasticSearch是一个接近实时的搜索平台,各项数据显示ElasticSearch适合数据分析、数据统计中较其他软件具有明显的优势。

标签:存储,01,数据库,存储技术,介绍,索引,ElasticSearch,Hbase,数据
From: https://www.cnblogs.com/qinke/p/17197107.html

相关文章

  • simpleini库的介绍和使用(面向业务编程-格式处理)
    simpleini库的介绍和使用(面向业务编程-格式处理)介绍simpleini是一个跨平台的ini格式处理库,提供了一些简单的API来读取和写入ini风格的配置文件。它支持ASCII、MBCS和Unic......
  • celery-介绍和安装
    1.celery介绍celery是python一个框架,与django无关,可以用在django中,也能用在flask中,运行起来就是一个服务。它的功能:1.异步任务2.定时任务3.延迟任务celery的运行原理......
  • CCF 2015-12
    一:试题编号:2015-12-1试题名称:数位之和时间限制:1.0s内存限制:256.0MB问题描述:问题描述 给定一个十进制整数n,输出n的各位数字之和。输入格式 输入一个整数n。输出格式 输......
  • celery介绍和安装, celery快速使用, celery包结构
    celery介绍和安装,celery快速使用,celery包结构celery介绍和安装celery它是一个分布式异步框架,celery翻译过来是"芹菜"的意思1.完成异步任务:可以提高项目的并发量,之......
  • 自己动手从零写桌面操作系统GrapeOS系列教程——11.MBR介绍
    学习操作系统原理最好的方法是自己写一个简单的操作系统。前面我们介绍过电脑的启动过程:上电->BIOS->MBR(boot)->loader->kernel->交互界面(图形/命令行)本讲我们要介......
  • Celery框架的基本使用与介绍
    目录Celery介绍、安装、基本使用一、Celery服务1、celery架构2、celery快速使用3、celer包结构【使用包写一个小游戏】Celery介绍、安装、基本使用一、Celery服务什么......
  • 天梯赛练习题L3-001 凑零钱(dfs 爆搜)
    https://pintia.cn/problem-sets/994805046380707840/exam/problems/994805054207279104题目大意:给定n个硬币,总共需要我们凑出m块钱。问我们能凑出的硬币的最小字典序......
  • 路飞-day9——redis之列表类型、redis之hash类型、redis其他方法、redis管道、django
    目录一、redis之列表(List)类型二、redis之hash(字典)类型三、redis其他方法(所有类型通用的方法)四、redis管道五、django中使用redis方式一方式二方案一方案二六、celery介绍......
  • (P01)C++介绍
    文章目录​​1.需要掌握的重要练习​​​​2.为什么要学习C++​​​​3.C++为什么难学​​​​4.C++11值得学习的新特性​​​​5.几本推荐学习C++的书​​​​6.开发工具......
  • mybatis01_mybatis入门
    一、MyBatis简介​ MyBatis本是apache的一个开源项目iBatis,2010年这个项目由apachesoftwarefoundation迁移到了googlecode,并且改名为MyBatis。2013年11月迁移到Github......