首页 > 数据库 >Nosql基本概念

Nosql基本概念

时间:2023-02-01 10:34:14浏览次数:44  
标签:缓存 NoSQL Nosql 数据库 Redis 键值 数据 基本概念


Nosql基本概念

一、为什么使用Nosql

1、单机Mysql时代

Nosql基本概念_数据库

90年代,一个网站的访问量一般不会太大,单个数据库完全够用。随着用户增多,网站出现以下问题

  1. 数据量增加到一定程度,单机数据库就放不下了
  2. 数据的索引(B+ Tree),一个机器内存也存放不下
  3. 访问量变大后(读写混合),一台服务器承受不住。

2、Memcached(缓存) + Mysql + 垂直拆分(读写分离)

网站80%的情况都是在读,每次都要去查询数据库的话就十分的麻烦!所以说我们希望减轻数据库的压力,我们可以使用缓存来保证效率!

Nosql基本概念_redis_02

优化过程经历了以下几个过程:

  1. 优化数据库的数据结构和索引(难度大)
  2. 文件缓存,通过IO流获取比每次都访问数据库效率略高,但是流量爆炸式增长时候,IO流也承受不了
  3. MemCache,当时最热门的技术,通过在数据库和数据库访问层之间加上一层缓存,第一次访问时查询数据库,将结果保存到缓存,后续的查询先检查缓存,若有直接拿去使用,效率显著提升。

3、分库分表 + 水平拆分 + Mysql集群

Nosql基本概念_mysql_03

4、如今最近的年代

2010–2020 十年之间,世界已经发生了翻天覆地的变化;(定位,也是一种数据,音乐,热榜!)
MySQL 等关系型数据库就不够用了!数据量很多,变化很快~!
MySQL 有的使用它来村粗一些比较大的文件,博客,图片!数据库表很大,效率就低了!如果有一种数 据库来专门处理这种数据,

MySQL压力就变得十分小(研究如何处理这些问题!)大数据的IO压力下,表几乎没法更大!

目前一个基本的互联网项目

Nosql基本概念_sql_04

为什么要用NoSQL ?

用户的个人信息,社交网络,地理位置。用户自己产生的数据,用户日志等等爆发式增长!
这时候我们就需要使用NoSQL数据库的,Nosql可以很好的处理以上的情况!

二、什么是Nosql

NoSQL = Not Only SQL(不仅仅是SQL)

Not Only Structured Query Language

NoSQL = Not Only SQL (不仅仅是SQL)
关系型数据库:表格 ,行 ,列

泛指非关系型数据库的,随着web2.0互联网的诞生!传统的关系型数据库很难对付web2.0时代!尤其 是超大规模的高并发的社区! 暴露出来很多难以克服的问题,NoSQL在当今大数据环境下发展的十分迅 速,Redis是发展快的,而且是我们当下必须要掌握的一个技术!

很多的数据类型用户的个人信息,社交网络,地理位置。这些数据类型的存储不需要一个固定的格式! 不需要多月的操作就可以横向扩展的 ! Map<String,Object> 使用键值对来控制!

Nosql特点

解耦!

  1. 方便扩展(数据之间没有关系,很好扩展!)
  2. 大数据量高性能(Redis一秒可以写8万次,读11万次,NoSQL的缓存记录级,是一种细粒度的缓存,性能会比较高!)
  3. 数据类型是多样型的!(不需要事先设计数据库,随取随用)
  4. 传统的 RDBMS 和 NoSQL
传统的 RDBMS(关系型数据库)
- 结构化组织
- SQL
- 数据和关系都存在单独的表中 row col
- 操作,数据定义语言
- 严格的一致性
- 基础的事务
- ...
Nosql
- 不仅仅是数据
- 没有固定的查询语言
- 键值对存储,列存储,文档存储,图形数据库(社交关系)
- 最终一致性
- CAP定理和BASE
- 高性能,高可用,高扩展
- ...

3V + 3高

大数据时代的3V :主要是描述问题

  1. 海量Velume
  2. 多样Variety
  3. 实时Velocity

大数据时代的3高 : 主要是对程序的要求

  1. 高并发
  2. 高可扩
  3. 高性能

三、阿里巴巴演进分析

Nosql基本概念_大数据_05

Nosql基本概念_大数据_06

# 商品信息
- 一般存放在关系型数据库:Mysql,阿里巴巴使用的Mysql都是经过内部改动的。

# 商品描述、评论(文字居多)
- 文档型数据库:MongoDB

# 图片
- 分布式文件系统 FastDFS
- 淘宝:TFS
- Google: GFS
- Hadoop: HDFS
- 阿里云: oss

# 商品关键字 用于搜索
- 搜索引擎:solr,elasticsearch
- 阿里:Isearch 多隆

# 商品热门的波段信息
- 内存数据库:Redis,Memcache

# 商品交易,外部支付接口
- 第三方应用

大型互联网应用问题:

  • 数据类型太多了!
  • 数据源繁多,经常重构!
  • 数据要改造,大面积改造

解决问题:

Nosql基本概念_大数据_07


Nosql基本概念_mysql_08

四、Nosql的四大分类

KV键值对

  • 新浪:Redis
  • 美团:Redis + Tair
  • 阿里、百度:Redis + Memcache

文档型数据库(bson数据格式):

  • MongoDB
  • 基于分布式文件存储的数据库。C++编写,用于处理大量文档。
  • MongoDB是RDBMS和NoSQL的中间产品。MongoDB是非关系型数据库中功能最丰富的,NoSQL中最像关系型数据库的数据库。
  • ConthDB

列存储数据库

  • HBase(大数据必学)
  • 分布式文件系统

图关系数据库

Nosql基本概念_sql_09

  • 他不是存图形,放的是关系,比如:朋友圈社交网络,广告推荐!
  • Neo4j、InfoGrid

四者对比!

分类

Examples举例

典型应用场景

数据模型

优点

缺点

键值对(key-value)

Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB

内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。

Key 指向 Value 的键值对,通常用hash table来实现

查找速度快

数据无结构化,通常只被当作字符串或者二进制数据

列存储数据库

Cassandra, HBase, Riak

分布式的文件系统

以列簇式存储,将同一列数据存在一起

查找速度快,可扩展性强,更容易进行分布式扩展

功能相对局限

文档型数据库

CouchDB, MongoDb

Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容)

Key-Value对应的键值对,Value为结构化数据

数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构

查询性能不高,而且缺乏统一的查询语法。

图形(Graph)数据库

Neo4J, InfoGrid, Infinite Graph

社交网络,推荐系统等。专注于构建关系图谱

图结构

利用图结构相关算法。比如最短路径寻址,N度关系查找等

很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群

Nosql基本概念_redis_10


标签:缓存,NoSQL,Nosql,数据库,Redis,键值,数据,基本概念
From: https://blog.51cto.com/u_15949251/6030912

相关文章

  • 转:SSL 证书基本概念扫盲
    keytoolVSopensslkeytool和openssl是俩个证书管理工具。keytool是javaJDK自带的证书管理工具,使用keytool可以生成密钥,创建证书。只要装了jdk,并正确设置了环......
  • Docker的基本概念
    Docker的基本概念......
  • SSL 证书基本概念扫盲
    keytoolVSopensslkeytool和openssl是俩个证书管理工具。keytool是javaJDK自带的证书管理工具,使用keytool可以生成密钥,创建证书。只要装了jdk,并正确设置了环......
  • 风哥NoSQL数据库工程师培训专题2.0
    风哥NoSQL数据库工程师培训专题2.0:互联网大厂运维/DBA必备技术【包括:Redis,Mongodb,Cassandra,Memcache,Elasticsearch,ELK】课程地址:​ ​https://edu.51cto.com/top......
  • 风哥NoSQL数据库工程师培训专题2.0
    风哥NoSQL数据库工程师培训专题2.0:互联网大厂运维/DBA必备技术【包括:Redis,Mongodb,Cassandra,Memcache,Elasticsearch,ELK】课程地址:​​https://edu.51cto.com/topic/576......
  • 多线程基本概念
    什么是进程,线程?线程是进程的最小执行单元,相当于不同的执行路径run和start的区别?run只是单纯的方法调用,在主线程进行.start相当于开启一个线程线程的启动......
  • Wlan无线基本概念
    BSS(BasicServiceSet)组成WLAN的基本单元是基本服务集,BSS包含一个固定的AP和多个终端。由AP为终端提供无线通讯服务。BSA(BasicServiceArea)AP无线信号覆盖范围成为基......
  • eBPF 入门开发实践指南一:介绍 eBPF 的基本概念、常见的开发工具
    ​eBPF入门开发实践指南一:介绍eBPF的基本概念、常见的开发工具​​1.为什么会有eBPF技术?​​​1.1.起源​​​​1.2.执行逻辑​​​1.3.架构​​​1.3.1.寄存器设......
  • 2021年最新Python讲义:面向对象(OOP)基本概念
    面向对象(OOP)基本概念面向对象编程——​​ObjectOrientedProgramming​​​简写​​OOP​​目标了解面向对象基本概念01.面向对象基本概念我们之前学习的编程方......
  • 【openGauss实战3】基本概念及语法
    ......