首页 > 其他分享 >大数据学习笔记5

大数据学习笔记5

时间：2024-03-19 21:59:20浏览次数：15  
标签：数据表 -- 数据库 db 笔记 学习 students test 数据

数据库介绍

思考： 为什么要使用MySQL存储数据， 能不能使用txt 或者 excel 存储？？？

excel:存储不高效，并且对于数据量较大的文件打开都很困难

txt：不能保证数据的一致性和完整性。（不能设置规则）

MySQL优势：

  1. 理论上可以存储千万条级别的数据记录，但是开发中 为了高效性存储上限可能会降低。

  2. 语法简单，便于学习，快速推广

  3. 有多种语言api， Python ， java ， php ， js ， go

  4. 支持多重平台 windows mac linux

  5. 支持结构化数据 （可以使用行列索引确定一条数据的数据存储形式）

  6. 支持事务（暂时不用管）

  7. 开源免费（已经被orcale公司收购，从mysql6.x开始已经开始收费。）

数据库的分类

  • 关系型数据库：SQL ： (一般处理关系型数据, 通过行索引,和列索引可以确定唯一的数据值)

    • 数据与数据之间存在关联关系

    • 存储的是结构化数据，数据之间可以创建关联关系或者关联规则

    • 常见的关系型数据库：

      • MySQL：最常用的关系型数据库之一，且开源免费（MySQL6.X版本后已经开始收费）

      • Orcale：当前最优秀的关系型数据库，收费。

      • DB2：一般在银行系统中使用，收费且较贵。（数据安全，稳定，精度损失）

      • SQLserver： 在windowsServer中使用，国内使用的较少

      • sqllite：小型数据库

  • 非关系型数据库： NoSQL（不仅仅是SQL）：

    • 数据与数据之间不存在关联关系

    • 存储的是kv结构的数据（key： value 一个键对应一个值，通过键取值）

    • 常见的非关系型数据库：

      • Redis：在内存 中存储，效率高，速度快，但数据体量不宜过大。

      • HBASE：列式存储数据库，高效存储海量数据（数据吞吐量极大）

      • mangoDB：一般和爬虫配合使用，用于存储大型文本数据。 

注意： 关系型数据库的语法结构基本相同，学会了mysql 基本就掌握了95%的Orcale语法。

Mysql数据库的安装和使用

1.查看MySQL版本 5.7.29

mysql -V

在开发中我们用的都是5.x版本，原因时稳定，且大数据组件大多还没有适配8.0

2.打开mysql服务
# 方式1:  mysql -u用户名 -p密码
mysql -uroot -p123456 -h192.168.88.161
​
# 方式2: mysql --user=用户名 --password=密码 --host=主机ip地址
mysql --user=root --password=1233456 --host=192.168.88.161

注意： 如果使用明文密码会出现如下提示，想要避免提示可以在输入-p后不进行密码书写，在下一行进行密文输入

3.关闭mysql服务

# 方式1： exit；
# 方式2： quit；
# 方式3：ctrl + z

4.错误：

错误1： 密码输入错误

错误2：mysql 命令未找到: 可能环境变量没有配置或者没有安装mysq

图形化工具DataGrip的使用

数据库连接的图形化工具有很多，但是datagrip是大型数据开发的必备工具。

一般在大数据或者数据库相关岗位中都会使用datagrip

IDE：集成化开发环境

  • ide就是将我们开发所需的各种工具，各种界面集成到一个软件中，在开发过程中省去了更换界面切换语言工具等工作内容，提高开发效率

  • 一般的IDE还具有代码高亮，工程管理，错误检测，代码调试，结果显示等功能

Datagrip是一款专门为数据开发研发的数据库IDE工具，可以兼容多种数据库。同时还具备远程连接，工程管理，版本管理等功能。

1.安装datagrip

2.选择不使用任何配置文件

3.免费试用30天即可

Datagrip连接linux虚拟机中的数据库

点击数据库连接区域左上角的加号，选择mysql数据库的连接方式

点击下载驱动

驱动安装完成，在之前的连接中输入链接信息，点击test_connection之后，如果成功，则点击确定。

链接完成后，数据库连接中，包含linux中mysql的数据信息，则证明链接成功

SQL语法介绍

  • SQL语言规范是所有的关系型数据库都必须遵守的规范

    • sql规范相当于普通话，而每个厂家的sql语法相当于方言。

  • SQL语言的分类

    • 数据定义语言（DDL）：创建一个存储数据记录的结构（数据库，数据表，数据字段，约束等）

    • 数据操作语言（DML）：进行数据记录的写入，修改，删除等工作。

    • 数据查询语言（DQL）：进行数据查询的工作，换句话说，就是数据的读取工作。

    • 数据控制语言（DCL）：数据安全，用户管理，隔离等级等设置。

SQL通用语法：

  1. sql语句用分号（;）结尾，目的是区分sql语句到底是一句指令还是两句指令。

  2. sql语句可以使用空格或者换行符随意修饰，使其可读性更强，但是不影响执行效果。(关键字或者标识符不能拆分)

  3. sql语句不区分大小写，但是mysql中建议使用大写。

  4. 注释形式: 对于代码起解释说明作用的文字，不参与程序运行

  • 多行注释：一次性可以将多行数据变为注释内容，在内部可以随意换行注释效果依然存在

    • /*注释内容*/

  • 单行注释：使一行数据变为注释内容，不可以随意换行，换行后注释效果消失

    • --或者#(建议使用--)

   

什么是数据类型？

文字类：名称 性别 学号 年龄 》》 写入表格中

图片类：1寸照片 身份证复印件 》》 装进档案袋

二维码：学信网。。。。。 》》扫码记录

综上： 统计数据时，会根据数据的类型不同，进行不同的处理。

sql中为什么要有数据类型？

不同的类型数据，操作方式不一致：

例如：

年龄：可以获取平均值，最大值，最小值等 （可以运算）

地址：可以拼接，可以拆分

由于操作方式不同，我们需要将其保存为不同的数据结构，方便我们使用

在内存和磁盘中，不同的数据结构存储在不同的位置，所以数据类型要划分清楚。

不同的数据类型占用空间的大小不一致，细分数据类型，可以节省空间。

常用的数据类型：

  • 整型（整数）：数学运算

    • int

  • 浮点型（小数）：数学运算

    • double

  • 日期类型：

    • datetime 时间规则 举例 : 2023-12-22 12:33:26

    • date 日期规则 举例 : 2023-12-22

  • 文本型： 一般用于计数或者分类的数据

    • char

    • varchar

DDL之数据库操作

为了保存我们书写过的代码我们可以在文件中书写

  1. 绑定文件夹2.

  2. 在文件夹上右键点击new >>> sql file

  3. 选择运行该文件中代码的数据库链接对象

DDL操作时对于库， 表和字段的操作--- 库表和字段的关系如下

mysql服务相当于excel软件

每一个mysql数据库相当于一个Excel文件

每一个文件中的多个sheet详单与数据表

每个表中的列索引相当于字段

DDL-数据库的创建,使用和删除

-- 1. 数据库的创建
-- 格式 : create database 数据库名称
CREATE DATABASE test_db;

-- 2. 查看当前服务中所有的数据库名称
SHOW DATABASES;

-- 3. 使用数据库
USE test_db;

-- 4. 查看当前正在使用的数据库
SELECT DATABASE();

-- 5. 删除数据库
DROP DATABASE test_db;
-- 再次查看所有数据库,看是否删除完成
SHOW DATABASES;

-- 6. 当我们创建数据库时,该数据库名称已经存在则会报错
-- Can't create database 'test_db'; database exists
CREATE DATABASE test_db;
-- 为了避免报错,我们会创建数据库时增加if not exists 避免程序报错
CREATE DATABASE IF NOT EXISTS test_db;

-- 一般在我们创建数据库时,会增加数据集,因为如果不书写数据集,将会无法存储中文.
CREATE DATABASE test_db_utf8 CHARSET = utf8;
CREATE DATABASE IF NOT EXISTS test_db_utf8 CHARACTER SET 'utf8';

-- 快速格式化快捷键 : ctrl + alt + L

-- 7. 查询数据库的创建语句
-- CREATE DATABASE `test_db` /*!40100 DEFAULT CHARACTER SET latin1 */
SHOW CREATE DATABASE test_db;

-- CREATE DATABASE `test_db_utf8` /*!40100 DEFAULT CHARACTER SET utf8 */
SHOW CREATE DATABASE test_db_utf8;

 快捷键：
 ctrl + enter  运行代码
 alt + ctrl + L 自动格式化代码

DDL之表操作

-- No database selected
-- 0. 数据表不能脱离数据库而单独存在,在创建和使用数据表之前必须先使用数据库
USE test_db;
-- 使用test_db后,将会在test_db数据库中建表.

-- 1. 创建数据表
/*
create table 表名 (
    字段1 数据类型 [约束],
    字段2 数据类型 [约束],
    字段3 ......
)
 */
CREATE TABLE students
(
    id     INT NOT NULL,
    name   VARCHAR(30),
    gender VARCHAR(30)
);

-- 2. 查看当前数据库中所有的数据表名称
SHOW TABLES;

-- 也可以使用in 查询指定数据库中所有的表名称.
SHOW TABLES IN test_db;

-- 3. 查询表中字段的详细信息
-- mysql中  DESC 完全等价于 DESCRIBE
DESC students;
DESCRIBE students;

-- 4. 删除数据表
DROP TABLE students;

-- 被删除的数据库必须存在,否则会报错
-- Unknown table 'test_db_utf8.students'
-- 为了避免报错,我们会在删除数据表时增加 if exists  当数据表存在时就删除,不存在什么也不做
DROP TABLE IF EXISTS students;

-- 如果我们想在 test_db_utf8 数据库下,删除test_db数据库中的表,可以使用数据库名. 表名的形式定位到该表中.
DROP TABLE test_db.students;

-- 查询数据表是否已经删除成功
SHOW TABLES IN test_db;

DDL-数据表字段操作

-- 数据字段的操作,是对于指定表的数据字段的操作,字段是依托于数据表存在的,不能单独存在.
-- 0. 数据准备
CREATE TABLE test_db.students
(
    id     INT NOT NULL,
    name   VARCHAR(30),
    gender VARCHAR(30)
);


-- 1. 查询所有的字段详情
desc test_db.students;

USE test_db;

-- 2. 在数据表中新增一个字段
-- 格式: alter table 表名 add 字段名称 字段类型 [约束];
-- 需求: 在students 表中增加height字段
ALTER TABLE students ADD height DOUBLE;
-- 查看表的字段信息, 字段添加完成
desc students;

-- 3. 在数据表中修改一个字段
-- 格式: alter table 表名 change 旧字段名 新字段名 字段类型 [约束];
-- 需求: 将id字段修改为stu_id字段并且改为varchar数据类型
ALTER TABLE students CHANGE id stu_id VARCHAR(30) not null;
-- 查看表的字段信息, 字段修改完成
desc students;

-- 扩展: 如果不需要修改字段名称,仅修改字段类型或约束,前后两个字段名称可以以相同
-- 需求: 将stu_id字段的数据类型修改为tinyint
ALTER TABLE students CHANGE stu_id stu_id TINYINT not null;
-- 查看表的字段信息, 字段修改完成
desc students;

-- 这种情况还可以使用modify进行修改
-- 格式: alter table 表名 modify 字段名 字段类型 [约束];
ALTER TABLE students MODIFY stu_id MEDIUMINT;  -- 不书写not null 就可以存储空值
-- 查看表的字段信息, 字段修改完成
desc students;

-- 4. 在数据表中删除一个字段
-- 记住,所有DDL语言中的删除操作都使用drop 所有DML语言中的删除都是用delete
-- 需求: 删除gender字段
ALTER TABLE students DROP gender;
-- 查看字段的信息, 字段删除完成
desc students;

-- 5. 修改表名
-- alter table 表名  rename to 新表名;
ALTER TABLE students RENAME TO heros;
-- 查看数据库中的表名, 修改表名成功
SHOW TABLES ; 

DDL操作中的注释---comment

comment 就是对于数据库中的数据表或数据字段进行注释的, 在我们后续使用各种IDE工具时,方便查询数据内容.

-- 1. 创建一个数据库
CREATE DATABASE db_1 CHARSET = 'utf8';
-- 使用数据库db_1
USE db_1;

-- 2. 创建一个数据表
CREATE TABLE person
(
    id     INT COMMENT '身份证号',  
    name   VARCHAR(30) COMMENT '姓名',
    gender VARCHAR(30) COMMENT '性别'
) COMMENT '人口表';

-- 3. 查询表的创表语句
show CREATE TABLE person;

我们选择表后使用ctrl + q 会显示表的创建信息,内部有注释内容

查询创表语句,也能查看到comment信息 注意: 展示表结构时, 不能查看注释

今天的学习笔记就到这里 欢迎大家点赞评论 互相交流

标签：数据表,--,数据库,db,笔记,学习,students,test,数据
From： https://blog.csdn.net/MU2377/article/details/136856233

相关文章

  • 蓝桥杯单片机小蜜蜂学习笔记——矩阵键盘
    笔记仅供学习参考学习视频链接【基础技能07】矩阵键盘的扫描原理与基本应用基本原理（图片来自欧老师的视频）讲一下基本原理吧图片的左半部分是矩阵键盘的布局R1R2R3R4C1C2C3C4都是IO端口（就是电平高低可以人为控制）图片右半部分上面是独立按键下面是矩阵键盘两者的区......
  • Floyd算法学习笔记
    Floyd算法学习笔记前言如有错误，欢迎各位dalao批评指出。前置芝士:1.邻接矩阵（Floyd要用邻接矩阵存图）2.动态规划思想（最好学过，没学过也没有太大影响）1.Floyd所解决问题的类型我们可以发现，如Dijkstra,SPFA,BellmanFord一类的最短路算法都是解决单源点最短路问题，也就是确......
  • 前端基础之JavaScript的数据类型
    一、常用的调试语句方法说明示例归属alert(msg);警告，在浏览器中弹出一个警告框，内容为alert里面的内容alert("Surprise");浏览器closole.log(msg);控制台，在控制台内输出一些内容console.log("Surprise");浏览器prompt(问题,值);对话框，第一个参数是询问内......
  • 机械学习和深度学习的区别
    机械学习和深度学习都是人工智能领域中的子领域，它们在方法和应用上有一些区别。机械学习（MachineLearning）是一种通过数据和统计方法让计算机系统从经验中自动学习的方法。它关注如何通过构建数学模型和算法来使计算机系统能够从数据中识别和学习模式，并做出预测或者做出决策。机械......
  • MySQL——数据库备份上传到阿里云OSS存储
    前言基于阿里云的OSS存储对数据库进行备份，阿里云ossutil安装文档还是比较详细的，直街参考阿里云文档操作就好了ossutil：https://help.aliyun.com/zh/oss/developer-reference/overview-59内容根据ossutil安装配置好命令行工具，然后直接写相应的脚本就好了，如果存在大表建议单独导......
  • 基本数据公式
          ......
  • Python 数据持久层ORM框架 TorToise模块（异步）
    文章目录TortoiseORM简介TortoiseORM特性TortoiseORM安装TortoiseORM数据库支持TortoiseORM创建模型aerich迁移工具简介aerich迁移工具安装aerich迁移工具使用TrotoiseORM查询数据TrotoiseORM修改数据TrotoiseORM删除数据TrotoiseORM新增数据......
  • 数据清洗2
    代码如下：importjsonimportpymysqlimportpandasaspdimportrequestsfromsqlalchemyimportcreate_engine#连接MySQL数据库conn=pymysql.connect(host='localhost',user='root',password='你的密码',db='你的数据库',charset=&#......
  • 使用java代码对数据库中的表单数据进行：增，删，改，查，操作。
    1、数据库表单如下：2、在项目中创建TestLinkMysql.java类，用于数据库的增删改查操作。代码如下： packageLink.Mysql;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.ResultSet;importjava.sql.SQLExcept......
  • 监督学习算法——决策树
    本篇承接上篇文章监督学习算法——线性模型决策树importsyssys.pathmglearn.plots.plot_animal_tree()1.构建决策树我们在下图所示的二位分类数据集上构造决策树。这个数据集由2个半月形组成，每个类别都包含50个数据点。我们将这个数据集称为two_moons。学习决策......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99