首页 > 数据库 >第五章:SQL高级处理

第五章:SQL高级处理

时间:2024-02-04 17:57:20浏览次数:33  
标签:product 窗口 函数 price 子句 高级 第五章 SQL ORDER

第五章:SQL高级处理

5.1 窗口函数

5.1.1 窗口函数概念及基本的使用方法

窗口函数也称为OLAP函数。OLAP 是 OnLine AnalyticalProcessing 的简称,意思是对数据库数据进行实时分析处理。

为了便于理解,称之为 窗口函数。常规的SELECT语句都是对整张表进行查询,而窗口函数可以让我们有选择的去某一部分数据进行汇总、计算和排序。

窗口函数的通用形式:

<窗口函数> OVER ([ PARTITION BY <列名> ]
                     [ ORDER BY <排序用列名> ])  

[ ]中的内容可以省略。

窗口函数最关键的是搞明白关键字 PARTITON BYORDER BY 的作用。

PARTITON BY 子句 可选参数,指示如何将查询行划分为组,类似于 GROUP BY 子句的分组功能,但是 PARTITION BY 子句并不具备 GROUP BY 子句的汇总功能,并不会改变原始表中记录的行数。

ORDER BY 子句 可选参数,指示如何对每个分区中的行进行排序,即决定窗口内,是按那种规则(字段)来排序的。

注意

虽然 PARTITON BY 子句ORDER BY 子句 都是可选参数,但是两个参数不能同时没有(最少二选一)。不然, <窗口函数> OVER( ) 这种用法没用实际意义(窗口由所有查询行组成,窗口函数使用所有行计算结果)。

举个栗子:

SELECT product_name
       ,product_type
       ,sale_price
       ,RANK() OVER (PARTITION BY product_type
                         ORDER BY sale_price) AS ranking
  FROM product;  

得到的结果是:

image

我们先忽略生成的新列 - [ranking], 看下原始数据在PARTITION BY 和 ORDER BY 关键字的作用下发生了什么变化。

PARTITION BY 能够设定窗口对象范围。本例中,为了按照商品种类进行排序,我们指定了product_type。即一个商品种类就是一个小的"窗口"。

ORDER BY 能够指定按照哪一列、何种顺序进行排序。为了按照销售单价的升序进行排列,我们指定了sale_price。此外,窗口函数中的ORDER BY与SELECT语句末尾的ORDER BY一样,可以通过关键字ASC/DESC来指定升序/降序。省略该关键字时会默认按照ASC,也就是

升序进行排序。本例中就省略了上述关键字 。

image

5.2 窗口函数种类

大致来说,窗口函数可以分为两类。

一是 将SUM、MAX、MIN等聚合函数用在窗口函数中

二是 RANK、DENSE_RANK等排序用的专用窗口函数

5.2.1 专用窗口函数

RANK函数

计算排序时,如果存在相同位次的记录,则会跳过之后的位次。

例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、4 位……

DENSE_RANK函数

同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次。

例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、2 位……

ROW_NUMBER函数

赋予唯一的连续位次。

例)有 3 条记录排在第 1 位时:1 位、2 位、3 位、4 位

运行以下代码:

SELECT  product_name
       ,product_type
       ,sale_price
       ,RANK() OVER (ORDER BY sale_price) AS ranking
       ,DENSE_RANK() OVER (ORDER BY sale_price) AS dense_ranking
       ,ROW_NUMBER() OVER (ORDER BY sale_price) AS row_num
  FROM product;  

image

5.2.2 聚合函数在窗口函数上的使用

聚合函数在窗口函数中的使用方法和之前的专用窗口函数一样,只是出来的结果是一个累计的聚合函数值。

运行以下代码:

SELECT  product_id
       ,product_name
       ,sale_price
       ,SUM(sale_price) OVER (ORDER BY product_id) AS current_sum
       ,AVG(sale_price) OVER (ORDER BY product_id) AS current_avg  
  FROM product;  

image
image

可以看出,聚合函数结果是,按我们指定的排序,这里是product_id,当前所在行及之前所有的行的合计或均值。即累计到当前行的聚合。

5.3 窗口函数的的应用 - 计算移动平均

在上面提到,聚合函数在窗口函数使用时,计算的是累积到当前行的所有的数据的聚合。 实际上,还可以指定更加详细的汇总范围。该汇总范围称为 框架 (frame)。

语法

<窗口函数> OVER (ORDER BY <排序用列名>
                 ROWS n PRECEDING )  
                 
<窗口函数> OVER (ORDER BY <排序用列名>
                 ROWS BETWEEN n PRECEDING AND n FOLLOWING)

PRECEDING(“之前”), 将框架指定为 “截止到之前 n 行”,加上自身行

FOLLOWING(“之后”), 将框架指定为 “截止到之后 n 行”,加上自身行

执行以下代码:

SELECT  product_id
       ,product_name
       ,sale_price
       ,AVG(sale_price) OVER (ORDER BY product_id
                               ROWS 2 PRECEDING) AS moving_avg
  FROM product;  

执行结果1:

注意观察框架的范围。

image

BETWEEN 1 PRECEDING AND 1 FOLLOWING,将框架指定为 “之前1行” + “之后1行” + “自身”

执行以下代码:

SELECT  product_id
       ,product_name
       ,sale_price
       ,AVG(sale_price) OVER (ORDER BY product_id
                               ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING) AS moving_avg  
  FROM product;  

执行结果2:

注意观察框架的范围。
image

5.3.1 窗口函数适用范围和注意事项

  • 原则上,窗口函数只能在SELECT子句中使用。
  • 窗口函数OVER 中的ORDER BY 子句并不会影响最终结果的排序。其只是用来决定窗口函数按何种顺序计算。

5.4 GROUPING运算符

5.4.1 ROLLUP - 计算合计及小计

常规的GROUP BY 只能得到每个分类的小计,有时候还需要计算分类的合计,可以用 ROLLUP关键字。

SELECT  product_type
       ,regist_date
       ,SUM(sale_price) AS sum_price
  FROM product
 GROUP BY product_type, regist_date WITH ROLLUP;  

得到的结果为:

image

image

这里ROLLUP 对product_type, regist_date两列进行合计汇总。结果实际上有三层聚合,如下图 模块3是常规的 GROUP BY 的结果,需要注意的是衣服 有个注册日期为空的,这是本来数据就存在日期为空的,不是对衣服类别的合计; 模块2和1是 ROLLUP 带来的合计,模块2是对产品种类的合计,模块1是对全部数据的总计。

ROLLUP 可以对多列进行汇总求小计和合计。
image

5.5 存储过程和函数

5.5.1 基本介绍

基本语法:

[delimiter //]($$,可以是其他特殊字符)
CREATE
    [DEFINER = user]
    PROCEDURE sp_name ([proc_parameter[,...]])
    [characteristic ...] 
[BEGIN]
  routine_body
[END//]($$,可以是其他特殊字符)

这些语句被用来创建一个存储例程(一个存储过程或函数)。也就是说,指定的例程被服务器知道了。默认情况下,一个存储例程与默认数据库相关联。要将该例程明确地与一个给定的数据库相关联,需要在创建该例程时将其名称指定为 db_name.sp_name

使用 CALL 语句调用一个存储过程。而要调用一个存储的函数时,则要在表达式中引用它。在表达式计算期间,该函数返回一个值。

routine_body 由一个有效的SQL例程语句组成。它可以是一个简单的语句,如 SELECTINSERT,或一个使用 BEGINEND 编写的复合语句。复合语句可以包含声明、循环和其他控制结构语句。在实践中,存储函数倾向于使用复合语句,除非例程主体由一个 RETURN 语句组成。

5.5.2 参数介绍

存储过程和函数的参数有三类,分别是:INOUTINOUT,其中:

  • IN 是入参。每个参数默认都是一个 IN 参数。如需设定一个参数为其他类型参数,请在参数名称前使用关键字 OUTINOUT 。一个IN参数将一个值传递给一个过程。存储过程可能会修改这个值,但是当存储过程返回时,调用者不会看到这个修改。
  • OUT 是出参。一个 OUT 参数将一个值从过程中传回给调用者。它的初始值在过程中是 NULL ,当过程返回时,调用者可以看到它的值。
  • INOUT :一个 INOUT 参数由调用者初始化,可以被存储过程修改,当存储过程返回时,调用者可以看到存储过程的任何改变。

对于每个 OUTINOUT 参数,在调用过程的 CALL 语句中传递一个用户定义的变量,以便在过程返回时可以获得其值。如果你是在另一个存储过程或函数中调用存储过程,你也可以将一个常规参数或本地常规变量作为 OUTINOUT 参数传递。如果从一个触发器中调用存储过程,也可以将 NEW.col_name 作为一个 OUTINOUT 参数传递。

5.5.2 应用示例

  • 查询
    下面的示例显示了一个简单的存储过程,给定一个国家代码,计算在 world 数据库的城市表中出现的该国家的城市数量。使用 IN 参数传递国家代码,使用 OUT 参数返回城市计数:
mysql> DELIMITER //
mysql> DROP PROCEDURE IF EXISTS citycount //
Query OK, 0 rows affected (0.01 sec)

mysql> CREATE PROCEDURE citycount (IN country CHAR(3), OUT cities INT)
       BEGIN
         SELECT COUNT(*) INTO cities FROM world.city
         WHERE CountryCode = country;
       END//
Query OK, 0 rows affected (0.01 sec)

mysql> DELIMITER ;
mysql> CALL citycount('CHN', @cities); -- cities in China
Query OK, 1 row affected (0.01 sec)

    -> SELECT @cities;
+---------+
| @cities |
+---------+
|     363 |
+---------+
1 row in set (0.04 sec)
  • 创建表
mysql> use world;
Database changed
mysql> DELIMITER $$
mysql> CREATE DEFINER=`root`@`localhost` PROCEDURE `product_test`()
BEGIN
    #Routine body goes here...
    CREATE TABLE product_test like shop.product;
END$$
Query OK, 0 rows affected (0.01 sec)

mysql> DELIMITER;
mysql> call `product_test`();
Query OK, 0 rows affected (0.04 sec)

mysql> show tables;
+-----------------+
| Tables_in_world |
+-----------------+
| city            |
| country         |
| countrylanguage |
| product_test    |
+-----------------+
4 rows in set (0.02 sec)
  • 插入数据
CREATE DEFINER=`root`@`localhost` PROCEDURE `insert_product_test`()
BEGIN
    declare i int;
    set i=1;
    while i<9 do
        set @pcid = CONCAT('000', i);
        PREPARE stmt FROM 'INSERT INTO product_test() SELECT * FROM shop.product where product_id= ?';
        EXECUTE stmt USING @pcid;
        set i=i+1;
    end while;
END

5.6 预处理声明 PREPARE Statement

MySQL 从4.1版本开始引入了 PREPARE Statement 特性,使用 client/server binary protocol 代替 textual protocol,其将包含占位符 () 的查询传递给 MySQL 服务器,如以下示例所示:

SELECT * 
FROM products 
WHERE productCode = ?;

当MySQL使用不同的 productCode 值执行此查询时,它不必完全解析查询。因此,这有助于MySQL更快地执行查询,特别是当MySQL多次执行相同的查询时。productcode

由于预准备语句使用占位符 (),这有助于避免 SQL 注入的许多变体,从而使应用程序更安全。

基本语法:

PREPARE stmt_name FROM preparable_stmt

5.6.1 使用步骤

MySQL PREPARE Statement 使用步骤如下:

  1. PREPARE – 准备需要执行的语句预处理声明。
  2. EXECUTE – 执行预处理声明。
  3. DEALLOCATE PREPARE – 释放预处理声明。

下图说明了预处理声明的使用过程:

image

5.6.2 使用示例

这里使用 shop 中的 product 表进行演示。

首先,定义预处理声明如下:

PREPARE stmt1 FROM 
	'SELECT 
   	    product_id, 
            product_name 
	FROM product
        WHERE product_id = ?';

其次,声明变量 pcid,代表商品编号,并将其值设置为 0005

SET @pcid = '0005'; 

第三,执行预处理声明:

EXECUTE stmt1 USING @pcid;

image

第四,为变量 pcid 分配另外一个商品编号:

SET @pcid = '0008'; 

第五,使用新的商品编号执行预处理声明:

EXECUTE stmt1 USING @pcid;

image

最后,释放预处理声明以释放其占用的资源:

DEALLOCATE PREPARE stmt1;

练习题(请给出代码、包含代码及代码执行结果的截图)

5.1

请说出针对本章中使用的 product(商品)表执行如下 SELECT 语句所能得到的结果。

SELECT  product_id
       ,product_name
       ,sale_price
       ,MAX(sale_price) OVER (ORDER BY product_id) AS Current_max_price
  FROM product;
product_id | product_name | sale_price | current_max_price
------------+--------------+------------+------------------
     1      |   Product A  |    10      |        10
     2      |   Product B  |    15      |        15
     3      |   Product C  |    20      |        20
     4      |   Product D  |    18      |        20
     5      |   Product E  |    25      |        25

5.2

继续使用product表,计算出按照登记日期(regist_date)升序进行排列的各日期的销售单价(sale_price)的总额。排序是需要将登记日期为NULL 的“运动 T 恤”记录排在第 1 位(也就是将其看作比其他日期都早)

SELECT regist_date, SUM(sale_price) AS total_price FROM product GROUP BY regist_date ORDER BY CASE WHEN regist_date IS NULL THEN 0 ELSE 1 END, regist_date ASC;
首先使用 GROUP BY 子句按照登记日期对商品进行分组,然后使用 SUM 函数计算每个日期的销售单价总额。接着,使用 ORDER BY 子句对结果进行排序。在排序时,使用 CASE 表达式将登记日期为空的“运动 T 恤”记录排在其他日期之前(将其视为比其他日期更早),然后按照登记日期的升序进行排序。

5.3

思考题

① 窗口函数不指定PARTITION BY的效果是什么?

如果在窗口函数中不指定 PARTITION BY 子句,则窗口函数将在整个结果集上运行,而不会对结果集进行分组。这意味着窗口函数将使用整个结果集作为其分区,并计算每行与整个结果集的聚合值。
例如,下面的查询使用了 SUM() 窗口函数,但没有指定 PARTITION BY 子句:

SELECT col1, col2, SUM(col3) OVER () AS total_sum
FROM mytable;

将返回一个结果集,其中每一行都包含 col1、col2 和整个表中 col3 列的总和。由于没有指定 PARTITION BY 子句,因此窗口函数将在整个表上运行,并计算出所有行的总和。
如果想要在结果集中分组并在每个分组中使用窗口函数,则需要在窗口函数中使用 PARTITION BY 子句,并指定要用于分组的列或表达式。
② 为什么说窗口函数只能在SELECT子句中使用?实际上,在ORDER BY 子句使用系统并不会报错。
通常情况下,窗口函数是在 SELECT 子句中使用的,因为窗口函数用于对每行计算聚合值,以便在查询结果中显示。但是,SQL 标准并不限制窗口函数只能在 SELECT 子句中使用。
在实际使用中,例如在 ORDER BY 子句中使用窗口函数,通常是为了更精确地控制查询结果的排序方式。如果在 ORDER BY 子句中使用一个窗口函数,那么该函数将被视为整个结果集的一部分,并且查询将根据该函数的计算结果进行排序。
需要注意的是,并非所有的 DBMS 都支持在 ORDER BY 子句中使用窗口函数,因此在编写查询时应该查看自己所使用的 DBMS 的文档以确定其支持性和语法规则。同时,在使用窗口函数时,还需要考虑性能问题,因为窗口函数可能需要对整个结果集进行扫描和计算,而这可能会导致查询性能下降。

标签:product,窗口,函数,price,子句,高级,第五章,SQL,ORDER
From: https://www.cnblogs.com/zx-demo/p/18006691

相关文章

  • mysql load文件是追加还覆盖
    MySQL是目前世界上最流行的关系型数据库管理系统之一,用于管理和处理海量的数据资料。当我们需要将大量数据导入到MySQL表中时,通常使用LOADDATA语句,而在这个过程中,我们会遇到一个问题:MySQL的LOADDATA到底是覆盖原有数据还是追加数据。根据MySQL官方文档的说法,LOADDATA默认是追......
  • UniGUI 将Excel表上传,并将数据导入SQL(转)
    UniGUI将Excel表上传,并将数据导入SQL(转)采用第三方控件XLSReadWriteII实现导入数据的办法1、首先将Excel文件上传至服务器;在表单中添加UniFileUpload和XLSReadWriteII控件procedureTck_tz.UniLabel4Click(Sender:TObject);beginUniFileUpload1.Execute;end;2、用XLSR......
  • SpringBoot连接MySQL
    一、文件结构: 二、实体类packagecom.example.demo.domain;importjava.io.Serializable;importjavax.persistence.Column;importjavax.persistence.Entity;importjavax.persistence.GeneratedValue;importjavax.persistence.Id;importjavax.persistence.Table;......
  • 探寻SQL的背后机制
    探寻SQL的背后机制前言在数据领域,SQL(StructuredQueryLanguage)是一门广泛使用的语言,用于查询和处理数据。你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。每一种框架都提供了对应的SQL语法,可以帮助我们从庞大的数据集中提取所需的信息,但......
  • mysql中grant all privileges on赋给用户远程权限方式
    GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'root'WITHGRANTOPTION;FLUSH PRIVILEGES;允许MySQL账户远程访问的优点和缺点如下:优点:远程管理:允许远程访问意味着管理员可以从任何地方管理MySQL数据库,提高了灵活性和便利性。分布式应用:对于分布式......
  • 金额转换pgsql存储过程
    CREATEORREPLACEFUNCTIONamount_to_words(amountNUMERIC,currencyTEXT)RETURNSTEXTLANGUAGEplpgsqlAS$$DECLAREunitsTEXT[]=ARRAY['zero','one','two','three','four','five','six&......
  • 【Docker】使用Docker部署MySQL
    ✨Docker本文介绍DockerDesktop以及docker命令行的简单使用DockerDesktop安装使用请查阅官方文档GetDocker|DockerDocumentation在Windows上安装DockersDesktop可参考【Docker】DockerDesktopforWindows(WSL2)安装-双份浓缩馥芮白-博客园(cnblogs.com)似乎......
  • ORACLE_sql中后相似下划线“_”没有匹配生效
    在oracle中我想查出库中所有表名类似“T_BD_ACCOUNTVIEW_QX_”的记录,用sql语句查询如下,得到结果却不一样,SELECTtable_nameFROMuser_tablesuwhereu.table_namelike'T_BD_ACCOUNTVIEW_QX_%';结果如下: 很显然,最后一个横杠没有匹配生效,查询后才知道,在Oracle中,下划线......
  • 卸载centos源码安装的mysql
    关闭mysql查看安装的mysqlrpm-qa|grep-imysql卸载安装的mysqlrpm-evmysql-community-client-8.0.11-1.el7.x86_64--nodeps--nodeps强制卸载删除mysql相关目录whereismysqlfind/-namemysqlrm-rf目录rm命令文件一旦通过rm命令删除,则无法恢复;删除文件......
  • MySQL8.0.26安装部署
    一.安装1.下载安装包文件官网地址:https://www.mysql.com/下载地址:https://downloads.mysql.com/archives/installer/(注意:如果之前已经安装MySQL,需要卸载旧版MySQL,然后再安装此版本,卸载请参考我的“MySQL8.0.26卸载”文档)下载好安装包后,双击安装包,根据提示进行安装2.根据......