首页 > 数据库 >sql 开窗函数

sql 开窗函数

时间:2023-06-15 11:01:22浏览次数:48  
标签:函数 sal over 开窗 sql ---------- order


开窗函数:在开窗函数出现之前存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在 2003 年 ISO SQL 标准加入了开窗函数,开窗函数的使用使得这些经典的难题可以被轻松的解决。目前在 MSSQLServer、Oracle、DB2 等主流数据库中都提供了对开窗函数的支持,不过非常遗憾的是 MYSQL 暂时还未对开窗函数给予支持。

开窗函数简介:与聚合函数一样,开窗函数也是对行集组进行聚合计算,但是它不像普通聚合函数那样每组只返回一个值,开窗函数可以为每组返回多个值,因为开窗函数所执行聚合计

算的行集组是窗口。在 ISO SQL 规定了这样的函数为开窗函数,在 Oracle 中则被称为分析函数。
 

 

数据表(Oracle):T_Person 表保存了人员信息,FName 字段为人员姓名,FCity 字段为人员所在的城市名,FAge 字段为人员年龄,FSalary 字段为人员工资


CREATE TABLE T_Person (FName VARCHAR2(20),FCity VARCHAR2(20),FAge INT,FSalary INT)


向 T_Person 表中插入一些演示数据:


INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Tom‘,‘BeiJing‘,20,3000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Tim‘,‘ChengDu‘,21,4000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Jim‘,‘BeiJing‘,22,3500);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Lily‘,‘London‘,21,2000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘John‘,‘NewYork‘,22,1000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘YaoMing‘,‘BeiJing‘,20,3000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Swing‘,‘London‘,22,2000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Guo‘,‘NewYork‘,20,2800);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘YuQian‘,‘BeiJing‘,24,8000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Ketty‘,‘London‘,25,8500);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Kitty‘,‘ChengDu‘,25,3000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Merry‘,‘BeiJing‘,23,3500);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Smith‘,‘ChengDu‘,30,3000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Bill‘,‘BeiJing‘,25,2000);
INSERT INTO T_Person(FName,FCity,FAge,FSalary)
VALUES(‘Jerry‘,‘NewYork‘,24,3300);


select * from t_person:

sql 开窗函数_SQL

要计算所有人员的总数,我们可以执行下面的 SQL 语句:SELECT COUNT(*) FROM T_Person

除了这种较简单的使用方式,有时需要从不在聚合函数中的行中访问这些聚合计算的值。比如我们想查询每个工资小于 5000 元的员工信息(城市以及年龄),并且在每行中都显示所有工资小于 5000 元的员工个数:

select fname,
       fcity,
       fsalary,
       (select count(*) from t_person where fsalary < 5000) 工资少于5000员工总数
  from t_person
 where fsalary < 5000


sql 开窗函数_SQL_02

虽然使用子查询能够解决这个问题,但是子查询的使用非常麻烦,使用开窗函数则可以大大简化实现,下面的 SQL 语句展示了如果使用开窗函数来实现同样的效果:

 

select fname, fcity, fsalary, count(*) over() 工资小于5000员工数
  from t_person
 where fsalary < 5000


可以看到与聚合函数不同的是,开窗函数在聚合函数后增加了一个 OVER 关键字。

开窗函数格式: 函数名(列) OVER(选项)

OVER 关键字表示把函数当成开窗函数而不是聚合函数。SQL 标准允许将所有聚合

与聚合函数一样,开窗函数也是对行集组进行聚合计算,但是普通聚合函数每组只能返回一个值,而开窗函数可以每组返回多个值。

实验一
比如我们想查询每个工资小于5000元的员工信息(城市以及年龄),并且在每行中都显示所有工资小于5000元的员工个数,执行下面的SQL语句

select t.fcity,t.fage,count(*) from person t where t.fsalary<5000


 
这个语句显然是错误的,因为count()是聚合函数,然后fname和fage字段没有包含分组里面。

实验二
那么,这样写呢?

select t.fcity,t.fage,count(*) from person t where t.fsalary<5000 group by t.fcity,t.fage


查询结果

这与我们每行中都显示所有工资小于5000元的员工个数这个条件是不符合的,那么应该怎么写呢?

实验三

select t.fcity,
        t.fage,
        (select count(*) from person f where f.fsalary < 5000)
   from person t
  where t.fsalary < 5000


查询结果:

这次的查询结果和我们想要的结果一样了,但是这样写多了一个子查询,非常麻烦。使用开窗函数可以大大简化实现,下面看一下开窗函数要实现这个效果怎么写

实验四

select t.fcity, t.fage, count(*) over()
    from person t
   where t.fsalary < 5000


看下执行效果:

可以看到这个SQL语句与我们第一个实验不同的是我们在count(*)后面加了一个over关键字。

开窗函数的调用格式为:

         函数名(列)over(选项)

over关键字表示把函数当成开窗函数而不是聚合函数,SQL标准允许将所有聚合函数用做开窗函数,使用over关键字来区分这两种用法。

在上面的例子中,开窗函数count(*) over()对于查询结果的每一行都返回所有符合条件的行的条数,over关键字后的括号中还经常添加选项用以改变进行聚合运算的窗口范围(后面博客会持续更新),如果over关键字后的括号中选项为空,则开窗函数会对结果集中的所有行进行聚合运算。当然,不只是count(*) over,max(fage) over(),min(fage) over()都可以。
--------------------- 开窗函数与聚合函数一样,也是对行集组进行聚合计算,但是它不像普通聚合函数那样每组只返回一个值,开窗函数可以为每组返回多个值,因为开窗函数所执行聚合计算的行集组是窗口。 
语法:主要是over( PARTITION BY (根据某条件分组,形成一个小组)….ORDER BY(再组内进行排序) …. ) 
常用函数:(最常用的应该是1.2.3 的排序) 

1、row_number() over(partition by … order by …) 
 增加一列,类似与增加伪列 
 2、rank() over(partition by … order by …) 
 3、dense_rank() over(partition by … order by …) 
 rank(): 跳跃排序,如果有两个第一级时,接下来就是第三级。 
 dense_rank(): 连续排序,如果有两个第一级时,接下来仍然是第二级。 
 4、count() over(partition by … order by …) 
 5、max() over(partition by … order by …) 
 6、min() over(partition by … order by …) 
 7、sum() over(partition by … order by …) 
 8、avg() over(partition by … order by …) 
 9、first_value() over(partition by … order by …) 
 10、last_value() over(partition by … order by …)


与函数的功能一致,只是是开窗函数 

11、lag() over(partition by … order by …) 
 12、lead() over(partition by … order by …) 
 lag 和lead 可以 获取结果集中,按一定排序所排列的当前行的上下相邻若干offset 的某个行的某个列(不用结果集的自关联); 
 lag ,lead 分别是向前,向后; 
 lag 和lead 有三个参数,第一个参数是列名,第二个参数是偏移的offset,第三个参数是 超出记录窗口时的默认值)
 ---------------------

1.基本概念

开窗函数分为两个部分分别是

1.聚合,排名,偏移,分布函数 。

2.开窗分区,排序,框架。

下面举个例子

SELECT empid, ordermonth, val,
  SUM(val) OVER(PARTITION BY empid
                ORDER BY ordermonth
                ROWS BETWEEN UNBOUNDED PRECEDING
                         AND CURRENT ROW) AS runval
FROM Sales.EmpOrders;

sum(val)  就是集合函数

over() 就是开窗     PARTITION BY empid  就是开窗分区(分组)   ORDER BY ordermonth 开窗排序  

 ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW  开窗架构

2.排名开窗函数

 SQL SERVER 支持4个排名函数 ROW_NUMBER,RANK,DENSE_RANK ,NTLE   来看看它们分别的作用

SELECT orderid, custid, val,
ROW_NUMBER() OVER(ORDER BY val) AS rownum,
RANK() OVER(ORDER BY val) AS rank,
DENSE_RANK() OVER(ORDER BY val) AS dense_rank,
NTILE(10) OVER(ORDER BY val) AS ntile
FROM Sales.OrderValues
ORDER BY val;


sql 开窗函数_SQL_03

可以看到 它们不同排序规则

ROW_NUMBER() 对排序字段行号进行排序  

RANK() 对数值进行排序 对相同数值有行号占用

DENSE_RANK() 也是对数值排序 如果有相同数值 依旧会按照原先行号加

NTILE 分区排序 为每一行分配一个区号 如果分10区 会对所有数据进行分区  总数据/分区数  就是每多少数据为一区

ROW_NUMBER()  默认在 DISTINCT 筛选重复项之前计算

2.偏移开窗函数 

sql server 中总共有4个偏移函数 LAG 和 LEAD, FIRST_VALUE 和 LAST_VALUE   

LAG函数在当前行之前查找

LEAD函数在当前行之后查找

LAST_VALUE    返回查找结果的最后一行

FIRST_VALUE  返回查找结果的第一行

 3.聚合开窗函数

SUM() OVER()

AVG() OVER()

COUNT() OVER()

MAX() OVER() 等等

分析及开窗函数


我以oracle中的emp 和dept表为例,讲一下开窗函数。

假如,现在有这样的要求:查出所有的员工的名字ename,薪水sal 以及他的薪水占说有员工薪水的比例。
一开始,我们的思路可能是这样:
select ename ,sal ,sal/sum(sal) from emp;
但是这样写是不对的,sum()是一个单行统计函数,只返回一个值,不能和其他字段同时出现。
解决办法就是使用开窗函数over()
select ename ,sal ,sal/sum(sal) over() as percent from emp;
查询结果:
ENAME             SAL    PERCENT
---------- ---------- ----------
SMITH             800 .027562446
ALLEN            1600 .055124892
WARD             1250 .043066322
JONES            2975 .102497847
MARTIN           1250 .043066322
BLAKE            2850 .098191214
CLARK            2450 .084409991
SCOTT            3000 .103359173
KING             5000 .172265289
TURNER           1500 .051679587
ADAMS            1100 .037898363

ENAME             SAL    PERCENT
---------- ---------- ----------
JAMES             950 .032730405
FORD             3000 .103359173
MILLER           1300 .044788975

已选择14行。

上面的over是指把前面的函数(本例中是sum())当成开窗函数而不是统计函数,SQL标准允许讲所有的统计函数
用作开窗函数,使用over关键字来区分这两种用法。

上面的“sum(sal) over()”的意思是,对于每一条记录,都去计算一次sal的和。如果over关键字后的括号中的选项为空,

把上面的sql改进一下:
select ename ,sal ,'0'||round(sal/sum(sal) over(),3) as percent from emp;
查询结果:

ENAME             SAL PERCENT
---------- ---------- -----------------------------------------
SMITH             800 0.028
ALLEN            1600 0.055
WARD             1250 0.043
JONES            2975 0.102
MARTIN           1250 0.043
BLAKE            2850 0.098
CLARK            2450 0.084
SCOTT            3000 0.103
KING             5000 0.172
TURNER           1500 0.052
ADAMS            1100 0.038

ENAME             SAL PERCENT
---------- ---------- -----------------------------------------
JAMES             950 0.033
FORD             3000 0.103
MILLER           1300 0.045

已选择14行。

如果现在像查询每个员工的姓名ename,工资sal,以及他的工资占他所在部门的比例,按照上面的思路,这次要这样写:

select ename,deptno,sal,'0'|| round(sal/sum(sal) over(partition by deptno),3) from emp;

如果需要对sal排序,再partition by deptno 后面 再加上order by sal:

select ename,deptno,sal,'0'|| round(sal/sum(sal) over(partition by deptno order by sal),3) from emp;

ORDER BY 的完整语法为 ORDER BY 字段名 RANGE|ROWS BETWEEN 边界规则1 AND 边界规则2
RANGE 表示 按照值的范围进行范围的定义,而 ROWS 表示按照行的范围进行范围的定义

边界规则的取值见下表:

可取值                                                说明                                   示例

CURRENT ROW                              当前行

N PRECEDING                                 前N行                                    2 PRECEDING

UNBOUNDED PRECEDING          一直到第一条记录      

N FOLLOWING                                 后N行                                  2 FOLLOWING

UNBOUNDED FOLLOWING          一直到最后一条记录

但是,如果这样写,会报错:
select ename,deptno,sal,'0'|| round(sal/sum(sal) over(order by sal partition by deptno ),3) from emp;可能 order by不能写在partition by的前面。

如果现在按照员工的姓名排序,并计算工资的累加和:

select ename ,sal ,sum(sal) over(order by sal rows between unbounded preceding and current row) as result from emp;

order by sal rows between unbounded preceding and current row 的意思是: 按照sal进行排序,然后计算从第一行(unbounded preceding)到当前行
(current row)的和,这样的结果就是按照工资进行排序的工作值的累加和。

因为ROWS 表示按照行的范围进行范围的定义,所以计算从第一行到当前行的累加和。

如果把ROWS换成 RANGE :

select ename ,sal ,sum(sal) over(order by sal range between unbounded preceding and current row) as result from emp;

ENAME             SAL     RESULT
---------- ---------- ----------
SMITH             800        800
JAMES             950       1750 (800+950)
ADAMS            1100       2850 (800+950+1100)
WARD             1250       5350
MARTIN           1250       5350
MILLER           1300       6650
TURNER           1500       8150
ALLEN            1600       9750
CLARK            2450      12200
BLAKE            2850      15050
JONES            2975      18025

ENAME             SAL     RESULT
---------- ---------- ----------
SCOTT            3000      24025
FORD             3000      24025
KING             5000      29025

已选择14行。

RANGE 表示 按照值的范围进行范围的定义 ,在计算累加和的过程中,如果遇到相同的值(本例中为sal),则计算所有的相同值同时累加
(本例中SCOTT,FORD的sal全是3000,所以值是 18025+3000+3000=24025)

select ename ,sal ,sum(sal) over(order by sal rows between 2 preceding and 2 following) as result from emp;

ENAME             SAL     RESULT
---------- ---------- ----------
SMITH             800       2850 (800+950+1100)
JAMES             950       4100
ADAMS            1100       5350
WARD             1250       5850
MARTIN           1250       6400
MILLER           1300       6900 
TURNER           1500       8100 (1250+1300+1500+1600+2450)
ALLEN            1600       9700
CLARK            2450      11375
BLAKE            2850      12875
JONES            2975      14275 (2450+2850+2975+3000+3000)

ENAME             SAL     RESULT
---------- ---------- ----------
SCOTT            3000      16825
FORD             3000      13975
KING             5000      11000 (3000+3000+5000)

已选择14行。

sum(sal) over(order by sal rows between 2 preceding and 2 following)
按照sal进行排序,然后计算从当前行前两行(2 preceding) 到 当前行后两行(2 following)的累加和

对于第1行到第2行(n=2),“前2行”是不存在或不完整的,所以按照前两行不存在或不完整来计算,最后2行类似。

select ename ,sal ,sum(sal) over(order by sal rows between 1 following and 3 following) as result from emp;

ENAME             SAL     RESULT
---------- ---------- ----------
SMITH             800       3300 (950+1100+1250)
JAMES             950       3600
ADAMS            1100       3800
WARD             1250       4050
MARTIN           1250       4400
MILLER           1300       5550
TURNER           1500       6900
ALLEN            1600       8275
CLARK            2450       8825
BLAKE            2850       8975
JONES            2975      11000

ENAME             SAL     RESULT
---------- ---------- ----------
SCOTT            3000       8000
FORD             3000       5000
KING             5000                 (后面没有数据了,所以是NULL)

已选择14行。

计算的某一列后1行到后3行的值

select ename ,sal ,sum(sal) over(order by sal range between unbounded preceding and current row) as result from emp;

select ename ,sal ,sum(sal) over(order by sal) as result from emp;
是等价的。
也就是说 range between unbounded preceding and current row 是默认的定位方式。

select ename ,sal ,count(*) over(order by sal desc rows between unbounded preceding and current row) as result from emp;

ENAME             SAL     RESULT
---------- ---------- ----------
KING             5000          1
FORD             3000          2
SCOTT            3000          3
JONES            2975          4
BLAKE            2850          5
CLARK            2450          6
ALLEN            1600          7
TURNER           1500          8
MILLER           1300          9
WARD             1250         10
MARTIN           1250         11

ENAME             SAL     RESULT
---------- ---------- ----------
ADAMS            1100         12
JAMES             950         13
SMITH             800         14

已选择14行。
order by sal desc rows between unbounded preceding and current row 表示按照sal的降序排列,计算从第一行到当前行的个数,所以这个可以看作员工工资的排名。

标签:函数,sal,over,开窗,sql,----------,order
From: https://blog.51cto.com/u_16145034/6485404

相关文章

  • mysql8.0创建新用户
     查看当前用户usemysql;selectcurrent_user();或者:selectUser,authentication_string,Hostfromuser;查看权限showgrantsfor'user'@'ip';或者showgrants;创建一个给新用户的数据库createdatabasetestDatabase;创建新用户同时配置给该用户testData......
  • 修复 Sqlite "database disk image is malformed"
    Sqlite是用于移动设备的轻量级数据库。Android编译遇到出错异常:databasediskimageismalformed 处理方法为通过对sqlite提供的修复命令建立脚本封装自动处理。修复方法来自网络搜索,年代久远,出处不可考,如找到出处,本文引用改为链接。 1#1.dumpSQL语句2def__d......
  • MySQL8.0设置外网访问
    1.登进MySQL之后mysql-uroot-p***2,输入以下语句,进入mysql库:usemysql3,更新域属性,'%'表示允许外部访问:updateusersethost='%'whereuser='root';4,执行以上语句之后再执行:FLUSHPRIVILEGES;5,再执行授权语句:GRANTALLPRIVILEGESON*.*TO'root'@'%......
  • DataX在Windows上实现Mysql到Mysql同步数据以及配置多个job/多个表同步定时执行bat
    场景DataX-阿里开源离线同步工具在Windows上实现Sqlserver到Mysql全量同步和增量同步:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130330353DataX-在Windows上实现postgresql同步数据到mysql:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130......
  • 解决MySQL8.0报错:Unknown system variable 'validate_password_policy'
    解决MySQL8.0报错:Unknownsystemvariable'validate_password_policy'解决MySQL8.0报错:Unknownsystemvariable'validate_password_policy'一、问题描述1.通过yum安装好mysql8.0,通过生成的临时密码登录后操作mysql时会报如下错误:mysql>showdatabases;ERROR1820......
  • CentOS yum升级MySQL 5.6到5.7.42
    注意:升级前一定要做好备份升级前请将mysql5.6小版本升级到最高升级时可将my.cnf配置文件备份,保留最基本的配置,避免因配置问题造成异常,升级完成后在逐步还原安装mysql5.7yum源如果之前已经安装了5.6的yum源,需要先卸载后在安装rpm-Uvhhttps://dev.mysql.com/get/mysql......
  • JDBC-API详解-PreparedStatement-SQL注入演示
       packageTest;importorg.junit.Test;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.ResultSet;importjava.sql.Statement;importjava.util.ArrayList;importjava.util.List;publicclassJDBCdemo5_UserLogin{/*......
  • SpringBoot+druid+dynamic+clickhouse+mysql实现读写分离
    背景:clickhouse+mysql实现读写分离1.配置mysql2.安装clickhouse3.使用可视化工具连接clickhouse4.创建clickhouse的数据库并连接mysql5.SpringBoot+druid+dynamic配置多数据源实现读写分离一.背景由于系统数据量过大,查询条件自定义过多,mysql在查询时响应太慢,所以使用cli......
  • Postgresql中的表结构和数据同步/数据传输到Mysql
    场景Postgresql中的某个表,需要连同表结构以及表数据同步一次到Mysql数据库中。一种方式是在Postgresql中将表sql导出,然后修改sql文件语法,再导入到mysql中。但是这种方式过于复杂,可以借助于Navicat等工具。如果是使用Navicat进行结构同步和数据同步时,需要两边是同类型的数据库......
  • SQL Server常用指令(全局变量 + 判定 + 循环 + 分类统计)
    原文:https://blog.csdn.net/qq_44965393/article/details/109482964--返回执行的上一个Transact-SQL语句的错误号,如果前一个Transact-SQL语句执行没有错误,则返回0SELECT@@ERROR--返回上次插入的标识值SELECT@@IDENTITY--返回运行SQLServer的本地服务器的名称SELECT@@SE......