首页 > 数据库 >SQL 时间范围和时间粒度

SQL 时间范围和时间粒度

时间:2022-09-20 19:11:38浏览次数:81  
标签:00 01 20 09 粒度 时间 2022 SQL

前言

使用 SQL 进行业务数据计算时,经常会遇到两个概念:时间范围时间粒度 。以 最近一天的每小时的用户访问人数 为例:

  • 最近一天 是时间范围
  • 每小时 是时间粒度

常见的时间范围:最近五分钟、最近一小时、最近一天、最近一周、最近一月、最近一年、截止到今天、截止到本周、截止到本月、截止到今年。

常见的时间粒度:五分钟、小时、天、周、月、年。

大多数情况下,我们需要根据计算时间和时间范围,计算出业务数据的开始时间和结束时间,用于过滤业务数据;然后再根据业务数据的业务时间和时间粒度,计算出业务时间点,用于分组统计业务数据。

假设用户访问表(user_visit)记录如下:

id uid timestamp
1 u1 2022-09-19 15:10:58
2 u2 2022-09-19 16:24:19
3 u1 2022-09-20 01:04:03
4 u2 2022-09-20 02:12:36
5 u1 2022-09-20 02:35:03
6 u1 2022-09-20 03:10:27

使用 最近一天 过滤数据,开始时间:2022-09-20 00:00:00,结束时间:2022-09-21 00:00:00,SQL 伪代码:

SELECT
	*
FROM
	user_visit
WHERE
	timestamp >= "2022-09-20 00:00:00"
	AND timestamp < "2022-09-21 00:00:00"

过滤结果:

id uid timestamp
3 u1 2022-09-20 01:04:03
4 u2 2022-09-20 02:12:36
5 u1 2022-09-20 02:35:03
6 u1 2022-09-20 03:10:27

过滤后的业务数据,使用 小时 将业务时间转换成业务时间点,转换结果:

id uid timestamp
3 u1 2022-09-20 01:00:00
4 u2 2022-09-20 02:00:00
5 u1 2022-09-20 02:00:00
6 u1 2022-09-20 03:00:00

按小时分组统计用户访问人数,SQL 伪代码:

SELECT
	timestamp, COUNT(DISTINCT(uid)) AS uids
FROM
	user_visit
GROUP BY
	timestamp

统计结果:

timestamp uids
2022-09-20 01:00:00 1
2022-09-20 02:00:00 2
2022-09-20 03:00:00 1

整个过程涉及两个关键的时间计算:

  • 根据计算时间和时间范围,计算业务数据开始时间和结束时间
  • 根据业务时间和时间粒度,计算业务时间点

这两个时间的计算均需要通过 SQL 的 日期时间函数 实现。然而不同的数据库对于日期时间函数的支持程度差异很大,实际的计算过程可能比较繁琐。

本文以阿里云 ODPS 和 RDS 为例,详细说明日期时间函数关于时间范围和时间粒度的计算方法。

时间范围的开始时间是闭区间,结束时间是开区间。

时间类型

阿里云的 ODPS 和 RDS 都是支持日期时间(DATETIME)类型的,业务数据可以直接使用 DATETIME 存储业务时间;也可以使用其它数据类型存储业务时间,常见的有日期时间字符串(STRING)和 Unix 时间戳(INT)。

我们建议将业务时间统一转换成 DATETIME 类型之后再进行时间计算。

日期时间字符串

以字符串 2022-09-20 15:10:58 例,将其转换成 DATETIME。

ODPS

TO_DATE('2022-09-20 15:10:58', 'yyyy-mm-dd hh:mi:ss')

RDS

STR_TO_DATE('2022-09-20 15:10:58', '%Y-%m-%d %H:%i:%s')

Unix 时间戳

以时间戳 1663657859 为例,将其转换成 DATETIME。

ODPS

FROM_UNIXTIME(1663657859)

RDS

FROM_UNIXTIME(1663657859)

时间范围

我们使用 当前时间 指代 计算时间,获取当前时间(DATETIME):

ODPS

GETDATE()

RDS

NOW()

最近五分钟

以计算时间:2022-09-20 17:07:33 为例,最近五分钟的业务开始时间应为:2022-09-20 17:00:00,业务结束时间应为:2022-09-20 17:05:00。

ODPS

// 开始时间
FROM_UNIXTIME(FLOOR(UNIX_TIMESTAMP(GETDATE()) / 300 - 1) * 300)

// 结束时间
FROM_UNIXTIME(FLOOR(UNIX_TIMESTAMP(GETDATE()) / 300) * 300)

RDS

// 开始时间
FROM_UNIXTIME(FLOOR(UNIX_TIMESTAMP(NOW()) / 300 - 1) * 300)

// 结束时间
FROM_UNIXTIME(FLOOR(UNIX_TIMESTAMP(NOW()) / 300) * 300)

300 表示 5 分钟,即:300 秒。

最近一小时

以计算时间 2022-09-20 17:19:57 为例,最近一小时的业务开始时间应为 2022-09-20 16:00:00,业务结束时间应为 2022-09-20 17:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), -1, 'hh'), 'hh')

// 结束时间
DATETRUNC(GETDATE(), 'hh')

RDS

// 开始时间
DATE_FORMAT(DATE_ADD(NOW(), INTERVAL - 1 HOUR), '%Y-%m-%d %H:00:00')

// 结束时间
DATE_FORMAT(NOW(), '%Y-%m-%d %H:00:00')

最近一天

以计算时间 2022-09-20 17:31:06 为例,最近一天的业务开始时间应为 2022-09-19 00:00:00,业务结束时间应为 2022-09-20 00:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), -1, 'dd'), 'dd')

// 结束时间
DATETRUNC(GETDATE(), 'dd')

RDS

// 开始时间
DATE_FORMAT(DATE_ADD(NOW(), INTERVAL - 1 DAY), '%Y-%m-%d 00:00:00')

// 结束时间
DATE_FORMAT(NOW(), '%Y-%m-%d 00:00:00')

最近一周

以计算时间 2022-09-20 17:48:10 为例,最近一周的业务开始时间应为 2022-09-12 00:00:00,业务结束时间应为 2022-09-19 00:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), - WEEKDAY(GETDATE()) - 7 , 'dd'), 'dd')

// 结束时间
DATETRUNC(DATEADD(GETDATE(), - WEEKDAY(GETDATE()), 'dd'), 'dd')

RDS

// 开始时间
DATE_FORMAT(ADDDATE(NOW(), - 7 - WEEKDAY(NOW())), '%Y-%m-%d 00:00:00')

// 结束时间
DATE_FORMAT(ADDDATE(NOW(), - WEEKDAY(NOW())), '%Y-%m-%d 00:00:00')

最近一月

以计算时间 2022-09-20 17:57:05 为例,最近一月的业务开始时间应为 2022-08-01 00:00:00,业务结束时间应为 2022-09-01 00:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), -1, 'mm'), 'mm')

// 结束时间
DATETRUNC(GETDATE(), 'mm')

RDS

// 开始时间
DATE_FORMAT(DATE_ADD(NOW(), INTERVAL - 1 MONTH), '%Y-%m-01 00:00:00')

// 结束时间
DATE_FORMAT(NOW(), '%Y-%m-01 00:00:00')

最近一年

以计算时间 2022-09-20 18:03:00 为例,最近一年的业务开始时间应为 2021-01-01 00:00:00,业务结束时间应为 2022-01-01 00:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), -1, 'yyyy'), 'yyyy')

// 结束时间
DATETRUNC(GETDATE(), 'yyyy')

RDS

// 开始时间
DATE_FORMAT(DATE_ADD(NOW(), INTERVAL - 1 YEAR), '%Y-01-01 00:00:00')

// 结束时间
DATE_FORMAT(NOW(), '%Y-01-01 00:00:00')

截止到今天

以计算时间 2022-09-20 18:12:31 为例,截止到今天的业务开始时间应为 2022-09-20 00:00:00,业务结束时间应为 2022-09-21 00:00:00。

ODPS

// 开始时间
DATETRUNC(GETDATE(), 'dd')

// 结束时间
DATETRUNC(DATEADD(GETDATE(), 1, 'dd'), 'dd')

RDS

// 开始时间
DATE_FORMAT(NOW(), '%Y-%m-%d 00:00:00')

// 结束时间
DATE_FORMAT(ADDDATE(NOW(), 1), '%Y-%m-%d 00:00:00')

截止到本周

以计算时间 2022-09-20 18:16:20 为例,截止到本周的业务开始时间应为 2022-09-19 00:00:00,业务结束时间应为 2022-09-26 00:00:00。

ODPS

// 开始时间
DATETRUNC(DATEADD(GETDATE(), - WEEKDAY(GETDATE()), 'dd'), 'dd')

// 结束时间
DATETRUNC(DATEADD(GETDATE(), 7 - WEEKDAY(GETDATE()), 'dd'), 'dd')

RDS

// 开始时间
DATE_FORMAT(ADDDATE(NOW(), - WEEKDAY(NOW())), '%Y-%m-%d 00:00:00')

// 结束时间
DATE_FORMAT(ADDDATE(NOW(), 7 - WEEKDAY(NOW())), '%Y-%m-%d 00:00:00')

截止到本月

以计算时间 2022-09-20 18:19:15 为例,截止到本月的业务开始时间为 2022-09-01 00:00:00,业务结束时间应为 2022-10-01 00:00:00。

ODPS

// 开始时间
DATETRUNC(GETDATE(), 'mm')

// 结束时间
DATETRUNC(DATEADD(GETDATE(), 1, 'mm'), 'mm')

RDS

// 开始时间
DATE_FORMAT(NOW(), '%Y-%m-01 00:00:00')

// 结束时间
DATE_FORMAT(ADDDATE(NOW(), INTERVAL 1 MONTH), '%Y-%m-01 00:00:00')

截止到今年

以计算时间 2022-09-20 18:21:09 为例,截止到今年的业务开始时间为 2022-01-01 00:00:00,业务结束时间应为 2023-01-01 00:00:00。

ODPS

// 开始时间
DATETRUNC(GETDATE(), 'yyyy')

// 结束时间
DATETRUNC(DATEADD(GETDATE(), 1, 'yyyy'), 'yyyy')

RDS

// 开始时间
DATE_FORMAT(NOW(), '%Y-01-01 00:00:00')

// 结束时间
DATE_FORMAT(ADDDATE(NOW(), INTERVAL 1 YEAR), '%Y-01-01 00:00:00')

时间粒度

五分钟

参考时间范围为最近五分钟的结束时间的计算方法。

小时

参考时间范围为最近一小时的结束时间的计算方法。

参考时间范围为最近一天的结束时间的计算方法。

参考时间范围为最近一周的结束时间的计算方法。

参考时间范围为最近一月的结束时间的计算方法。

参考时间范围为最近一年的结束时间的计算方法。

结语

时间范围和时间粒度的计算虽然不是什么技术难点,却是数据分析 SQL 语句中极其重要的组成部分。不同数据库之间的日期时间函数的支持程度差异较大,具体使用时很容易混淆,如果平时可以多记录多总结,则可以幅度提升开发效率。

标签:00,01,20,09,粒度,时间,2022,SQL
From: https://www.cnblogs.com/yurunmiao/p/16712173.html

相关文章

  • MySQL5.7读写分离
    读写分离关闭防火墙systemctlstopfirewalldsetenforce0Amoeba服务器环境安装安装jdkyuminstalljava安装完成后查看版本java-version修改配置文件vi/etc/......
  • Dapper使用MySql.Data偶发执行异常(Net Framework)
    System.Number.StringToNumber(string,System.Globalization.NumberStyles,refSystem.Number.NumberBuffer,System.Globalization.NumberFormatInfo,bool)S......
  • oracle导出csv文件后导入mysql
    场景:oracle数据库中有与mysql同名表,需要将oracle表数据导入mysql,需要手工操作工具:navicatpremium解决方案:1、使用plsql工具从oracle导出csv文件2、使用navicat工具......
  • MySQL-面试题总结
    1.为什么InnoDB存储引擎选择B+Tree索引结构。(1)思路,为什么不采用二叉树和红黑树?普通二叉树,顺序插入,形成链表,大大影响查询效率。红黑树本质上也是二叉树,大数据量,树的......
  • mysql安装my.cnf配置
    进入my.cnf文件//乱码修改设置编码character_set_server=utf8mb4//编码collation-server=utf8mb4_general_ci//连接数据库执行操作init_connect='SETNAMES......
  • Mysql
    Prerequisite几百年前就安装了的东西,现在重新回顾一下Mysql彻底卸载参考博客:重装MySQL打开服务,关闭关于Mysql的全部服务卸载mysqlserver(并删除残留痕迹)管理......
  • mysql存图片,存二进制文件还是保存图片的相对路径
    转载自: 【转】mysql保存图片技术决定:保存二进制文件还是只保存图片相对路径,图片放在硬盘上面?-Eillot-博客园(cnblogs.com) 最近遇到上面这个问题,一开始我......
  • mysql中nvl_浅谈Mysql中类似于nvl()函数的ifnull()函数
    IFNULL(expr1,expr2)如果expr1不是NULL,IFNULL()返回expr1,否则它返回expr2。IFNULL()返回一个数字或字符串值,取决于它被使用的上下文环境。mysql>selectIFNULL(1,0);->......
  • SQL注入篇——sqli-labs各关卡方法介绍
    主要是记下来了每关通过可以采用的注入方式,可能部分关卡的通关方式写的不全面,欢迎指出,具体的获取数据库信息请手动操作一下。环境初始界面如下:sql注入流程语句:orderby......
  • 查询数据库创建及开启时间
    postgres=#select*frompg_control_system();pg_control_version|catalog_version_no|system_identifier|pg_control_last_modified--------------------+---......