首页 > 其他分享 >离线统计,建立日表、周表、月表

离线统计,建立日表、周表、月表

时间:2023-10-16 18:56:47浏览次数:35  
标签:日表 离线 月表 周表 大屏 数据

经理让我做一个离线统计,建立日表、周表、月表

当时就有些心虚加崩溃,因为乍一听很牛的样子,但是我之前没有接触过,他偏偏还说,你以前应该做过吧……
经过我不懈的心惊胆战和求助和豁然开朗和再次讨论和自我修改迭代的基础上,我把这个需求搞懂了并且表也建好了

1、为什么有这个需求?

因为这次的需求是对大屏进行的修改,如果说接口速度达到一秒、甚至是两秒好几秒的时候,那我们就寄了,因为这会导致大屏卡顿 + 白屏的出现,用户体验十分糟糕。所以我们要改进性能,于是采用了离线统计的方法。

2、什么是离线统计

所谓离线统计,就是把今天之前的,你需求页面上需要的数据,全部提前准备好,在页面进行请求端口的时候,不要再进行多个表的访问,或者复杂的计算等等操作,这样就大大提高了效率。采用的手段就是建立日表、周表、月表。然后在每天凌晨(随便什么时间),对新的数据进行同步。

3、如何建表

建表要根据自己具体的业务需求来,我这里拿自己的需求来进行说明。
我这次的需求是对大屏进行修改,说是修改,其实就和重新做个页面没什么区别。

● 从数据来分,分为两种:实时数据 和 时间段内统计数据
● 从响应数据类型来分,分为两种:折线图、柱状图这种封装为对象的 和 基本数据类型的

1、我如果直接在对接大屏页面的接口中进行各种统计、计算,大屏就蹦了,因为这些数据来自很多个表。
2、所以这里我只建立一个日表,业务字段为原表需要的相应字段,需要用一张表综合起来。
3、每天通过定时任务,追加前一天数据。在定时任务里,对每一天的数据进行预先计算好。这里可以对日期字段加个索引。

所以以上方法只能对时间段数据进行处理,如果实时数据的话,还得访问原表

4、定时任务如何更新表

标签:日表,离线,月表,周表,大屏,数据
From: https://www.cnblogs.com/psuitj/p/optimize.html

相关文章

  • dbeaver离线安装clickhouse连接驱动
    jar参考:https://blog.csdn.net/nextstepfans/article/details/132586919https://blog.csdn.net/duketyson2009/article/details/98206721Clickhouse数据库连接工具——DBeaver1.下载DBeaver和连接驱动管理下载地址:https://dbeaver.io/download/https://dbeaver.io/files/d......
  • tiup离线安装tidb6.5.3
    tidb6.5.3规划ip资源规划备注192.168.10.574C/8G/100Gpd、tikv192.168.10.564C/8G/100Gtikv、pd、cdc192.168.10.554C/8G/100Gtidb、tikv192.168.10.544C/8G/100Gpd、tidb192.168.10.534C/8G/100G监控、中控、tidb软件安装1、配置......
  • 【离线算法】- 莫队
    莫队简介莫队是可以支持多次询问区间\([l,r]\)的信息的离线算法。通过将询问范围以块长为\(\sqrtn\)分块后按端点所属分块排序的方式优化复杂度。普通莫队定义普通莫队针对的是序列上的区间询问。常见形式为:对于一个长度为\(n\)的序列,提出\(m\)次询问,每次询问区间......
  • 二次离线莫队笔记
    前言莫队可以解决许多其他数据结构无法完成的问题,正在很多其他问题上也可以拿部分分甚至满分,只因其复杂度为小常数\(O(n\sqrtn\timesk)\)其中\(k\)是单次扩张以及收缩的复杂度,而二离莫队可以在答案可差分的情况下达到\(O(n\sqrtn+n\timesk)\)起源lxl把二次离线莫......
  • 私密离线聊天新体验!llama-gpt聊天机器人:极速、安全、搭载Llama 2
    “私密离线聊天新体验!llama-gpt聊天机器人:极速、安全、搭载Llama2,尽享CodeLlama支持!”一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密,没有数据离开您的设备。Demohttps://github.com/getumbrel/llama-gpt/assets/10330103/5d1a76b8-ed03-4a51-9......
  • 服务器数据恢复-DS5300存储多块硬盘出现坏道离线导致raid5阵列崩溃的数据恢复案例
    服务器数据恢复环境:某单位一台DS5300存储,1个主机+4个扩展柜,组建了2组RAID5(一组27块硬盘,一组23块盘)。27块盘的那组RAID5阵列存放Oracle数据库文件,存储系统一共分了11个卷。服务器故障:27块盘的那组RAID5阵列中有2块磁盘故障离线,导致RAID阵列崩溃,存储不可用,存储设备已经过保。服务......
  • centos 离线安装docker
    最佳方案就是查看官方文档了https://docs.docker.com/engine/install/centos/#install-from-a-package在docker官网找到centos安装目录,里面有个Installfromapackage 章节,其他系统也可以在相应系统类别里找到对应章节 Installfromapackage Ifyoucan'tuseDocker'......
  • CentOS环境:离线安装配置gitlab(适用于内网环境)
    前言:  此篇是为了完结真实的物理隔离环境下、验证yum缓存的文件包安装配置是否成功,对上篇在线安装文章的补充。1.互联网电脑环境准备1.1电脑环境配置信息IP:192.168.31.164OS:CentOSLinuxrelease7.9.2009(Core)1.2清除yum的rpm包缓存数据包清除前的数据记录:[root@bdlab......
  • 安防视频/集中云存储平台EasyCVR(V3.3)部分通道显示离线该如何解决?
    安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快,可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等,以及支持厂家私有协议与SDK接入,包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力,也具备接入AI智能分析的能......
  • 视频监控/安防视频监控平台EasyCVR配置集群后有一台显示离线是什么原因?
    开源EasyDarwin视频监控TSINGSEE青犀视频平台EasyCVR能在复杂的网络环境中,将分散的各类视频资源进行统一汇聚、整合、集中管理,在视频监控播放上,TSINGSEE青犀视频安防监控汇聚平台可支持1、4、9、16个画面窗口播放,可同时播放多路视频流,也能支持视频定时轮播。视频监控汇聚平台EasyCV......