首页 > 其他分享 >周期补数据、定时补数据,深入了解两种补数据的特殊方式

周期补数据、定时补数据,深入了解两种补数据的特殊方式

时间:2024-08-14 10:54:59浏览次数:10  
标签:周期 运维 配置 任务 深入 定时 数据

在当今数字化的时代,数据已然成为企业决策与运营的关键要素。而保障数据的完整性、准确性以及及时性,对于企业的发展有着举足轻重的意义。在数据运维管理范畴内,补数据属于大数据开发和运维人员常用的运维操作手段。

周期补数据和定时补数据作为两个相对特殊的补数据方式,在各类不同的场景中均发挥着至关重要的作用。

例如,某银行客户的上游业务系统数据会每隔一段时间进行数据订正,此时可能需要重新计算或补充之前的数据。若每次都通过手动方式去补,操作将会极其繁琐,这种情况下就需要借助周期补数据的功能来修正数据。

再如,某证券客户的机器资源有限,白天时段希望将资源主要用于跑批任务,而夜间的资源通常处于闲置状态。大数据开发人员通常需要设置一个凌晨的闹钟起来补数据,在此种情形下,则需要借助定时补数据的功能,从而避免天天熬夜。

一、如何配置周期补数据任务

第一步:补数据任务配置

使用项目下拥有「数据开发」角色权限的用户,进入到当前项目的「运维中心->周期任务->周期任务管理」页面,如下图所示:

file

我们要对mysql_002这个任务进行周期补数据的配置,找到mysql_002任务后,点击「操作-补数据-当前任务」;

file

打开补数据配置页面后,运行方式选择「周期运行」,即可对当前补数据任务进行「调度周期」「具体时间」「业务日期」等相关属性的配置;

配置调度周期为天,计划时间为每日0点,需要补业务日期为计划时间近三天的数据,可以进行如下图配置;

file

点击「预览」按钮,预览补数据近5个周期对应的业务日期;

file

完成周期补数据相关配置后,点击「确定」按钮。

第二步:补数据任务管理

周期补数据配置完成后,在「运维中心->补数据任务->补数据任务管理->周期运行」中可以看到新建的周期补数据任务;

file

补数据任务管理页面,能够查看相应的任务信息,并且能够针对已生成的周期补数据任务进行「生效状态」的管理,还能执行临时运行周期补数据任务、编辑周期补数据任务配置以及删除周期补数据任务等操作。

file

第三步:补数据实例管理

补数据实例管理页面,可以对不同批次的补数据任务进行操作,例如批量杀实例、批量重跑等操作;

file

二、如何配置定时补数据任务

第一步:补数据任务配置

使用项目下拥有「数据开发」角色权限的用户,进入到当前项目的「运维中心->周期任务->周期任务管理」页面,如下图所示:

file

我们要对mysql_002这个任务进行定时补数据的配置,找到mysql_002任务后,点击「操作-补数据-当前任务」;

file

打开补数据配置页面后,选择运行方式为「单次运行」,运行时间为「自定义时间」设置为7月30日 00时00分;

file

完成定时补数据任务配置后,点击「确认」按钮。

第二步:补数据任务管理

定时补数据配置完成后,在「运维中心->补数据任务->补数据任务管理->单次运行」中可以看到新建的定时补数据任务;

file

补数据任务管理页面,能够查看相应的任务信息,可以执行临时运行定时补数据任务、编辑定时补数据任务配置以及删除定时补数据任务等操作。

file

第三步:补数据实例管理

补数据实例管理页面,可以对不同批次的补数据任务进行操作,例如批量杀实例、批量重跑等操作。

file

三、总结

通过对周期补数据和定时补数据的介绍,我们深入了解了这两种特殊的数据补充方式。周期补数据适用于应对诸如数据采集故障、系统升级或迁移、业务规则变更等导致的数据缺失或错误,能按照一定规律自动补充,减轻手动操作的繁琐。定时补数据则能充分利用特定时间段的资源,满足如资源有限场景下的补数据需求,避免人工熬夜操作。

《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057?src=szsm

《数栈产品白皮书》下载地址:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

标签:周期,运维,配置,任务,深入,定时,数据
From: https://www.cnblogs.com/DTinsight/p/18358442

相关文章

  • echrts 折线图实现数据排名展示
    效果:  接口结构:{"data":[{"tdtRank":1,"tranTransferOvertimeRate":0.0211,"outtranOpOvertimeRate":0.0041,"siteDispSignOvertimeRate":0.019......
  • ruoyi框架定时任务教程
    需求背景有时候我们需要动态管理一些定时任务,比如用户自己创建一个任务,在每天的早上9点执行。那我们就不能自己在配置文件中写死cron表达式,应该是一个动态的。ruoyi框架自带了定时任务模块,我们可以快速改造。题外话这里我们只讲定时任务这个功能,简单的两三个任务在这里执行......
  • 数据分析 Numpy+Scipy+Matplotlib+Pandas
    数据分析Numpy+Scipy+Matplotlib+Pandas基础数值算法科学计算数据可视化序列高级函数一、numpy是什么?1.NumericalPython,数值的Python,补充了Python语言所欠缺的数值计算能力。2.Numpy是其它数据分析及机器学习库的底层库。3.Numpy完全标准C语言实现,运行效率充分优化。......
  • 用R做数据重塑,数据的特征缩放和特征可视化
    由于数据往往复杂多样,其中不同的特征变量可能具有不同的数值范围,这使得特征缩放成为一个必要的步骤。例如,当我们要处理医学数据时,对于同一个患者,肺活量的变化范围可能在1000到5000之间,而体重指数(BMI)的变化范围则可能在10到50之间,其他一些生理指标甚至可能处于-0.1到0.1的微小......
  • JSP怀旧影院订票系统的设计与实现74820--(程序+源码+数据库+调试部署+开发环境)
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容一、选题背景与意义随着科技的飞速发展,人们观影方式日益多样化,但对于热爱经典电影的观众而言,怀旧影院仍具有不可替代的魅力。然而,传统影院在订票......
  • 深入理解 JavaScript 闭包
    前言在JavaScript中,闭包(Closure)是一个非常强大且常见的概念,它使得函数可以访问其外部作用域中的变量,即使在该函数外部作用域已经执行完毕的情况下。闭包广泛应用于回调函数、事件处理器、模块化编程等多个场景。本文将详细探讨闭包的定义、工作原理、常见应用场景以及潜在的陷......
  • mysql 创建定时任务清理指定表
    一、创建定时任务1、确保MySQL的事件调度器已经开启。可以通过以下SQL命令检查是否开启:SHOWVARIABLESLIKE'event_scheduler';2、如果返回的值为OFF,则可以通过以下命令开启事件调度器:SETGLOBALevent_scheduler=ON;3、以下是一个删除your_table表中7天前数据的示例:......
  • 界面控件DevExpress WinForms中文教程:Data Grid(数据网格)简介(一)
    DevExpressWinFormsDataGrid是一个高性能的UI组件,由DirectX渲染引擎提供支持。数据网格(GridControl)提供了一个灵活的基于视图的体系结构,包括许多数据塑造和UI自定义特性,数据网格可以显示和编辑来自任何大小和复杂数据源的数据。P.S:DevExpressWinForms拥有180+组件和UI库,能......
  • GreatSQL 并行Load Data加快数据导入
    GreatSQL并行LoadData加快数据导入数据库信息数据库版本:GreatSQL8.0.32-25Clickhouse表需要导入到GreatSQL中,表数据量庞大所以选用导出CSV的方式。测试数据复现操作loaddataMySQLloaddata语句能快速将一个文本文件的内容导入到对应的数据库表中(一般文本的一行对应......
  • Windows 内存压缩(Memory Compression)是一种内存管理技术,通过压缩内存中的数据来减少物
    内存压缩(MemoryCompression)的起源可以追溯到对内存管理的需求增加的背景下。早期计算机系统主要依赖于物理内存的增加来应对内存压力,但这导致了更高的成本和复杂性。内存压缩技术最初由研究人员和工程师在20世纪80年代和90年代开发,目的是通过软件算法减少内存占用。操作系统和虚......