首页 > 其他分享 >工作疑难问题解决4例

工作疑难问题解决4例

时间:2024-05-11 11:52:07浏览次数:25  
标签:这个 疑难问题 数据库 备机 研发 工作 修改 解决 查询

   记录一下工作上疑难问题解决:

    一,方便的页面监控  

     前几天早上,负责的kettle抽取数据表的任务又报错了,早上看手机有4个未接报警电话,一看是人员表,原来昨天报表系统有个大的查询一直未查询完成,导致truncate这个人员表,无法活动meta的锁,后续执行抽取和计算的都报错。为解决以前这个很偶发的大查询,特意用datart报表做了一个查询页面,在手机上直接看是否有大的事务查询,有的话kill,保证晚上抽取不会报错,但后面一直天天看,也会放松疏忽。

      不想被短信电话打扰如何解决?不要特别的点开看这个查询页面,又保证能天天看到。

      方法一:报表库购买一个从库,报表读和数据写入计算分离就可解决。  需购买从库,要费用,估计不会批

      方法二:做一个监控工具,如果报表库有大的查询报警或者是发送消息!    也会导致让人烦,入侵性强。不太好

      方法三: 在浏览器里把这个长事务页面设置成首页,每次打开浏览器就可以看到。 很友好,每天都会上网,上网就就会看到,非入侵性  

   二、缺少的数据库备机

        几年前,在一家电商公司做DBA,北京仓库有台数据库服务器(线上的数据抽取到本地作业),但一直没有备机,几次和研发领导说这个事情买个备机做实时备份,领导也没说买,估计到CEO老板也不会同意买,公司当时也很缺钱,但这个隐患一直存在,假如某天这个数据库服务器出现故障,无法使用,就很影响到现在的仓库作业,这时再去弄备机,时间很长。

        不给买备机怎么处理?无法做一个实时备份,等出问题再说。跟领导说了几次,估计他也没办法!

        后来有次上海仓库,突然停电,当初配置了一个从库,没什么问题就系统和数据库都起来了。我把这个担忧给领导又说了一遍,担心如果北京仓库断电重启不起来,那就麻烦了,后来领导说买个高配的台式机做一下过度,是否可以,想想有个备机总比没有强,就立刻购买一台高配的兼容机,弄好配置从库。这才解决,后面再新加仓库配置本地数据库服务器,都是按一主一从库来购买。 

   三、表重构高风险

       几年前,公司的线上系统使用的优惠卷表,以前设计存在严重问题,要重新设计表,修改程序。优惠卷就2个表,表重构和程序修改比较容易,但上线,研发出现一个问题,因为代码分布在各个系统,以前维护这块的人都离职了,现在谁都无法了解

     1,不知道程序改完没有   2,即使程序改完了,出现问题,对用户影响很大。 没办法保证100%的修改完成。

      一句话:修改上线风险大,出问题还要背责任。

     和研发,架构还有领导开会讨论时,面临这个问题,怎么处理。讨论下来就是,出一个双写方案,就是新表和旧表同时运行,程序设置开关,可以直接打开双写。上线后,架构开发一个功能,对比2个表的数据差异,一直对比,有异常看程序那些还没改,改得有问题。就这样整个功能运行近1年,对比确认没问题后,这才重构完成,并保证切换系统100%没有问题。

   四、大表拆分

        几年前,去新公司的数据库有个表比较大占用100G+的空间,核心库500G+大小,这个表如果有问题,会影响到核心业务库,最好是迁移出核心库。当时负责这块的研发在广州,我在上海。和负责这块的研发领导沟通,反馈是工作太忙,没有时间,要么排期(排期不知道排到什么时候)。

        而且当时公司研发文化,以结果目的为导向,只看重结果。这个工作又不是他们的核心业绩,即使做了也不一定有好的绩效。但如果不推动这个事情,后面表越来越大,风险也越来越大,必须要做下去,慢慢做,总有做完的那天,如果一直没时间做,就永远不会做。

        只是一个小DBA,没有权利去要求他们做什么,怎么推动这个事情解决?

        后来和广州研发部门的组长和经理沟通,研发的确很忙,和研发组长和经理多次沟通,这拆分还要做,但可以慢慢做,他们最后还把拆分任务分下去,哪个研发人员有空就分配给谁,修改一部分。刚好当时做一个MySQL的审计:

             1,用ELK分析每天4亿多条腾讯云MySQL审计日志(1)--解决过程

       每次程序修改了,可以通过ELK去查是否修改完成,是否还有其他遗漏的地方,一开始给他们开了ELK权限,后来又担心数据安全问题,又给取消了。就这样,每次上线,修改一部分,自己在钉钉群里通告一下是否改完,还有那些没改,监控出没改的SQL,发给他们修改,就这样,整个程序修改都半年多,终于把这个表给拆分出核心库,一句话说的好:真是世上无难事,只怕有心人。

        修改上线后,在例行每次优化报表邮件中,特意写了一份表扬信(写这个表扬邮件费点劲),对广州研发的同事表扬,他们的研发总监还特意点赞回复。邮件如下:

        

         总结:

              这个大表拆分能完成,不是靠一再的施压力和只看结果,而是真正去了解他们的实际情况,给研发提供方便高效的帮助,大家齐心合力去完成一件事。

标签:这个,疑难问题,数据库,备机,研发,工作,修改,解决,查询
From: https://www.cnblogs.com/zping/p/18179990

相关文章

  • 如何发现用户痛点并解决
    发现用户痛点并解决是产品开发、市场营销和服务设计中至关重要的环节。这需要深入了解用户的需求、行为习惯以及他们在使用产品或服务过程中遇到的问题。以下是一些有效的方法来发现并解决用户痛点:1.直接沟通与访谈一对一访谈:与目标用户进行深入交谈,了解他们的日常习惯、需求......
  • python pip的各功能工作中使用说明
    根据pip命令行出来的有如下功能。installInstallpackages.downloadDownloadpackages.uninstallUninstallpackages.freezeOutputinstalledpackagesinrequirementsformat.list......
  • 在Linux中,什么是无盘工作站?并且如何在Linux中配置它。
    1.什么是无盘工作站?无盘工作站(DisklessWorkstation)是一种不包含硬盘驱动器的计算机。它通过网络启动并运行操作系统,通常从一个服务器上的共享存储系统下载所需的操作系统镜像。无盘工作站广泛应用于需要统一管理、安全性要求高、成本效益好的环境,如学校、图书馆、呼叫中心和一......
  • Visual Components 3D工厂仿真与物流规划解决方案
    VisualComponents是新一代的数字化工业仿真软件,涵盖3D工艺仿真、装配仿真、人机协作、物流仿真、机器人仿真、虚拟调试、数字孪生工厂等功能于一体的数字化工业仿真平台。 在智能制造的发展过程中,3D仿真技术已经成为推动产业升级、优化生产流程的重要工具。VisualComponents......
  • 工作流程组二开
    一、流程核心表1、流程路径、流程表单、表单字段、节点、节点操作者、出口相关表。workflow_type:流程类型表,存放流程类型的基本信息;workflow_base:工作流基本信息表,中isbill字段(0,是表单,1单据或自定义表单,fromid小于0是自定义表单,大于0是单据),id=workflowidworkflow_bill :用户自......
  • AutoCAD中一个隐藏的系统变量——GFXDX12,解决硬件加速相关问题
    其实AutoDesk是知道这个问题的,也给出了一个系统变量,也就是:GFXDX12。不过这个系统变量在系统变量列表中是没有列出来的,但在帮助中可以搜索到。GFXDX12的默认值为1,查看帮助文件,大概的意思是,GFXDX12为1时,AutoCAD直接使用系统的硬件特性,主要是DirectX。如果出现卡顿或鼠标拖尾等现象,就......
  • mybatisplus 中查询的实体对应的表名是动态的解决方案
    开发中遇到需要查询一些表里的数据,这些数据按照一定的规则存放在不同的数据库表里,例如表名是table_name+月份 table_name_2024_05,table_name_2024_04这样,这些表的结构都相同。网上找了一些动态修改实体对应数据库表名的方法,操作相对复杂而且跟mybatisplus的版本有关。自己......
  • Springboot单机多副本运行,解决端口冲突
    一、代码方式(修改配置类)@BeanpublicWebServerFactoryCustomizer<ConfigurableWebServerFactory>MyCustomizer(){returnnewWebServerFactoryCustomizer<ConfigurableWebServerFactory>(){@Overridepublicvoidcustomize(ConfigurableWebSer......
  • WIN10的BUG:语言栏快捷键重启丢失的问题(解决笔记)
    这个问题据说已存在多年,但一直没有解决:crtl+shift+del导致切换语言的热键丢失-MicrosoftCommunity经过下文的引导,发现真存在这个可能性,参照下文的方法解决W10修改输入法快捷键及快捷键BUG解决-知乎(zhihu.com)在我的电脑中是这样设置的:而这个“美式键盘”的快捷方式每次......
  • 升级Artalk评论至V2-8-3-解决Error-请求响应404
    记录升级Artalk评论至V2.8.3,并解决ArtalkErrorError:请求响应404,无法获取评论列表数据朗读全文Yourbrowserdoesnotsupporttheaudioelement.有什么用升级Artalk评论至V2.8.3解决ArtalkErrorError:请求响应404,无法获取评论列表数据心路历程Artalk配置的SMT......