首页 > 其他分享 >采集优化

采集优化

时间:2023-05-29 09:55:25浏览次数:28  
标签:同步 redis 查询 采集 task 报错 优化 资源

采集优化做了5项:
1.全量同步,资源类型支持可配置,默认同步对象存储和快照。
2.任务分片优化,map子任务数最多不超过150。
3.单个任务执行完成后,校验资源删除逻辑,不再使用之前等待所有采集任务执行完成再进行校验资源是否删除的逻辑。
4.CMDB资源表增加区域和区域项目字段,提供升级脚本。
5.全量同步,同步对象存储和快照始终同步。其它配置的资源,如果云账号区域下云厂资源总数和cmdb对应总数相等,不做同步处理。

同步失败,以下几类:
1.安全组规则同步,报错 For input string: "22,2375" 用老的同步job同样报错
2.The API does not exist or has not been published in the environment 华为云api抛出的异常,API不存在或没有发布到环境上
安全组同步,华为区域cn-southwest-2,项目id dbf4212a43aa47b59abc3e96472f7786 用老的同步job同样报错
3.接口限流,老的job同步同样报错
4.连接错误,com.huaweicloud.sdk.core.exception.ConnectionException: DefaultHttpClient ConnectionException
老的job同步同样报错

 

---华为NAT 已被nat使用的vpc 在创建nat时不应该被选上
在nat创建界面,查询vpc列表时,加过滤条件,过滤掉cmdb中该云账号区域下的nat关联vpc列表

---华为VPC 删除VPC资源时,需要校验VPC资源下是否存在子网
在VPC实现类VpcV3ServiceImpl删除处理时,加校验逻辑:查询子资源,如果有子资源,删除报错,提示错误码
IVpcV3Service checkIfHasSubResources


mysql或redis连接异常,导致资源一直同步中解决方案:
1.在redis中放入task_id的心跳key,5分钟失效。在SubSyncMapExecutor的taskProcess方法里,每次调用接口,判断上次心跳更新时间,超过1分钟就设置续期一次redis心跳key(5分钟)。
2.新加一个定时任务,查询collect_task表里同步中的记录,超过5分钟没有更新的,根据task的id判断redis心跳key在不在,如果不在,更新task为失败。删除redis中心跳key超时时间为-1的记录。
3.保存主任务到collect_task,新增type为MASTER,resourceType为具体资源类型,比如在ECS界面点的同步,就记录ECS,用于查询同步状态的条件。
4.前端查询资源类型或云账号的同步状态,根据资源类型和租户id查询type为MASTER的批次号,再根据批次号查询collect_task表里有没有同步中的,有则返回同步中,有一条同步失败返回同步失败,同步成功返回同步成功。

Connection refused
timed out

华为
ConnectionException
connectionexception
阿里
unreachable

标签:同步,redis,查询,采集,task,报错,优化,资源
From: https://www.cnblogs.com/yaoyu1983/p/17439591.html

相关文章

  • 发布-优化图片和js文件的存放路径
    把JavaScript文件同意生成到js目录中在webpack.config.js配置文件的output节点中,进行如下的配置:{test:/\.jpg|png|gif$/,use:'url-loader?limit=470&outputPath=images'}......
  • 掌握PHPcms采集技巧,轻松解决内容管理问题
    PHPcms是一款优秀的内容管理系统,它拥有强大的采集功能,可以轻松实现对目标网站的内容采集。本文将详细介绍PHPcms的content采集功能,包括如何进行配置、如何使用、以及常见问题解决方法等方面。1.配置在使用content采集功能之前,需要先进行一些配置操作。首先,在后台管理界面进入“......
  • 基于SA模拟退火优化的TWVRP路径规划matlab仿真
    1.算法仿真效果matlab2022a仿真结果如下:2.算法涉及理论知识概要模拟退火算法(simulatedannealing,SAA)来源于固体退火原理,是一种基于概率的算法。模拟退火算法来源于固体退火原理,是一种基于概率的算法,将固体加温至充分高,再让其徐徐冷却,加温时,固体内部粒子随温升变为无序状,内能增......
  • 基于GWO灰狼优化的生产线工件工序调度优化matlab仿真,仿真输出优化收敛曲线和工序调度
    1.算法仿真效果matlab2022a仿真结果如下:   2.算法涉及理论知识概要       灰狼优化算法(GWO),灵感来自于灰狼.GWO算法模拟了自然界灰狼的领导层级和狩猎机制.四种类型的灰狼,如α,β,δ,w被用来模拟领导阶层。此外,还实现了狩猎的三个主要步骤:寻找猎物、包围......
  • m基于ABC人工蜂群优化的无线传感器网络路由优化算法matlab仿真,对比优化前后网络寿命,
    1.算法仿真效果matlab2022a仿真结果如下:2.算法涉及理论知识概要无线传感器网络通常使用电池电源,因此能量有限,属于一次性使用。因此,无线传感器网络在原理和应用平台上都有自己的特点:•有限的能源和存储容量传感器节点通常布置在无人值守的运行环境中,节点能量由电池提供,但在......
  • m基于ABC人工蜂群优化的无线传感器网络路由优化算法matlab仿真,对比优化前后网络寿命,
    1.算法仿真效果matlab2022a仿真结果如下:       2.算法涉及理论知识概要       无线传感器网络通常使用电池电源,因此能量有限,属于一次性使用。因此,无线传感器网络在原理和应用平台上都有自己的特点: •有限的能源和存储容量        传感器......
  • 开源可观测性平台Signoz【日志采集篇】
    转载说明:如果您喜欢这篇文章并打算转载它,请私信作者取得授权。原创不易,请文明转载,谢谢。在开源可观测性平台Signoz系列【开篇】中,介绍了signoz的基础理论知识、安装部署及一些初始化配置。本文则记录signoz怎么采集日志,包括docker容器日志和主机日志1.收集容器日志1.1收......
  • 性能优化
    性能优化概述不同硬件配置、不同操作系统平台上性能表现是不一样的。另外,随着数据增多,性能下降无法避免。所以我们可能需要改变使用方式并调整一些配置项来提升性能,以获得更流畅的使用体验。整体性能内容块数量:内容块数量对性能影响范围较大,比如展开文档树、搜索、数据写入等......
  • 武汉星起航:布局亚马逊欧洲站关键策略—选品和运营的双重优化
    亚马逊欧洲站点是一个庞大而充满潜力的电商市场,对于卖家来说,优化选品和运营至关重要。通过精选适宜的产品并进行有效的运营,您可以在这个竞争激烈的市场中取得成功。武汉星起航将为您介绍一些关键策略,帮助您在亚马逊欧洲站点上实现双重优化。一、精选适宜的产品在选品过程中,以下策略......
  • 分享Python采集77个tab标签,总有一款适合您
    Python采集的77个tab标签下载链接:https://pan.baidu.com/s/1GwIU-q4_OpJKzgOKqMf16g?pwd=u6uj提取码:u6ujjs仿当当网tab选项卡切换特效vue.js圆形tab选项卡标签图文切换效果移动端选项卡切换展示echarts数据图表代码jQuery选项卡中嵌套选项卡切换效果jQuerytab选项卡产品列表切换......