首页 > 其他分享 >交换产品(ETL)考察指标-异常

交换产品(ETL)考察指标-异常

时间:2023-11-26 10:02:54浏览次数:31  
标签:是否 交换 考察 产品 日志 异常 ETL 原因

做数据交换项目遇到异常是不可避免的,异常原因:

1 外部因素,如果源和目标异常或是网络中断

2 交换产品本身bug导致

如何考察一个交换产品是否优秀可以通过交换中遇到的各种异常来评判。

1)发现异常功能

     一般交换产品会按交换需求,人为创建出“交换任务”或“交换流程” ,正式上线后按周期调度或是持续运行。交换中遇到各种异常是否能及时通知运维人员。

2)分析异常功能

     分析异常主要是运维人员或是开发人员,通过系统产生日志分析原因。

     日志提供的少情况: 这种情况最可怕,只能靠人猜异常原因。

     日志提供的多情况:找关键报错原因不容易,如果长时间输出还有可能导致硬盘满。

     个人认为好的日志:日志可分类,正常输出日志,异常日志,异常时业务数据日志,异常内容 异常时间,发生程序位置,常见异常可直接分析出原因(如:连接异常,表不存在,字段不存在,字段超长等)

3)解决异常效率

     以常见异常举例:

     1 连接异常:在连接恢复后交换产品是否可自动恢复。 

     2 字段超长:如果目标增加字段长度,是否有异常回补功能。

     3 交换产品本身有bug,提供产品厂商是否可及时打补丁解决问题。

标签:是否,交换,考察,产品,日志,异常,ETL,原因
From: https://blog.51cto.com/u_14602923/8564952

相关文章

  • 交换机通过boot模式升级
    配置步骤1、交换机通过Console口连接配置PC机。通过MG口连接TFTP服务器,如果交换机上没有MG口则连接设备的1口。2、在TFTPServer上运行服务端程序,配置TFTPServer的IP地址为192.168.1.1/24。将升级所需的文件放置在TFTPServer的根目录。3、在配置PC上,打开超级终端程序,启动交换......
  • 什么是计算机网络中的交换机
    交换机(Switch),在计算机网络中,是一种能接收、处理并转发数据的网络设备。它的主要功能是连接多个网络设备,如电脑、打印机、路由器等,使它们在同一局域网(LAN)内实现相互通信。不同于集线器(Hub)的广播方式,交换机可以记住设备的物理地址(MAC地址),并基于此进行端对端的数据传输,大大提高了网......
  • ElasticSearch之禁用交换分区
    操作系统将进程加载至内存中执行时,对于当前未使用到的内存页,可能会将相关内存页交换至硬盘上,即swap。对于性能敏感、时延敏感的应用程序比如ElasticSearch,swap特性会明显影响性能和稳定性,因此最好禁用swap特性。对于Linux环境,目前有如下手段可以禁用swap特性。临时关闭swap的方......
  • 构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
    作者|柳下概述随着企业规模和数据量的增长,数据的价值越来越受到重视。数据的变化和更新变得更加频繁和复杂,因此及时捕获和处理这些变化变得至关重要。为了满足这一需求,数据库CDC(ChangeDataCapture)技术应运而生。然而,从ETL架构的角度来看,CDC仅满足了数据的提取(Extract)能力。为......
  • 构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
    作者|柳下概述随着企业规模和数据量的增长,数据的价值越来越受到重视。数据的变化和更新变得更加频繁和复杂,因此及时捕获和处理这些变化变得至关重要。为了满足这一需求,数据库CDC(ChangeDataCapture)技术应运而生。然而,从ETL架构的角度来看,CDC仅满足了数据的提取(Extract)能力。......
  • 华为交换机配置静态mac
    华为交换机静态arp绑定vlan的地址和mac 在华为交换机上,可以通过以下命令来配置静态ARP绑定,并将其关联到特定的VLAN。请注意,确保你有足够的权限执行这些命令,并根据你的网络配置进行适当的调整。进入系统视图:plaintext[Switch]system-view[Switch]_选择......
  • 思科模拟器 配置简单的交换机
     1.打开思科模拟器放俩pc    2.接着放一个交换机并用线路连接它们    3.配置交换机vlan    最后配置两台pc的ip地址     最后去pc0ping一下  发现pc0可以ping通pc1 最后去交换机看一下mac地址   至此简单的配置......
  • Windows重映射交换Esc与Cap键功能与恢复
    参考链接:https://blog.csdn.net/qq_35333978/article/details/113702970重映射.regWindowsRegistryEditorVersion5.00[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\KeyboardLayout]"ScancodeMap"=hex:00,00,00,00,00,00,00,00,03,00,00,00,3a......
  • 企业如何选择一款高效的ETL工具
    企业如何选择一款高效的ETL工具?在企业发展至一定规模后,构建数据仓库(Data Warehouse)和商业智能(BI)系统成为重要举措。在这个过程中,选择一款易于使用且功能强大的ETL平台至关重要,因为数据的采集和清洗是数据分析的基础。目前ETLCloud作为一款国产免费的ETL工具,凭借其强大功能和活跃......
  • 华为智选与最新交换机快速配置文档
    1234@abcd1234@abcdsysundoinfo-centerenablesysname SW01interfaceVlanif1ipaddress192.168.10.12255.255.255.0qiproute-static0.0.0.00.0.0.0192.168.10.1vlan231interfacerangeGigabitEthernet0/0/1toGigabitEthernet0/0/24portlink-typeaccesspor......