首页 > 其他分享 >dolphinscheduler任务报错,日志显示dataX说脏数据过多了?

dolphinscheduler任务报错,日志显示dataX说脏数据过多了?

时间:2024-03-27 14:24:34浏览次数:18  
标签:Engine core java dolphinscheduler alibaba 说脏 报错 datax com

	经DataX智能分析,该任务最可能的错误原因是:
	com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致,请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .].  - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[5]条.
		at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
		at com.alibaba.datax.core.util.ErrorRecordChecker.checkRecordLimit(ErrorRecordChecker.java:58)
		at com.alibaba.datax.core.job.scheduler.AbstractScheduler.schedule(AbstractScheduler.java:89)
		at com.alibaba.datax.core.job.JobContainer.schedule(JobContainer.java:535)
		at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:119)
		at com.alibaba.datax.core.Engine.start(Engine.java:92)
		at com.alibaba.datax.core.Engine.entry(Engine.java:171)
		at com.alibaba.datax.core.Engine.main(Engine.java:204)

 

 

标签:Engine,core,java,dolphinscheduler,alibaba,说脏,报错,datax,com
From: https://www.cnblogs.com/y-c-m520/p/18099057

相关文章

  • .net6 core web项目发布部署到IIS,以Windows服务的形式部署启动,报错1053,报1067错误解
    安装NuGet包Microsoft.Extensions.Hosting.WindowsServices  varbuilder=WebApplication.CreateBuilder(newWebApplicationOptions{ContentRootPath=AppContext.BaseDirectory,Args=args});//Addservicestothecontainer.builder.Services.Add......
  • Mogdb - 安装报错Failed to encrypt the password for databaseError
    Mogdb-安装报错FailedtoencryptthepasswordfordatabaseError本文出处:https://www.modb.pro/db/418363版本MogdbV2.0.1红旗V6故障现象安装过程中出现报错[GAUSS-50322]:FailedtoencryptthepasswordfordatabaseError:/dbdata/app/mogdb/bin/gs_guc:error......
  • Rancher Dashboard 无法访问 引申发现K8S报错Unable to connect to the server: x509:
    访问RancherDashboard,发现无法访问由于笔者的rancher是用docker部署的,查看rancherlog:dockerlogs[container-name]截取一部分报错如下:..2024-03-2406:52:27.085313I|embed:readytoserveclientrequests2024-03-2406:52:27.085567I|etcdserver:published{N......
  • (离线RAG、chatGLM3-6B)安装了fastchat:0.2.36,仍报错ModuleNotFoundError: No module nam
           在离线知识库服务(Langchain-Chatchat)本地搭建时,虽然在虚拟环境中安装了fastchat:0.2.36,但在运行时,仍报错ModuleNotFoundError:Nomodulenamed'fastchat.protocol'。              经过在网上查询,发现部署成功的案例采用的0.2.34版本的fast......
  • Selenium报错ElementNotInteractableException元素不可交互,该如何解决?
    简介在使用Selenium进行Web自动化测试时,我们可能会遇到各种异常情况。其中之一就是ElementNotInteractableException异常,这通常意味着在尝试与页面元素交互时出现了问题。本文将详细介绍这个异常的原因、可能的解决方法,并提供示例代码来帮助你更好地理解和处理这种情况。......
  • java用es报错ElasticsearchStatusException[Elasticsearch exception [type=x_content
    java报错ElasticsearchStatusException[Elasticsearchexception[type=x_content_parse_exception,reason=[1:55][bool]failedtoparsefield[must]]];nested:ElasticsearchException[Elasticsearchexception[type=parsing_exception,reason=[match]unknowntoke......
  • 报错“由于目标机器积极拒绝,无法连接”怎么解决?
    原文链接:https://www.php.cn/faq/192504.html在我们有时连接sqlserver数据库时,通过本地端的数据库去连接别的机器的数据库,或者是服务器上的数据库,一般会出现“由于目标计算机积极拒绝,无法连接”的字样,那到底是什么原因呢?怎么解决?1、如果出现这样的情况,首先我们要排查对方的机器i......
  • 安装图形化界面时候报错 Transaction check error: file /boot/efi/EFI/centos from
    报错Transactioncheckerror:file/boot/efi/EFI/centosfrominstalloffwupdate-efi-12-5.el7.centos.x86_64conflictswithfilefrompackagegrub2-common-1:2.02-0.65.el7.centos.2.noarch如果在安装过程出现类似这种错误:Transactioncheckerror:file/boot/efi/EFI......
  • 【干货】Apache DolphinScheduler2.0升级3.0版本方案
    升级背景因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1和3.1.1两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1版本原因:1.3.1.1在测试sql任务时,同时启动上百sql任务时,会出......
  • Dbeaver启动报错
       报错提示信息是“发生了错误,请参阅日志文件”。根据提示信息找到相关的日志文件,提示信息如下:      根据提示信息知道了出现问题的原因是上一次回话中有未保存的更改信息;需要刷新工作区进行恢复。并提示进入org.eclipse.core.resources出现的错误。既然问题的......