首页 > 其他分享 >kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传

kettle从入门到精通 第八十七课 ETL之kettle kettle文件上传

时间:2024-09-23 22:12:19浏览次数:7  
标签:body 文件 第八十七 kettle 如下 所示 上传 ETL

1、kettle本身文件上传功能不是很友好,甚至是不能直接使用,需要调整文件上传接口才可以正常接收到文件,本次讲解内容主要是通过自定义插件解决这个问题。

2、通过springboot 编写简单demo,模拟文件上传,接口支持三个参数unitCode、password、和文件dataFile。

 java代码如下:

    @PostMapping("/upload")
    public ResponseVo<String> upload(
            @RequestParam("unitCode") String unitCode,
            @RequestParam("password") String password,
            @RequestParam("dataFile") MultipartFile file) {

        // 验证基本信息
            return ResponseVo.success("服务端成功接收到文件");
        }

 3、通过网页形式进行上传文件,如下图所示

 点击上传之后成功截图如下:

 index.html源文件

<html>
<body>
<form name="form1" action="http://127.0.0.1:8081/bond/file/upload" method="post" enctype="multipart/form-data">  
    <table>
        <tr>
              <td>XXX编码: </td>
            <td><INPUT TYPE="text" NAME="unitCode" value="666888"></td>
        </tr>
         <tr>
              <td>密码: </td>
            <td><INPUT TYPE="text" NAME="password" value="000000"></td>
        </tr>
        <tr>
            <td>文件: </td>
            <td><input type="file" name="dataFile">  </td>
          </tr> 
        <tr>
            <td>&nbsp;</td>
            <td><input type="submit" name="Submit" value="上传"></td>
      </tr>
    </table>
</form>
</body>
</html>

4、通过kettle自定义插件实现文件上传,流程编排如下:

 5、生成记录步骤模拟数据,驱动流程,如下图所示:

body:对应form表单中的参数。

file:对应form表单中的文件。

 6、文件上传参数配置,如下图所示:

{{body}}:表示从前面【生成记录】步骤获取参数body,同时也支持采用变量的方式,如${BODY}

method:设置为postForm。

isUploadFile:true,表示需要上传文件,false 为否。

files:表示需要上传的文件,通过{{file}}从前面【生成记录步骤进行获取】

resultField:表示此插件调用接口之后将结果放到result字段里面。

 7、通过写日志步骤输出body、file、result 三个字段,如下图所示:

 8、保存&运行,文件可以正常上传,如下图所示:

9、将服务端服务手动停掉,重新运行提示如下错误,如下图所示:

 

 

标签:body,文件,第八十七,kettle,如下,所示,上传,ETL
From: https://www.cnblogs.com/zjBoy/p/18426931

相关文章

  • kettle从入门到精通 第八十六课 ETL之kettle kettle调用https接口忽略SSL校验
     1、在使用kettle调用接口的时候不可避免要调用http或者https接口,调用http接口kettle可以正常工作,但是遇到https接口的时候kettle就会提示证书有误,无法正常调用接口,今天咱们一起通过自研插件的方式来解决这个问题。自研插件需要有一定的java基础,git上有比较多的例子,本次不讲解如......
  • 使用Kettle对Excel进行数据处理
        下载:示例用Excel文件(密码:awov)示例用工程文件    ps:每一个都可以预览哦。......
  • Kettle的实战练习指南:从数据导入到ETL自动化
            在数据集成和数据仓库建设中,Kettle作为一个强大的开源ETL工具,提供了灵活的数据抽取、转换和加载功能。本文将通过实战案例,详细介绍Kettle在数据导入、ETL流程设计、自动化任务调度等方面的应用。一、数据导入1.SQL语句导入导入sql语句,支持拖拽加入你......
  • ETLCloud:新一代ETL数据抽取工具的定义与革新
    数据集成、数据治理已经成为推动企业数字化转型的核心动力,现在的企业比任何时候都需要一个更为强大的新一代数据集成工具来处理、整合并转化多种数据源。而ETL(数据提取、转换、加载)作为数据管理的关键步骤,已在企业数据架构中扮演重要角色。然而,随着数据量的爆炸性增长、数据复杂......
  • 试用完几十款ETL工具后的经验总结,ETL工具用这三款就足够了
    1.ETL选型前言市面上ETL工具国内外加起来估计得有30种之多,其中近20款工具都花时间试用过,现在把试用后总结出来的经验分享一下,目前很多企业在选择ETL工具时不知道怎么选择适合自己的工具也不可能一款一款的去试用,试用成本非常高,而且不同企业数据量,对数据质量的要求,技术开发人员的......
  • Kettle的安装与基本使用
    什么是Kettle?        Kettle最早是一个开源的ETL(Extract-Transform-Load的缩写)工具,全称为KDEExtraction,Transportation,TransformationandLoadingEnvironment。是一个功能丰富的ETL工具,它允许用户轻松地进行数据抽取、转换和加载。后来Kettle重命名为PentahoD......
  • 六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移
            在数据集成和数据仓库建设中,ETL(Extract,Transform,Load)工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较,并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1.DataPipeline设计及架构:专为超大数据量、高度复杂的数据链路设计的灵活、可扩......
  • kettle从入门到精通 第八十五课 ETL之kettle kettle中javascript步骤调用外部javascri
     场景:交流学习群里面有小伙伴咨询kettle中的javascript代码步骤如何调用外部js文件中的函数,觉得有点意思的,于是就抽时间整理了一下。 1、外部js文件为test.js,代码如下:functiontest(param){return"接收到了参数"+param;}2、当时没有过多考虑,在本地简单写了个demo测......
  • ETL数据集成丨建设BI的关键前提是ETL数据集成?
    背景很多企业都购买了商业智能(BI)来加速数字化转型,但是发现仅仅依赖BI效果往往不太好。虽然通过BI,企业能够快速分析和可视化数据,然而,BI并不是一个万能工具,它虽然能帮助企业解读数据,但其有效性高度依赖于数据的质量和一致性,很多企业直接用BI连接生产系统的数据进行分析,极大影响了生产......
  • ETL数据集成丨建设BI的关键前提是ETL数据集成?
    背景很多企业都购买了商业智能(BI)来加速数字化转型,但是发现仅仅依赖BI效果往往不太好。虽然通过BI,企业能够快速分析和可视化数据,然而,BI并不是一个万能工具,它虽然能帮助企业解读数据,但其有效性高度依赖于数据的质量和一致性,很多企业直接用BI连接生产系统的数据进行分析,极大影响了生......