首页 > 其他分享 >Kettle实例(获取Token并带入请求接口拉取数据到本地)

Kettle实例(获取Token并带入请求接口拉取数据到本地)

时间:2023-08-21 10:37:01浏览次数:38  
标签:请求 Kettle 接口 拉取 Token 文档 https

背景

       近期工作中遇到许多需要协同的表单文档被放到云文档,那么我们本地做数据分析就需要先抽取云文档实时数据到本地数据库,根据接口文档我们需要先获取Token,再将返回值带到接口中发起请求拉取数据,因为在做数据仓库项目调度用到过Kettle,想到REST client组件可以完成这项需求,下面记录此次数据转换过程。

Kettle简介

        Kettle是一个免费开源的基于java的企业级ETL工具,功能强大简单易用,支持图形化的GUI设计界面,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

下载及安装

源码github 地址是 https://github.com/pentaho/pentaho-kettle。
官方文档:https://help.hitachivantara.com/Documentation/Pentaho/8.2/Whats_New
kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855
国内 Kettle 论坛网:http://www.kettle.org.cn/
官网各个版本下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/
驱动下载地址:https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.29/

环境:JDK1.8和JDK8是同一个版本,推荐使用 JDK1.8 版本,mysql数据库推荐使用5.7版本,该版本比较稳定,兼容性较好

本次转换全流程

  •  生成记录

           需要注意:过程中发现Url及接口请求类型值直接输入无效,而放在生成记录中可以被获取到,暂时未找到原因,所以我将接口请求相关自定义内容放到了生成记录中。

  •  获取Token

  •  Josn输入

           此步骤的目的是将返回值Josn格式化字段中的Token值

  •  正式接口请求

  •  返回JSON字段转换

  •  表输出

          此处我将返回的Json格式化后将数据保存到SQLServer数据库,此时目标表“APItest”还不存在,输入表名后点击SQL,Kettle会自动生成表的创建语句,点击执行SQL则自动创建目标表。

  •  转换完成

 

标签:请求,Kettle,接口,拉取,Token,文档,https
From: https://www.cnblogs.com/sgxw/p/17645117.html

相关文章

  • kettle学习
    安装网络上提供的很第三方下载链接失效了,最后找了半天直接去官网下载了。PentahoCommunityEdition.社区版是免费的。点击DownloadNow进行下载。下面的下载目录很多,结合其他教程,下载其中名为pdi-ce-9.4.0.0-343.zip的下载项,当然版本号可能因为更新略有不同。下载过程可能比较......
  • JSON Web Tokens(JWT)
    JSONWebTokens(JWT)是一种用于身份验证和授权的开放标准。它可以在客户端和服务器之间安全地传输信息,并且非常适合以下场景:身份验证:JWT可以用于验证用户的身份。当用户登录后,服务器可以生成一个JWT并将其返回给客户端。客户端可以在后续的请求中将JWT作为身份验证凭证发送给服务器......
  • token和jwt
    1. 简介  105使用Token存储用户信息,认证用户。 Token是一个访问系统的令牌(字符串)。Token 是在服务端产生的。前端可以使用用户名/密码向服务端请求认证(登录),服务端认证成功,服务端会返回 Token 给前端。前端可以在每次请求的时候带上 Token 证明自己的身份。服务器端在处理......
  • SyntaxError: /xxxx.vue: Unexpected token, expected “,“,[object Promise]export {
    本地老工程vue2.7.x+webpack4在升级webpack5的时候遇启动和打包报错:SyntaxError:SyntaxError:/xxxxx.vueUnexpectedtoken,expected","(1:8)>1|[objectPromise]|^2|export{render,staticRenderFns}最后才发现是prettier导致的。推荐看......
  • 登陆接口实现返回token
    自定义登陆接口,然后让SpringSecurity对这个接口放行,让用户访问这个接口的时候不用登录也能访问。在接口中我们通过AuthenticationManager的authenticate方法来进行用户认证,所以需要在SecurityConfig中配置把AuthenticationManager注入容器。认证成功的话要生成一个jwt,放入响......
  • C#.Net6 WebAPI制作简单自定义Token验证
    一、创建自定义类MyMiddleware继承中间件IMiddleware并实现接口二、在实现接口中的方法编写Token验证逻辑三、在WebAPI的Program类中的builder里注入自定义的类和app里配置自定义中间件builder.Services.AddScoped(typeof(MyMiddleware));app.UseMiddleware(typeof(MyMidd......
  • 基于 JWT + Refresh Token 的用户认证实践(转载)
    HTTP是一个无状态的协议,一次请求结束后,下次在发送服务器就不知道这个请求是谁发来的了(同一个IP不代表同一个用户),在Web应用中,用户的认证和鉴权是非常重要的一环,实践中有多种可用方案,并且各有千秋。 基于Session的会话管理在Web应用发展的初期,大部分采用基于Session......
  • Kettle 连接失败 Oracle 数据库报 ora-12505 的解决方法(转)
      用kettle新建DB连接的时候总是报错,可是用plsql连接是可以连上,错误信息大致如下:错误连接数据库[MIS]:org.pentaho.di.core.exception.KettleDatabaseException:ErroroccuredwhiletryingtoconnecttothedatabaseErrorconnectingtodatabase:(usingclassorac......
  • Kettle中调用用户自定义的jar包
     ETL工具断断续续的也接触了Informatica,Kettle,SSIS,个人感觉Info很强大但是也很贵,而且有着一些神秘感。Kettle4.0版本以来已经有了User  definedjavaclass组件,使用户可以写Java代码让kettle来调用,这就说明了很多kettle不能处理的东西我们可以通过Java代码来实现,步骤如......
  • Sa-Token
    2.SpringBoot集成初体验依赖引入SpringBoot3.x版本引入<!--Sa-Token权限认证,在线文档:https://sa-token.cc--><dependency><groupId>cn.dev33</groupId><artifactId>sa-token-spring-boot3-starter</artifactId><version>1.35.0......