首页 > 其他分享 >keetle web api

keetle web api

时间:2023-01-13 10:12:44浏览次数:44  
标签:keetle web String kettle stepMeta api transMeta new insertUpdateMeta

由于实现程序实现kettle的自动化作业

  • kettle =9.3
  • java = 1.8.0_202

java 代码 总体思路

  • 可以使用 ktr / kjb 的文件
  • 使用springboot 解析调用 kettle

代码核模块

  • kettle-core:kettle的核心模块,包括一些数据处理等。
  • kettle-dbdialog:kettle数据库连接界面逻辑。
  • kettle-engine:kettle的引擎,负责执行kettle的具体作业和转换的逻辑,并会调用core模块。
  • kettle-ui-swt:用户界面模块,包括用户界面显示的xul文件,通过后端代码编写的Dialog以及国际化等。
  • pdi-assemblies:该模块用于项目的生成,里面主要包括各个工具启动的脚本、静态资源、帮助文档、组件简单的事例(ktr/kjb)、第三方包引用等。
  • pdi-engine-ext:kettle引擎扩展模块。
  • pdi-plugins:kettle的核心插件模块,如果我们要自定义组件,可以参考该模块的组件。
  • integrantion:集成测试模块。

数据定义

  • ${user.home}/./kettle/repositories.xml
    * 用户设置的所有资源库信息连接参数等
    * spoon 启动后出现的选择资源库下拉列表中
  • ${user.home}/./kettle/kettle.properties
    * 转换或作业中需要的变量,
    * spoon 启动后会自动加载该文件
  • ${user.home}/./kettle/shared.xml
    * 保存了共享对象,共享对象可以是。对象共享实质上就是将对象序列化的过程
    * 类型: Database 、connectionsSteps、 SlaveserversPartition schemas、Cluster schemas
    * spoon 启动时,会加载 shared.xml 文件中定义的所有对象
库文件配置信息
  • lib\kettle-engine.jar\kettle-jobs.xml
    • Spoon 启动时需要加载的作业项
  • lib\kettle-engine.jar\kettle-partition-plugins.xml
    • Spoon 启动时需要加载的分区插件
  • lib\kettle-engine.jar\kettle-plugins.xml
    * Spoon 启动时步骤和作业项插件的加载路径
  • lib\kettle-engine.jar\kettle-steps.xml
    • Spoon 启动时需要加载的转换步骤
连接资源库
点击查看代码
 public static KettleDatabaseRepository repositoryConnect() throws KettleException {
        if (!KettleEnvironment.isInitialized()) {
            try {
                KettleEnvironment.init();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

        // 数据库元连接
        // 参数介绍
        // kettle资源库名称,数据库类型,连接类型,ip,数据库名称,端口,用户名,密码
        DatabaseMeta databaseMeta = new DatabaseMeta("test-data","MYSQL","Native","localhost",
                "test","3306","root","toor@1234");

        //数据库形式的资源库元对象
        KettleDatabaseRepositoryMeta repository = new KettleDatabaseRepositoryMeta();

        //保存数据库连接至元对象种
        repository.setConnection(databaseMeta);

        //数据库形式的资源库对象
        KettleDatabaseRepository databaseRepository = new KettleDatabaseRepository();

        //用资源库元对象初始化资源库对象
        databaseRepository.init(repository);

        //连接到资源库 默认为 root root
        databaseRepository.connect("admin", "admin");

        //判断状态为false | true
        if (databaseRepository.isConnected()) {
            System.out.println("连接成功,数据库名称为:" + databaseRepository.getDatabaseMeta());
            return databaseRepository;
        } else {
            System.out.println("连接失败,数据库名称为:" + databaseRepository.getDatabaseMeta());
            return null;
        }
    }

设置转换信息

点击查看代码
public TransMeta buildTransMeta(String metaName, String... transXML) throws KettleXMLException {
        TransMeta transMeta = new TransMeta();
        // 设置转化元的名称
        transMeta.setName(metaName);
        // 添加转换的数据库连接
        transMeta.addDatabase(getDatabaseMeta());
        return transMeta;
    }
##### 设置输入单元
点击查看代码
public StepMeta setTableInputStep(TransMeta transMeta, PluginRegistry registry, String sourceDbName, String sql, String stepName) {
        // 创建表输入
        TableInputMeta tableInputMeta = new TableInputMeta();
        String pluginId = registry.getPluginId(StepPluginType.class, tableInputMeta);
        // 指定数据源数据库配置名
        DatabaseMeta source = transMeta.findDatabase(sourceDbName);
        tableInputMeta.setDatabaseMeta(source);
        tableInputMeta.setSQL(sql);
        // 将表输入添加到转换中
        StepMeta stepMeta = new StepMeta(pluginId, stepName, tableInputMeta);
        // 给步骤添加在spoon工具中的显示位置
        stepMeta.setDraw(true);
        stepMeta.setLocation(100, 100);
        // 将表输入添加到步骤中
        transMeta.addStep(stepMeta);
        return stepMeta;
    }
#### 设置插入/更新单元
点击查看代码
public StepMeta setTableOutput(TransMeta transMeta, PluginRegistry registry, String targetDbName, String targetTableName, String stepName) {
        // 创建表输出
        TableOutputMeta tableOutputMeta = new TableOutputMeta();
        String pluginId = registry.getPluginId(StepPluginType.class, tableOutputMeta);
        // 配置表输出的目标数据库配置名

        DatabaseMeta targetDb = transMeta.findDatabase(targetDbName);
        tableOutputMeta.setDatabaseMeta(targetDb);
        tableOutputMeta.setTableName(targetTableName);
        // 将表输出添加到转换中
        StepMeta stepMeta = new StepMeta(pluginId, stepName, tableOutputMeta);
        transMeta.addStep(stepMeta);
        return stepMeta;
    }

关联单元

点击查看代码
public StepMeta setInsertUpdateMeta(TransMeta transMeta, PluginRegistry registry, String targetDbName, String targetTableName, String[] updatelookup, String[] updateStream, String[] updateStream2, String[] conditions, Boolean[] updateOrNot, String stepName) {
        // 创建插入与更新
        InsertUpdateMeta insertUpdateMeta = new InsertUpdateMeta();
        String pluginId = registry.getPluginId(StepPluginType.class, insertUpdateMeta);
        // 配置目标数据库配置名
        DatabaseMeta database_target = transMeta.findDatabase(targetDbName);
        insertUpdateMeta.setDatabaseMeta(database_target);
        // 设置目标表名
        insertUpdateMeta.setTableName(targetTableName);
        // 设置用来查询的关键字
        insertUpdateMeta.setKeyLookup(updatelookup);
        insertUpdateMeta.setKeyStream(updateStream);
        insertUpdateMeta.setKeyStream2(updateStream2);// 这一步不能省略
        insertUpdateMeta.setKeyCondition(conditions);
        // 设置要更新的字段
        insertUpdateMeta.setUpdateLookup(updatelookup);
        insertUpdateMeta.setUpdateStream(updateStream);
        insertUpdateMeta.setUpdate(updateOrNot);
        // 添加步骤到转换中
        StepMeta stepMeta = new StepMeta(pluginId, stepName, insertUpdateMeta);
        stepMeta.setDraw(true);
        stepMeta.setLocation(250, 100);
        transMeta.addStep(stepMeta);
        return stepMeta;
    }

#### 关联
点击查看代码
public void addTransHop(TransMeta transMeta, StepMeta from, StepMeta to) {
        transMeta.addTransHop(new TransHopMeta(from, to));
    }
执行转换
点击查看代码
 public void executeTrans(TransMeta transMeta, String targetDbName) {
        try {
            KettleDatabaseRepository repository = RepositoryCon();
            transMeta.setRepository(repository);
            Trans trans = new Trans(transMeta);
            trans.execute(new String[]{"start..."});
            trans.waitUntilFinished();
            // 关闭数据库连接
            if (trans.getErrors() > 0) {
                throw new RuntimeException("There were errors during transformation execution.");
            }
        } catch (KettleException e) {
            e.printStackTrace();
        }
    }

标签:keetle,web,String,kettle,stepMeta,api,transMeta,new,insertUpdateMeta
From: https://www.cnblogs.com/guanchaoguo/p/17044424.html

相关文章