6.kettle对整个数据库迁移

标签：dbmeta db 数据库 kettle tablename job sql 迁移 null

需求：  将mysql数据库中的所有表与数据迁移到Oracle。     技术引导：  实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\process all tables）。  通过相关改造，终于达到目标。    实现过程解剖：  整套流程分为：2个job，4个trans。  使用到的Trans插件：表输入、字段选择、复制记录到结果、从结果获取记录、设置变量、自定义java脚本、表输出。  1.大job。 

 

 

    2.要迁移的源库表名称获取，并设置到结果集，为下面的job使用。 

 

 

  注意： 针对MySql，以上“表输入”的SQL语句为 show tables，但是该语句查询出的结果包含视图（View），因此后续步骤向该语句查询出的表中插入数据时会报错。 如果所要迁移的库中存在视图，可以使用以下语句来查询所有需要迁移的表： select TABLE_NAME   from information_schema. TABLES  where TABLE_SCHEMA = '数据库名'    and TABLE_TYPE = 'BASE TABLE'   3.配置子job为前面的每一条记录（即每个表）执行一次该子job 

 

 

    4.下面是子job。 

 

 

    5.获取记录中的表名称，并设置为到变量。 

 

 

    6.读取当前表的结果信息，并在目标库中创建表（ 这个是难点）。 

 

 

  因为只需要获取抓取要抽取表的结构信息，故在sql后面加上 where 1=2。 

 

 

  下面代码是创建目标库表。

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
    // First, get a row from the default input hop
//
Object[] r = getRow();

org.pentaho.di.core.database.DatabaseMeta dbmeta = null;

java.util.List list = getTrans().getRepository().readDatabases();//3.x中获取资源库的所有数据库连接信息用getDatabases();

if(list != null && !list.isEmpty())
{
for(int i=0;i<list.size();i++)
{
dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);
                        //下面是目标库的数据库连接，大家可根据需要修改
if("mysql_test".equalsIgnoreCase(dbmeta.getName()))
{
break;
}
}
}

if(dbmeta!=null)
{
org.pentaho.di.core.database.Database db=new org.pentaho.di.core.database.Database(dbmeta);

try
{
db.connect();

String tablename = getVariable("TABLENAME");

logBasic("开始创建表：" + tablename);

if(tablename!=null && tablename.trim().length()>0)
{
String sql = db.getDDL(tablename, data.inputRowMeta);//${TABLENAME}

db.execStatement(sql.replace(";", ""));

logBasic(sql);
}
}
catch(Exception e)
{
logError("创建表出现异常",e);

}finally{
db.disconnect();
}
}
return false;
}

    7.表数据迁移。 

 

 

 

 

 

    8.发现源表若存在有blob的表，会有问题，可能是由于表输出没有指定字段的原因，待解决。    5.x运行到创建表结构步骤报错，原因data.inputRowMeta为空，因为在第6步  在sql后面加上 where 1=2，导致表输入步骤没有抽取到记录，5.x里结构也变成了null。  解决：  把where 1=2去掉，然后，在表输入的限制行设置为1，即可

标签：dbmeta,db,数据库,kettle,tablename,job,sql,迁移,null
From： https://www.cnblogs.com/zhangdapangzo/p/17211725.html