首页 > 数据库 >kettle从入门到精通 第七十八课 ETL之kettle kettle将文件写入数据库BLOB字段

kettle从入门到精通 第七十八课 ETL之kettle kettle将文件写入数据库BLOB字段

时间:2024-07-20 18:29:54浏览次数:16  
标签:文件 数据库 kettle 字段 BLOB 所示 ETL 加载

前些日子一个小伙伴私聊我咨询如何将数据库中的BLOB字段读取为文件。帮他顺利读取文件之后我在想kettle肯定支持将文件写入数据库BLOB字段。今天先来一起学习下

如何将文件以二进制流的方式写进数据库。

 1、创建数据表,脚本如下:
CREATE TABLE `file` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `file_name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL,
  `file_content`  LONGBLOB,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci

 2、拖动步骤【文件内容加载到内存】、表输出两个步骤至画布,如下图所示:

3、 步骤【文件内容加载到内存】设置加载指定文件,这里采用静态指定的方式加载一个zip压缩包文件(当然也可以通过动态文件名指定动态加载文件),如下图所示:

 字段设置这里,点击获取字段会有File content和File size 两个字段。注意,File content的字段类型要选择Binary。如下图所示:

 设置扩展字段,扩展字段这里是获取文件的一些其他属性,我这里只设置了file_name来进行获取文件名称,如下图所示:

 4、表输出,表输出这里没啥特殊配置,指定数据源、表、字段映射关系即可,如下图所示:

 5、保存转换,点击运行按钮,文件二进制已经写入数据库,如下图所示:

 

 

 

标签:文件,数据库,kettle,字段,BLOB,所示,ETL,加载
From: https://www.cnblogs.com/zjBoy/p/18312415

相关文章

  • ETL数据集成丨通过ETLCloud工具,将Oracle数据实时同步至Doris中
    ETLCloud是一个全面的数据集成平台,专注于解决大数据量和高合规要求环境下的数据集成需求。采用先进的技术架构,如微服务和全Web可视化的集成设计,为用户提供了一站式的数据处理解决方案。主要特点和功能包括:实时数据处理:强调实时数据集成能力,这对于需要即时数据分析和决策支持的......
  • BLOB类型二进制数据转换成Bitmap类型数据,并显示成缩略图,类似手机相册的封面
    classDemoDuilib:publicWindowImplBase,publicCButtonUI{public:DemoDuilib();~DemoDuilib();voidtest();staticstd::vector<uint8_t>thumbData;//存储BLOB类型二进制数据private:voidPaintStatusImage(HDChDC)override;//保持纵横比并......
  • kettle从入门到精通 第七十七课 ETL之kettle kettle执行存储过程,接收数据集
    场景:kettle调用存储过程,存储过程中通过select*fromtable方式返回结果集,kettle接收结果集。 解决方案:1)借助临时表。2)表输入步骤。今天主要讲解表输入。1、创建一个无参存储过程,脚本中通过select*fromt1返回数据集。脚本如下:usetest;dropprocedureifexistssp_wi......
  • Javascript: Blob, File/FileReader, ArrayBuffer, ReadableStream, Response 转换方
    目录先上图各个ObjectArrayBuffer:Blob:File:FileReader:ReadableStream:Response用法举例ArrayBufferBlob,File,FileReaderReadableStream关于ReadableStream的一点总结Response构造函数Parametersblob()先上图各个ObjectArrayBuffer:1.ArrayBuffer是JavaScript......
  • 使用ETLCloud实现MySQL数据库与StarRocks数据库同步
    在现代数据架构中,数据同步是保证数据一致性和分析准确性的关键步骤之一。本文将介绍如何利用ETLCloud技术实现MySQL数据库与StarRocks数仓数据库的高效数据同步,以及其在数据管理和分析中的重要性。数据同步的重要性在数据驱动的时代,企业依赖于准确、实时的数据分析来做出战略决......
  • kettle从入门到精通 第七十六课 ETL之kettle kettle连接hive教程
     1、群里有小伙伴询问kettle连接hive的demo,今天抽点时间整理下。其实kettle连接hive和连接mysql数据库也是一样的。1)kettle中的lib目录下放hive驱动jar,这里我使用的是kyuubi-hive-jdbc-shaded-1.9.0.jar。2)设置hive连接参数。3)通过表输入进行读取数据。 2、下载kyuubi-hive......
  • [Pnetlab实战演练]手把手教你配置华为防火墙的Telnet远程访问!
    实验介绍关于本实验网络管理员在维护网络过程中,经常需要登录很多设备,通过Console口登录每台设备比较困难,为方便维护与调试设备,通过在设备上配置远程登录功能,使远程管理员能够通过Telnet方式远程登录到设备上进行管理。实验目的通过本实验,掌握配置设备Telnet远程登录功......
  • BlobTool
    BlobTool------内容引用自Cognex帮助文档你可以使用Blob工具来检查图像中的一个区域,并定位由灰度值范围有限且形状通常不可预测的像素组成的特征。检测和分析这些特征(或称为blob)的过程称为blob分析。通过blob分析,你可以获取关于图像中特定特征的存在、数量、位置、形状......
  • kettle从入门到精通 第七十五课 ETL之kettle血缘,数据血缘
    在了解kettle血缘之前,咱们先来了解下什么是数据血缘?1、数据血缘定义(来自gpt)数据血缘(DataLineage)是指在数据管理和数据分析中追踪数据的源头、流向和处理过程的能力。具体来说,数据血缘描述了数据如何被创建、变换和移动,以及这些过程中数据的路径和影响。它有助于理解数据的可靠......
  • maven拉取pentaho-kettle依赖
    问题pentaho-kettle不在maven中央仓库里,且官方不再维护,所以中央库和阿里镜像库都拉取不到。解决办法添加资源库配置<repositories><repository><id>pentaho-kettle</id><name>pentaho-kettle仓库</name><url>https://repo.orl.eng.hitachi......