首页 > 其他分享 >Iceberg从入门到精通系列之五:Zeppelin集成iceberg,创建iceberg普通表和分区表,并插入数据

Iceberg从入门到精通系列之五:Zeppelin集成iceberg,创建iceberg普通表和分区表,并插入数据

时间:2023-09-11 10:03:56浏览次数:32  
标签:iceberg 创建 插入 分区表 Zeppelin 数据



Iceberg从入门到精通系列之五:Zeppelin集成iceberg,创建iceberg普通表和分区表,并插入数据

  • 一、Zeppelin集成iceberg
  • 二、查看catalog
  • 三、使用数据库
  • 四、查看表
  • 五、创建表
  • 六、插入数据
  • 七、查询数据
  • 八、创建分区表
  • 九、分区表插入数据
  • 十、查询分区表数据


一、Zeppelin集成iceberg

  • Zeppelin支持Flink SQL
  • Flink SQL支持iceberg
  • Zeppelin集成Flink SQL后,就可以在Zeppelin上创建iceberg表了

下面演示下Zeppelin集成iceberg后,创建表,插入数据的方便性。

二、查看catalog

show catalogs;

default_catalog
hive
iceberg

三、使用数据库

use debeziumtest;

四、查看表

show tables;
productinfo

五、创建表

CREATE TABLE `productInfo` (
  `id` int,
  `productId` string,
  `name` string,
  `description` string,
  `weight` float
)

六、插入数据

insert into iceberg.ods_stg.productInfo values(2,'1206827245738502144','scooter','Small 2-wheel scooter',3.14);

七、查询数据

select * from productInfo

2   1206827245738502144   scooter    Small 2-wheel scooter   3.140000104904175

八、创建分区表

CREATE TABLE `stu` (id int,name string, age int)
PARTITIONED BY (age)

九、分区表插入数据

insert into stu values(3,'杀sheng',16),(4,'鸣人',19)

十、查询分区表数据

select * from stu
4     鸣人      19


标签:iceberg,创建,插入,分区表,Zeppelin,数据
From: https://blog.51cto.com/u_12080573/7432199

相关文章

  • Iceberg从入门到精通系列之六:Flink集成Iceberg
    Iceberg从入门到精通系列之六:Flink集成Iceberg一、下载Flink二、解压Flink安装包三、配置环境变量四、激活环境变量五、下载Icebergflinkjar包六、部署Icebergflinkjar包七、修改flink配置八、启动flink九、启动flinksqlclient一、下载Flink下载Flink:https://www.apache.o......
  • Iceberg从入门到精通系列之四:详细整理出Iceberg支持的字段类型,创建包含所有类型的表,并
    Iceberg从入门到精通系列之四:详细整理出Iceberg支持的字段类型,创建包含所有类型的表,并插入数据一、Iceberg表支持的字段类型二、创建包含所有类型的表三、插入数据一、Iceberg表支持的字段类型BOOLEANTINYINTSMALLINTINTEGERBIGINTFLOATDOUBLEDECIMALDATETIMESTAMPSTRINGUUIDFIXE......
  • Zeppelin导入额外jar包方法
    Zeppelin导入额外jar包方法方法一:为特定用户导入特定jar包方法二:永久导入jar包方法三:临时导入jar包方法一:为特定用户导入特定jar包方法参考这篇博客:zeppelin为特定用户添加额外jar包方法二:永久导入jar包在zeppelin启动的环境变量中永远导入jar包exportSPARK_SUBMIT_OPTIONS="--j......
  • Zeppelin起Spark任务报错:RECEIVED SIGNAL TERM
    Zeppelin起Spark任务报错:RECEIVEDSIGNALTERM解决方法如下所示:调大spark任务资源exportSPARK_SUBMIT_OPTIONS="--driver-memory4G--executor-memory4G--driver-cores2--executor-cores2--num-executors20--confspark.sql.shuffle.partitions=1000--confspark.......
  • zeppelin设置spark的启动参数
    zeppelin设置spark的启动参数vimzeppelin-env.shexportSPARK_SUBMIT_OPTIONS="--driver-memory4G--executor-memory4G--driver-cores2--executor-cores2--num-executors10--confspark.sql.shuffle.partitions=1000--confspark.default.parallelism=300......
  • 将MySQL分区表转换成普通表
    将MySQL分区表转换成普通表MySQL支持分区表,这种表可以将数据分散到多个存储区中。但是,有时候我们可能需要把分区表转换成普通表,本文将介绍如何完成这个操作。备份数据在进行任何表修改操作前,都需要先进行数据备份。在备份数据之前,需要关闭所有对该表的写入操作。取消分区要将分区表......
  • Oracle 分区表自动管理(待整理)
    原文-https://github.com/aws-samples/automate-table-partitioning-in-oracle-standard-edition/tree/main/partitions/scripts需要调整的地方有:1.droptable未释放垃圾空间2.未提及到收缩HWM释放空间partitions/scripts/partition_mgmt_tables.sql---partitions/sc......
  • oracle10g分区表(一)
    一、创建分区表createtablelj_test_part(birthdatedate,agenumber(18,2))PARTITIONBYlist(birthdate)(partitionpart_t01values(to_date('2018-01-01','yyyy-mm-dd')),partitionpart_t02values(to_date('2018-01-02',&......
  • openGauss学习笔记-39 openGauss 高级数据管理-分区表
    openGauss学习笔记-39openGauss高级数据管理-分区表一张表内的数据过多时,就会严重影响到数据的查询和操作效率。openGauss支持把一张表从逻辑上分成多个小的分片,从而避免一次处理大量数据,提高处理效率。openGauss数据库支持这些划分类型:范围分区表:指定一个或多个列划分为多个......
  • Found a misplaced row,分区表修复MYSQL
    在MySQL中,分区表的数据被分隔到不同的表空间中,但仍被视为单个表。在处理大量数据集的某些情况下,分区可能是一种有用的方法。在分区表中删除庞大的数据集可以加快速度,但是如果处理不当,它可能会把数据放在表的不对应的位置中。测试环境:mysql8.0.30建表master[localhost:22031]{msa......