apache flink + Paimon  快速搭建指南

Apache Paimon是一种湖格式，可以使用Flink和Spark构建实时湖屋架构，用于流式和批处理操作。Paimon创新性地将lake格式和LSM（日志结构合并树）结构相结合，将实时流式更新引入lake架构。

Paimon提供以下核心功能：

*实时更新：
*主键表支持写入大规模更新，具有很高的更新性能，通常通过Flink Streaming。
*支持定义合并引擎，以您喜欢的方式更新记录。重复数据删除以保留最后一行、部分更新、聚合记录或第一行，由您决定。
*支持定义变更日志生成器，为合并引擎生成正确完整的变更日志更新，简化您的流式分析。
*海量附加数据处理：
*附加表（无主键）提供大规模批处理和流处理能力。自动小文件合并。
*支持数据压缩和z顺序排序，以优化文件布局，使用minmax等索引提供基于数据跳过的快速查询。
*数据湖功能：
*可扩展元数据：支持存储Petabyte大规模数据集和存储大量分区。
*支持ACID事务、时间旅行和模式演化。

the environment includes:

• minio
• pamion
• flink

Centos 更换 tencent 的yum源

备份系统旧配置文件

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

获取对应版本的CentOS-Base.repo 到/etc/yum.repos.d/目录

各版本源配置列表

CentOS7

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo

CentOS8

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos8_base.repo

更新缓存

yum clean all
yum makecache

Centos 安装Java环境（flink使用）

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz

mkdir /usr/local/java/
tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/java

echo "export JAVA_HOME=/usr/local/java/jdk1.8.0_202" >> /etc/profile
echo "export JRE_HOME=${JAVA_HOME}/jre" >> /etc/profile
echo "export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib" >> /etc/profile
echo "export PATH=${JAVA_HOME}/bin:$PATH" >> /etc/profile

source /etc/profile
ln -s /usr/local/java/jdk1.8.0_202/bin/java /usr/bin/java

java -version

install Minio

使用以下命令下载安装最新版本的稳定 MinIO二进制包， 并设置 $PATH:

wget https://dl.minio.org.cn/server/minio/release/linux-amd64/minio
chmod +x minio
sudo mv minio /usr/local/bin/

设置minio linux服务

sudo tee /etc/systemd/system/minio.service <<-'EOF'
[Unit]
Description=Minio Service

[Service]
Environment="MINIO_ROOT_USER=admin"
Environment="MINIO_ROOT_PASSWORD=password"
ExecStart=/usr/local/bin/minio server /mnt/minio --console-address ":9001"
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
StandardOutput=/mnt/minio/logs/minio.log
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF

启动 minio linux服务

systemctl start minio
systemctl enable minio

手动 创建Buckets warehouse ，设置Access Policy: Public

install flink & paimon

download jdk filnk 1.18.1

wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz

tar zxvf flink-1.18.1-bin-scala_2.12.tgz -C /opt/

download dll ，copy to flink-1.18.1/lib folder

wget https://repo1.maven.org/maven2/org/apache/paimon/paimon-s3/0.8.0/paimon-s3-0.8.0.jar
wget https://repo1.maven.org/maven2/org/apache/paimon/paimon-flink-1.18/0.8.0/paimon-flink-1.18-0.8.0.jar
wget https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc/3.1.2-1.18/flink-connector-jdbc-3.1.2-1.18.jar
wget https://repo1.maven.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.8.3-10.0/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
wget https://repo1.maven.org/maven2/org/apache/flink/flink-s3-fs-hadoop/1.18.0/flink-s3-fs-hadoop-1.18.0.jar

cp ./*.jar /opt/flink-1.18.1/lib/

start flink

cd /opt/flink-1.18.1/

bash ./bin/start-cluster.sh

flink 创建pamion表

bash flink 客户端：

cd /opt/flink-1.18.1/

./bin/sql-client.sh embedded

创建 Iceberg Catalog 和表

```sql
-- if you're trying out Paimon in a distributed environment,
-- the warehouse path should be set to a shared file system, S3 minio
CREATE CATALOG my_catalog WITH (
    'type' = 'paimon',
    'warehouse' = 's3://warehouse/wh',
    's3.endpoint'='http://192.168.116.130:9000',
    's3.access-key' = 'admin',
    's3.secret-key' = 'password',
    's3.region' = 'us-east-1'
);

USE CATALOG my_catalog;

-- create a word count table
CREATE TABLE word_count (
    word STRING PRIMARY KEY NOT ENFORCED,
    cnt BIGINT
);

创建完表，可以登录 minio:9001地址进行查看数据文件；
插入数据

USE CATALOG my_catalog;
-- insert data into word count table
insert into word_count values ('hello',2);

后面, 根据你的业务创建 flink job任务，进行数据写入；