首页 > 其他分享 >自动生成模拟数据发至kafka topic

自动生成模拟数据发至kafka topic

时间:2022-10-18 16:57:35浏览次数:59  
标签:10 发至 -- broker kafka topic json

自动生成一下json数据脚本

json数据样例

{"provinceCode": "290","companyName": "test","appId": "10","appName": "apptest","eventTime": "2022-10-17 09:52:","errorType": "prm_mpxed","loadTime": 7}

脚本内容

for x in `seq  1 20`
do
sleep 1
/usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list 192.168.10.106:6667 --topic applet-topic <<< "{\"provinceCode\":\"`echo $[$RANDOM%900+100]`\",\"companyName\":\"test\",\"appId\":\"`echo $RANDOM`\",\"appName\":\"apptest\",\"eventTime\":\"`date  '+%Y-%m-%d %H:%M:%S'`\",\"errorType\":\"prm_mpxed\",\"loadTime\":${x}`echo $RANDOM`,\"appVersion\":\"${x}.${x}\",\"trmnlStyle\":\"`echo $[RANDOM%2]`\"}"
done 


for x in `seq  1 20`
do
sleep 1
/usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list 192.168.10.106:6667 --topic applet-topic <<< "{\"provinceCode\":\"`echo $[$RANDOM%900+100]`\",\"companyName\":\"test\",\"appId\":\"`echo $RANDOM`\",\"appName\":\"apptest\",\"eventTime\":\"`date  '+%Y-%m-%d %H:%M:%S'`\",\"errorType\":\"prm_mpxjserr\",\"loadTime\":${x}`echo $RANDOM`,\"appVersion\":\"${x}.${x}\",\"trmnlStyle\":\"`echo $[RANDOM%2]`\"}"
done



for x in `seq  1 20`
do
sleep 1
/usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list 192.168.10.106:6667 --topic applet-topic <<< "{\"provinceCode\":\"`echo $[$RANDOM%900+100]`\",\"companyName\":\"test\",\"appId\":\"`echo $RANDOM`\",\"appName\":\"apptest\",\"eventTime\":\"`date  '+%Y-%m-%d %H:%M:%S'`\",\"errorType\":\"prm_mpxreqreserr\",\"loadTime\":${x}`echo $RANDOM`,\"appVersion\":\"${x}.${x}\",\"trmnlStyle\":\"`echo $[RANDOM%2]`\"}"
done


for x in `seq  1 20`
do
sleep 1
/usr/hdp/current/kafka-broker/bin/kafka-console-producer.sh --broker-list 192.168.10.106:6667 --topic applet-topic <<< "{\"provinceCode\":\"290\",\"companyName\":\"test\",\"appId\":\"123456\",\"appName\":\"apptest\",\"eventTime\":\"`date  '+%Y-%m-%d %H:%M:%S'`\",\"errorType\":\"prm_mpxreqreserr\",\"loadTime\":${x}`echo $RANDOM`,\"appVersion\":\"1.1\",\"trmnlStyle\":\"`echo $[RANDOM%2]`\"}"
done

标签:10,发至,--,broker,kafka,topic,json
From: https://www.cnblogs.com/whiteY/p/16803169.html

相关文章

  • flink sql kafka数据接入clickhouse
    --参数--并行度设置set'parallelism.default'='2';--resetexecution.savepoint.path;--resetexecution.checkpoint.path;--设置队列set'yarn.application.q......
  • 技术分享| 消息队列Kafka群集部署
    一、简介1、介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日......
  • flink sql kafka数据接入mysql
    --定义source表droptableIFEXISTSsource_applet_kafka;CREATETABLEIFNOTEXISTSsource_applet_kafka(provinceCodeString,companyNameString,appIdStri......
  • kafka集群启动脚本
    #!/bin/bashcase$1in#启动“start”)forhostinhadoop101hadoop102hadoop103doecho“***********starthostkafka***********”......
  • 初识Kafka
    Kafka是一个多分区、多副本且基于ZooKeeper协调的分布式消息系统Kafka之所以受到越来越多的青睐,与它所“扮演”的三大角色是分不开的:消息系统:Kafka和传统的消息中......
  • kafka(三)调优
    kafka局部调优kafka常用命令        cd /opt/kafka/kafka/bin/        ##启动ZK        ./zookeeper-server-start.sh -daemon /opt/kafka/......
  • kafka理论
    kafka理论消息队列作用、模式    作用:1.消峰  2.解耦  3.异步通信      模式:1.点对点模式(删除对应的消息,只有一个消费者)      2.发布订阅模式(不......
  • KafkaConsumer实现多线程消费的一种实现思路——不考虑消息的顺序性问题基础
    背景介绍一种Kafka多线程消费的实现思路以及方案,此方案不考虑消息消费的顺序性问题,假定消息之间没有依赖关系。这个项目是公司里面开发有个SDK的所谓”飞行窗口“特性产......
  • Linux 下搭建 Kafka 环境
    Linux下搭建Kafka环境作者:Grey原文地址:博客园:Linux下搭建Kafka环境CSDN:Linux下搭建Kafka环境环境要求操作系统:CentOS7下载地址安装说明Kafka版本:2.11-......
  • kafka 知识点 笔记
    kafka知识点笔记使用kafka消息队列的好处:1)、解耦合不用保证两台客户端同时在线,发送端先发送消息暂时存储,接收端上线后可以自己再获取消息......