首页 > 其他分享 >kafka中文输出乱码

kafka中文输出乱码

时间:2024-04-18 09:23:41浏览次数:18  
标签:编码 中文 kafka 乱码 设置 props put

目录


    乱码问题通常是由于编码不一致导致的。Kafka在处理消息时,如果生产者和消费者的字符编码设置不一致,可能会导致乱码。

    解决方法:

    确认Kafka生产者和消费者的字符编码设置一致。

    对于Java生产者和消费者,可以在配置中设置字符编码:

    props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
    props.put("serializer.encoding", "UTF-8"); // 设置编码格式
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("deserializer.encoding", "UTF-8"); // 设置编码格式
    

    如果使用的是命令行工具,确保控制台的字符编码与Kafka消息编码一致。

    在Windows系统中,可以通过修改控制台默认编码为UTF-8来解决:

    chcp 65001
    

    在Linux系统中,可以通过设置环境变量来调整字符编码:

    export LANG=en_US.UTF-8
    

    如果是通过日志查看器查看消息导致乱码,确保日志查看器支持的编码与Kafka消息编码一致。

    总结,乱码问题的解决需要确保生产者和消费者在处理字符串时使用相同的编码设置,并且确保中间传输环节(如控制台、日志系统)支持该编码。如果是Windows系统,可能需要更改控制台的代码页设置。

    标签:编码,中文,kafka,乱码,设置,props,put
    From: https://www.cnblogs.com/yubo-guan/p/18142791

    相关文章

    • Ubuntu 安装谷歌中文输入法
      Ubuntu安装谷歌中文输入法下载谷歌拼音:sudoapt-getinstallfcitx-googlepinyin点击设置:第一次打开需要点击安装:设置完成后重启系统点击右上角键盘,点击configure ......
    • 用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本
      在实际项目中,从Kafka到HDFS的数据是每天自动生成一个文件,按日期区分。而且Kafka在不断生产数据,因此看看kettle是不是需要时刻运行?能不能按照每日自动生成数据文件?为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况,特地提前跑一下海豚定时调度这个任务,看看到底什么......
    • golang+kafka
      目录1.安装JDK、Zookeeper、Scala、kafka2.启动kafka3.创建topics4.查看topics5.打开一个producer6.打开一个consumer7.测试发送和接收消息Windows下安装Kafka1.安装JDK、Zookeeper、Scala、kafka安装Kafka之前,需要安装JDK、Zookeeper、Scala。Kafka依赖Zookeeper,......
    • 在Go语言中往Kafka中发送数据,通常会使用Sarama库
      目录Sarama简介基本步骤示例代码Sarama简介Sarama是一个用Go语言编写的ApacheKafka客户端库,由Shopify公司最初开发,并在后来被IBM接管维护。Sarama库提供了一套完整的Kafka功能支持,包括生产者(Producer)、消费者(Consumer)以及消费者组(ConsumerGroup)等组件,允许开发者在Go应用程序......
    • Learning-Scrapy-中文版(一)
      LearningScrapy中文版(一)零、序言序言第1章Scrapy介绍第2章理解HTML和XPath第3章爬虫基础第4章从Scrapy到移动应用第5章快速构建爬虫第6章Scrapinghub部署第7章配置和管理第8章Scrapy编程第9章使用Pipeline第10章理解Scrap......
    • Learning-Scrapy-中文版(三)
      LearningScrapy中文版(三)八、Scrapy编程到目前为止,我们创建爬虫的目的是抓取数据,并提取信息。除了爬虫,scrapy可以让我们微调它的功能。例如,你会经常碰到以下状况:你在同一个项目的爬虫间复制粘贴了很多代码。重复的代码更多是关于处理数据,而不是关于数据源。你必须写脚本,好......
    • Learning-Scrapy-中文版(二)
      LearningScrapy中文版(二)三、爬虫基础本章非常重要,你可能需要读几遍,或是从中查找解决问题的方法。我们会从如何安装Scrapy讲起,然后在案例中讲解如何编写爬虫。开始之前,说几个注意事项。因为我们马上要进入有趣的编程部分,使用本书中的代码段会十分重要。当你看到:$echohell......
    • Kafka 采用 RoundRobinPartitioner 时仅向偶数分区发送消息
      背景及问题说明使用Kafkaclient版本3.4.0目前的默认分区策略如下:NOTEthispartitionerisdeprecatedandshouldn'tbeused.Tousedefaultpartitioninglogicremovepartitioner.classconfigurationsetting.SeeKIP-794formoreinfo.Thedefaultpartitioni......
    • WPF中文网随笔(2)
      常用布局控件Panel其实是一个抽象类,不可以实例化,WPF所有的布局控件都从Panel继承而来publicabstractclassPanel:FrameworkElement,IAddChild它继承于FrameworkElement基类和IAddChild接口。所以,所有Panel元素都支持FrameworkElement定义的基本大小调整和定位属性,包......
    • 一种融合指代消解序列标注方法在中文人名识别上的应用(上)
      技术领域自然语言处理领域。应用场景:适用于自然语言处理领域,通过命名实体识别(NamedEntityRecognition,NER),准确识别实体。依托自然语言处理领域,基于人民日报数据及构造的舆情公告数据,提出一种融合指代消解的序列标注方法来改进人名识别。解决的问题:实体包括人名、地......