需要软件 jdk1.8（jdk-8u131-linux-x64.rpm） zookeeper （zookeeper-3.4.10.tar.gz） kafka 2.11-2.0.0 flume1.8.0 把触控板的操作做为输出 sudo fusuma 1>/var/log/script/test111 2>&1 & 1、jdk就不说了 2、zookeeper安装,参考其他 bin目录./zkServer.sh start 查看状态./zkServer.sh status 3、安装kafka http://kafka.apache.org/downloads.html tar -zxf kafka_2.11-2.0.0.tgz 修改配置文件 gedit config/server.properties listeners=PLAINTEXT://172.17.173.226:9092 外网访问需要加：advertised.listeners=PLAINTEXT://39.105.189.4:9092 log.dirs=/opt/softWare/Cache/kafka 指定日志存放目录 控制台方式，日志记录到当前目录下nohup.out文件中 cd /opt/softWare/kafka_2.11-2.0.0 ./bin/kafka-server-start.sh ./config/server.properties & 后台启动 nohup ./bin/kafka-server-start.sh ./config/server.properties & 查看状态 jps 测试kafka 在bin目录下 创建一个topic ./bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic robots2 --partitions 1 --replication-factor 1 查看创建的topic ./bin/kafka-topics.sh --zookeeper localhost:2181 --list test_kafka 启动消费者 ./kafka-console-consumer.sh --bootstrap-server 172.17.173.226:9092 --topic robots2 --from-beginning 新版的kafka只能使用–bootstrap-server来启动，zookeeper的指令已经被取消了。 在新的shell中启动生产者 bin/kafka-console-producer.sh --broker-list 172.17.173.226:9092 --topic robots2 启动之后输入消息，在消费者的shell中就可以接收到生产者中输入的信息。 单机版安装完成 ================================================================================================================ 1、flume安装目录conf下新建了kafka.properties文件，启动时也应当用此配置文件作为参数启动。 ================================================================ kafka.properties agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=exec agent.sources.s1.command=tail -F /var/log/nginx/access.log agent.sources.s1.channels=c1 agent.channels.c1.type=memory agent.channels.c1.capacity=10000 agent.channels.c1.transactionCapacity=100 #设置Kafka接收器 agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink #设置Kafka的broker地址和端口号 agent.sinks.k1.brokerList=172.17.173.226:9092 #设置Kafka的Topic agent.sinks.k1.topic=robots2 #设置序列化方式 agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder\ agent.sinks.k1.channel=c1 ================================================================== 2、在kafka安装目录下执行如下命令，启动zk,kafka 。 启动zookeeper cd /opt/Servers/zookeeper-3.4.10/bin ./zkServer.sh start 后台启动kafka nohup ./kafka-server-start.sh ../config/server.properties & 打开新终端添加一个topic ./kafka-topics.sh --zookeeper localhost:2181 --create --topic mylog --partitions 1 --replication-factor 1 查看创建的topic ./kafka-topics.sh --zookeeper localhost:2181 --list 打开新终端，在kafka安装目录下执行如下命令，生成对topic robots2 的消费 ./bin/kafka-console-consumer.sh --bootstrap-server 172.17.173.226:9092 --topic robots2 --from-beginning 后台启动flume nohup ./bin/flume-ng agent -c ./conf/ -f ./conf/kafka.properties -n agent -Dflume.root.logger=DEBUG,console &
标签：flume,bin,--,agent,kafka,topic,sh,mint From： https://www.cnblogs.com/robots2/p/18647366