首页 > 其他分享 >Kafka 云原生管控平台 Know Streaming

Kafka 云原生管控平台 Know Streaming

时间:2023-03-10 22:11:32浏览次数:45  
标签:knowstreaming MYSQL Kafka Streaming manager elasticsearch Know mysql es

1、Docker安装

参考:https://www.cnblogs.com/a120608yby/p/9883175.html

2、Docker Compose安装

参考:https://www.cnblogs.com/a120608yby/p/14582853.html

3、服务配置

# vim docker-compose.yml
version: "3"
services:
  # *不要调整knowstreaming-manager服务名称,ui中会用到
  knowstreaming-manager:
    image: knowstreaming/knowstreaming-manager:latest
    container_name: knowstreaming-manager
    privileged: true
    restart: always
    depends_on:
      - elasticsearch-single
      - knowstreaming-mysql
    expose:
      - 80
    command:
      - /bin/sh
      - /ks-start.sh
    environment:
      TZ: Asia/Shanghai
      # mysql服务地址
      SERVER_MYSQL_ADDRESS: knowstreaming-mysql:3306
      # mysql数据库名
      SERVER_MYSQL_DB: know_streaming
      # mysql用户名
      SERVER_MYSQL_USER: root
      # mysql用户密码
      SERVER_MYSQL_PASSWORD: admin2022_
      # es服务地址
      SERVER_ES_ADDRESS: elasticsearch-single:9200
      # 服务JVM参数
      JAVA_OPTS: -Xmx1g -Xms1g
      # 对于kafka中ADVERTISED_LISTENERS填写的hostname可以通过该方式完成
#    extra_hosts:
#      - "hostname:x.x.x.x"
      # 服务日志路径
#    volumes:
#      - /ks/manage/log:/logs
  knowstreaming-ui:
    image: knowstreaming/knowstreaming-ui:latest
    container_name: knowstreaming-ui
    restart: always
    ports:
      - '80:80'
    environment:
      TZ: Asia/Shanghai
    depends_on:
      - knowstreaming-manager
#    extra_hosts:
#      - "hostname:x.x.x.x"
  elasticsearch-single:
    image: docker.io/library/elasticsearch:7.6.2
    container_name: elasticsearch-single
    restart: always
    expose:
      - 9200
      - 9300
#    ports:
#      - '9200:9200'
#      - '9300:9300'
    environment:
      TZ: Asia/Shanghai
      # es的JVM参数
      ES_JAVA_OPTS: -Xms512m -Xmx512m
      # 单节点配置,多节点集群参考 https://www.elastic.co/guide/en/elasticsearch/reference/7.6/docker.html#docker-compose-file
      discovery.type: single-node
      # 数据持久化路径
#    volumes:
#      - /ks/es/data:/usr/share/elasticsearch/data

  # es初始化服务,与manager使用同一镜像
  # 首次启动es需初始化模版和索引,后续会自动创建
  knowstreaming-init:
    image: knowstreaming/knowstreaming-manager:latest
    container_name: knowstreaming-init
    depends_on:
      - elasticsearch-single
    command:
      - /bin/bash
      - /es_template_create.sh
    environment:
      TZ: Asia/Shanghai
      # es服务地址
      SERVER_ES_ADDRESS: elasticsearch-single:9200

  knowstreaming-mysql:
    image: knowstreaming/knowstreaming-mysql:latest
    container_name: knowstreaming-mysql
    restart: always
    environment:
      TZ: Asia/Shanghai
      # root 用户密码
      MYSQL_ROOT_PASSWORD: admin2022_
      # 初始化时创建的数据库名称
      MYSQL_DATABASE: know_streaming
      # 通配所有host,可以访问远程
      MYSQL_ROOT_HOST: '%'
    expose:
      - 3306
#    ports:
#      - '3306:3306'
      # 数据持久化路径
#    volumes:
#      - /ks/mysql/data:/data/mysql

4、启动服务

docker-compose up -d

5、查看服务启动状态

docker-compose ps

6、默认信息

账号:admin
密码:admin

参考:https://github.com/didi/KnowStreaming

标签:knowstreaming,MYSQL,Kafka,Streaming,manager,elasticsearch,Know,mysql,es
From: https://www.cnblogs.com/a120608yby/p/17204766.html

相关文章

  • ubuntu20.04 单机运行kafka和zookeeper
    参考文章:Ubuntu安装单机模式kafka......
  • K8S部署Kafka
    一、集群部署KafkaKafka部署在以下节点上[root@k8s-masternfs-client]#kubectlgetnodesNAMESTATUSROLESAGEVERSIONk8s-master......
  • Kafka快速高效的原因
    因为kafka高吞吐量,管道大,而保证kafka快速移动大量数据的设计决策有顺序I/O和零拷贝复制原则 顺序I/O:通过使用仅附加日志作为主要数据结构,将新数据添加到文件末尾......
  • Django 实现Canal 读取 MySQL 写入到 Kafka中
    安装canal-python库:pipinstallcanal-python修改settings.py文件,添加Canal相关配置CANAL_SETTINGS={"canal_host":"127.0.0.1","canal_port":11111,......
  • kafka 可以脱离 zookeeper 单独使用吗
    1kafka可以脱离zookeeper单独使用吗?为什么?kafka不能脱离zookeeper单独使用,因为kafka使用zookeeper管理和协调kafka的节点服务器。不可能越过Zookeeper直接......
  • Kafka 如何保证消息不丢失?
    Kafka到底会不会丢数据呢?如果丢数据,究竟该怎么解决呢?    总结 Kafka要严格意义上保证消息不丢失,需要从三个方面来设置,   第一个服务器端持久化设置为......
  • Kafka是如何实现动态重平衡?
    Kafka是如何实现动态重平衡?Kafka是一个分布式流处理平台,它通过动态重平衡来实现高可靠性、高可扩展性和高性能。动态重平衡:即在集群中增加或者删除broker、更改消费者组......
  • Unknown custom element: <deatils-form> - did you register the component correctl
    最近注册组件踩了一个坑。一直报错  查了些许资料挨个比对      重点!!!!以上这些都没问题的话,抓紧看看用组件的时候名字是不是写错了,我就是   ......
  • filebeat对接kafka
    一般数据采集主要使用elk,为了提高数据采集性能和效率,filebeat采集日志发送给kafka,logstash从kafka消费数据存入es。主要记录使用以防忘记    一、kafka集群部署......
  • odoo报错:AttributeError: ‘_unknown‘ object has no attribute ‘id‘
    在开发中遇到的这个问题AttributeError:'_unknown'objecthasnoattribute'id'1、当在一个模块中写了一个many2one字段,例如a=fields.many2one('base.repair','基础......