暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

快速构建ELK+Kafka环境

DevOps架构实战 2022-10-27
379

1、Elasticsearch

是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

2、Logstash

主要是用来日志的搜索、分析、过滤日志的工具。用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。

3、Kibana

是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图标,为用户提供强大的数据可视化支持,它能够搜索、展示存储在Elasticsearch中索引数据。使用它可以很方便的使用图表、表格、地图展示和分析数据。

4、Kafka

数据缓冲队列。作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

[root@hd02 ~]# docker-compose up

[root@hd02 ~]# more docker-compose.yml 

version: '3.4'

services:

  zookeeper:

    image: wurstmeister/zookeeper

    ports:

      - "2181:2181"

    restart: always

  kafka:

    image: wurstmeister/kafka:2.3.0

    volumes:

      - /etc/localtime:/etc/localtime 

    ports:

      - "9092:9092"

    environment:

      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181

      - KAFKA_ADVERTISED_HOST_NAME=192.168.20.235

      - KAFKA_ADVERTISED_PORT=9092

    volumes:

      - /var/run/docker.sock:/var/run/docker.sock

    restart: always

  kafka-manager:  

    image: sheepkiller/kafka-manager             

    environment:

        ZK_HOSTS: 192.168.20.235                 

    ports:  

      - "9001:9000"                                

  elasticsearch:

    image: daocloud.io/library/elasticsearch:7.6.2

    restart: always

    container_name: elasticsearch

    environment:

      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"   

    ports:

      - 9200:9200

  kibana:

    image: daocloud.io/library/kibana:7.6.2

    restart: always

    container_name: kibana

    ports:

     - 5601:5601

    environment:

     - elasticsearch_url=http://192.168.20.235:9200

    depends_on:

     - elasticsearch

如果本文对你有帮助的话,欢迎点赞&在看&转发,这对我继续分享&创作优质文章非常重要。感谢🙏🏻

文章转载自DevOps架构实战,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论