Docker搭建Zookeeper+Kafka集群实例

在 Docker 环境中搭建 ZooKeeper 和 Kafka 集群是实现高可用和高性能消息传递系统的常见做法。ZooKeeper 作为 Kafka 的协调服务，提供了分布式系统中需要的配置管理和同步服务。Kafka 是一个分布式流处理平台，用于处理和存储流数据。以下是详细的步骤和解释，用于在 Docker 环境中搭建一个 ZooKeeper 和 Kafka 集群实例。

一、环境准备

1.1 安装 Docker 和 Docker Compose

确保系统中已安装 Docker 和 Docker Compose。可以通过以下命令检查和安装：

docker --version
docker-compose --version

如果未安装，请参照官方文档进行安装。

二、创建 Docker 网络

为了使 ZooKeeper 和 Kafka 容器能够相互通信，需要创建一个自定义的 Docker 网络：

docker network create kafka-network

三、配置 ZooKeeper

3.1 创建 `docker-compose.yml` 文件

在项目目录下创建一个名为 docker-compose.yml 的文件，配置 ZooKeeper 服务：

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper:3.7
    container_name: zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-network
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2

networks:
  kafka-network:
    external: true

3.2 启动 ZooKeeper

使用 Docker Compose 启动 ZooKeeper 服务：

docker-compose up -d zookeeper

四、配置 Kafka

4.1 创建 Kafka 配置

在同一个 docker-compose.yml 文件中添加 Kafka 服务配置：

  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    ports:
      - "9092:9092"
    networks:
      - kafka-network
    environment:
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9093,OUTSIDE://localhost:9092
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9093,OUTSIDE://0.0.0.0:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_NAME: INSIDE
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9093,OUTSIDE://localhost:9092
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9093,OUTSIDE://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    depends_on:
      - zookeeper

4.2 启动 Kafka

通过 Docker Compose 启动 Kafka 服务：

docker-compose up -d kafka

五、验证配置

5.1 检查容器状态

确保 ZooKeeper 和 Kafka 容器正在运行：

docker ps

5.2 验证 Kafka 服务

进入 Kafka 容器并使用 Kafka CLI 工具验证服务状态：

docker exec -it kafka kafka-topics.sh --list --bootstrap-server localhost:9092

如果没有错误输出，说明 Kafka 服务已成功启动。

六、配置示例

以下是 docker-compose.yml 文件的完整示例：

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper:3.7
    container_name: zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-network
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      ZOOKEEPER_INIT_LIMIT: 5
      ZOOKEEPER_SYNC_LIMIT: 2

  kafka:
    image: wurstmeister/kafka:latest
    container_name: kafka
    ports:
      - "9092:9092"
    networks:
      - kafka-network
    environment:
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9093,OUTSIDE://localhost:9092
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9093,OUTSIDE://0.0.0.0:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: INSIDE://kafka:9093,OUTSIDE://localhost:9092
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9093,OUTSIDE://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    depends_on:
      - zookeeper

networks:
  kafka-network:
    external: true

七、问题排查

7.1 ZooKeeper 连接问题

如果 Kafka 无法连接到 ZooKeeper，请检查 ZooKeeper 容器的日志：

docker logs zookeeper

7.2 Kafka 连接问题

如果 Kafka 启动失败，请检查 Kafka 容器的日志：

docker logs kafka

确保网络配置正确，并且 ZooKeeper 服务可用。

八、最佳实践

高可用性：在生产环境中，为 ZooKeeper 和 Kafka 配置多个节点以实现高可用性。
数据持久性：配置持久化存储卷以避免数据丢失。
资源管理：调整 Docker 容器的资源限制（如 CPU 和内存），以优化性能。
安全配置：配置 Kafka 的访问控制和加密，以保护数据安全。

九、总结

在 Docker 环境中搭建 ZooKeeper 和 Kafka 集群可以帮助实现高效、可扩展的消息传递系统。通过使用 docker-compose 工具，可以简化部署过程和配置管理。了解容器的日志和配置选项，可以帮助解决可能出现的问题，并优化系统性能。在实际部署中，建议根据业务需求进行调整和优化，以确保系统的可靠性和性能。