Cómo instalar Apache Kafka en CentOS/RHEL 7


Apache Kafka es un potente motor de mensajería, que se utiliza ampliamente en proyectos de BigData y en el ciclo de vida de Data Analytics. Es una plataforma de código abierto para crear canalizaciones de transmisión de datos en tiempo real. Es una plataforma distribuida de publicación y suscripción con confiabilidad, escalabilidad y durabilidad.

Podemos tener a Kafka de forma independiente o como un clúster. Kafka almacena los datos de transmisión y se pueden clasificar como Temas. El tema tendrá varias particiones para que pueda manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para tolerancia a fallas como las que estamos teniendo en HDFS. En un clúster de Kafka, el intermediario es un componente que almacena los datos publicados.

Zookeeper es un servicio obligatorio para ejecutar un clúster de Kafka, ya que se utiliza para gestionar la coordinación de los corredores de Kafka. Zookeeper juega un papel clave entre el productor y el consumidor donde es responsable de mantener el estado de todos los corredores.

En este artículo, explicaremos cómo instalar Apache Kafka en un solo nodo CentOS 7 o RHEL 7.

Instalación de Apache Kafka en CentOS 7

1. Primero, debe instalar Java en su sistema para ejecutar Apache Kafka sin errores. Entonces, instale la versión predeterminada disponible de Java usando el siguiente comando yum y verifique la versión de Java como se muestra.

# yum -y install java-1.8.0-openjdk
# java -version

2. A continuación, descargue la versión estable más reciente de Apache Kafka del sitio web oficial o utilice el siguiente comando wget para descargarla directamente y extraerla.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Cree un enlace simbólico para el paquete kafka, luego agregue la ruta del entorno Kafka al archivo .bash_profile y luego inicialícelo como se muestra.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. A continuación, inicie Zookeeper, que viene integrado con el paquete Kafka. Dado que es un clúster de un solo nodo, puede iniciar el guardián del zoológico con propiedades predeterminadas.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valide si el guardián del zoológico es accesible o no simplemente mediante telnet al puerto 2181 del guardián del zoológico.

# telnet localhost 2181

6. Inicie Kafka con sus propiedades predeterminadas.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Valide si se puede acceder a Kafka o no simplemente mediante telnet al puerto 9092 de Kafka

# telnet localhost 9092

8. A continuación, cree un tema de muestra.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Enumere el tema creado.

# kafka-topics.sh --zookeeper localhost:2181 --list

En este artículo, hemos visto cómo instalar un clúster Kafka de nodo único en CentOS 7. Veremos cómo instalar un clúster Kafka multinodo en el siguiente artículo.