Cómo instalar Apache Kafka en CentOS/RHEL 7

Apache Kafka es un potente motor de mensajería, que se utiliza ampliamente en proyectos de BigData y en el ciclo de vida de Análisis de datos. Es una plataforma de código abierto para crear canales de transmisión de datos en tiempo real. Es una plataforma distribuida de publicación y suscripción con confiabilidad, escalabilidad y durabilidad.

Podemos tener Kafka como independiente o como clúster. Kafka almacena los datos de transmisión y se pueden clasificar como Temas. El Tema tendrá varias particiones para que pueda manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para tolerancia a fallas como las que tenemos en HDFS. En un clúster de Kafka, el intermediario es un componente que almacena los datos publicados.

Zookeeper es un servicio obligatorio para ejecutar un clúster Kafka, ya que se utiliza para gestionar la coordinación de los brokers de Kafka. Zookeeper desempeña un papel clave entre el productor y el consumidor, donde es responsable de mantener el estado de todos los intermediarios.

En este artículo, explicaremos cómo instalar Apache Kafka en un solo nodo CentOS 7 o RHEL 7.

Instalación de Apache Kafka en CentOS 7

1. Primero, necesita instalar Java en su sistema para ejecutar Apache Kafka sin errores. Por lo tanto, instale la versión predeterminada disponible de Java usando el siguiente comando yum y verifique la versión de Java como se muestra.

yum -y install java-1.8.0-openjdk
java -version

2. A continuación, descargue la versión estable más reciente de Apache Kafka del sitio web oficial o utilice el siguiente comando wget para descargarla directamente y extraerla.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Cree un enlace simbólico para el paquete kafka, luego agregue la ruta del entorno Kafka al archivo .bash_profile y luego inicialícelo como se muestra.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. A continuación, inicie Zookeeper, que viene integrado con el paquete Kafka. Dado que es un clúster de un solo nodo, puede iniciar Zookeeper con las propiedades predeterminadas.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valide si el zookeeper es accesible o no simplemente telnet al puerto Zookeeper 2181.

telnet localhost 2181

6. Inicie Kafka con sus propiedades predeterminadas.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Valide si Kafka es accesible o no simplemente mediante telnet al puerto de Kafka 9092.

telnet localhost 9092

8. A continuación, cree un tema de muestra.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Enumere el tema creado.

kafka-topics.sh --zookeeper localhost:2181 --list

Conclusión

En este artículo, hemos visto cómo instalar un clúster Kafka de un solo nodo en CentOS 7. Veremos cómo instalar un Kafka Cluster multinodo en el siguiente artículo.