Cómo configurar alta disponibilidad para Namenode - Parte 5


Hadoop tiene dos componentes principales que son HDFS e YARN. HDFS es para almacenar los datos, YARN es para procesar los datos. HDFS es un sistema de archivos distribuido Hadoop, tiene Namenode como servicio maestro y Datanode como servicio esclavo.

Namenode es el componente crítico de Hadoop que almacena los metadatos de los datos almacenados en HDFS. Si el Namenode deja de funcionar, no se podrá acceder a todo el clúster, es el único punto de falla (SPOF). Por lo tanto, el entorno de producción tendrá alta disponibilidad de Namenode para evitar la interrupción de la producción si un Namenode deja de funcionar debido a varias razones, como falla de la máquina, actividad de mantenimiento planificada, etc.

Hadoop 2.x ofrece la posibilidad de tener dos Namenodes, uno será el Active Namenode y el otro será el Standby Namenode.

  • Active Namenode – It manages all client operations.
  • Standby Namenode – It is redundant of Active Namenode. If Active NN goes down, then Standby NN will take all the responsibility of Active NN.

La habilitación de la alta disponibilidad de Namenode requiere Zookeeper, que es obligatorio para la conmutación por error automática. ZKFC (Zookeeper Failover Controller) es un cliente de Zookeeper que se utiliza para mantener el estado de Namenode.

En este artículo, vamos a habilitar la alta disponibilidad de Namenode en Cloudera Manager.

Paso 1: instalación de Zookeeper

1. Inicie sesión en Cloudera Manager.

http://Your-IP:7180/cmf/home

2. En el indicador de acción del Clúster (tecmint), seleccione "Agregar servicio".

3. Seleccione el servicio "Zookeeper".

4. Seleccionar los servidores donde vamos a tener instalado Zookeeper.

5. Vamos a tener 3 Zookeepers para formar el Quórum de Zookeeper. Seleccione los servidores como se menciona a continuación.

6. Configure las propiedades de Zookeeper, aquí tenemos las predeterminadas. En tiempo real, debe tener un directorio/puntos de montaje separados para almacenar los datos de Zookeeper. En la Parte 1, explicamos la configuración de almacenamiento para cada servicio. Haga clic en "continuar" para continuar.

7. La instalación comenzará, una vez instalado se iniciará Zookeeper. Puede ver las operaciones en segundo plano aquí.

8. Después de completar con éxito el paso anterior, el estado será "Finalizado".

9. Ahora, Zookeeper está instalado y configurado correctamente. Haga clic en "Finalizar".

10. Puede ver el servicio Zookeeper en el panel de Cloudera Manager.

Paso 2: habilitar la alta disponibilidad de Namenode

11. Vaya a Cloudera Manager -> HDFS -> Acciones -> Habilitar alta disponibilidad.

12. Ingrese el nombre del servicio de nombres como "servicio de nombres1": este es un espacio de nombres común para el nodo de nombre activo y en espera.

13. Seleccione el Second Namenode donde vamos a tener Namenode en espera.

14. Aquí estamos seleccionando master2.tecmint.com para el Namenode en espera.

15. Seleccione los nodos de Diario, estos son servicios obligatorios para sincronizar el nodo de nombre activo y en espera.

16. Estamos creando Quorum Journal colocando el nodo de Journal en 3 servidores como se menciona a continuación. Seleccione 3 servidores y haga clic en "Aceptar".

17. Haga clic en "Continuar" para continuar.

18. Introduzca la ruta del directorio del nodo de diario. Solo tenemos que mencionar la ruta mientras que la instalación de este directorio será creado automáticamente por el propio servicio. Mencionamos como ‘/ jn’ . Haga clic en "Continuar" para continuar.

19. Comenzará a habilitar la Alta disponibilidad.

20. Una vez completados todos los procesos en segundo plano, obtendremos el estado "Finalizado".

21. Finalmente, recibiremos una notificación "Alta disponibilidad habilitada con éxito". Haga clic en "Finalizar".

22. Verifique el Namenode activo y en espera yendo a Cloudera Manager -> HDFS -> Instances.

23. Aquí, puede usar dos Namenodes, uno estará en el estado "Activo" y el otro estará en el estado "En espera".

En este artículo, hemos realizado el proceso paso a paso para habilitar la alta disponibilidad de Namenode. Se recomienda encarecidamente tener Namenode High Availability en todos los clústeres en un entorno de tiempo real. Por favor publique sus dudas si encuentra algún error al realizar este proceso. Veremos la alta disponibilidad de Resource Manager en el próximo artículo.