Búsqueda de sitios web

Cómo configurar la alta disponibilidad para Namenode - Parte 5


Hadoop tiene dos componentes principales que son HDFS y YARN. HDFS es para almacenar los Datos, YARN es para procesar los Datos. HDFS es Hadoop Distributed File System, tiene Namenode como Master Service y Datanode. como Servicio de esclavos.

Namenode es el componente crítico de Hadoop que almacena los metadatos de los datos almacenados en HDFS. Si el Namenode deja de funcionar, no se podrá acceder a todo el clúster; es el único punto de falla (SPOF). Por lo tanto, el entorno de producción tendrá alta disponibilidad de Namenode para evitar la interrupción de la producción si un Namenode deja de funcionar debido a diversas razones, como fallas de la máquina, actividad de mantenimiento planificada, etc.

Hadoop 2.x proporciona la posibilidad de tener dos Namenodes, uno será un Namenode activo y otro será un Namenode en espera .

  • Active Namenode: gestiona todas las operaciones del cliente.
  • Namenode en espera: es redundante del Namenode activo. Si el NN activo deja de funcionar, el NN en espera asumirá toda la responsabilidad del NN activo.

Para habilitar la alta disponibilidad de Namenode se requiere Zookeeper, que es obligatorio para la conmutación por error automática. ZKFC (Zookeeper Failover Controller) es un cliente Zookeeper que se utiliza para mantener el estado de Namenode.

Requisitos

  • Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7 – Parte 1
  • Configuración de requisitos previos de Hadoop y refuerzo de seguridad - Parte 2
  • Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7 – Parte 3
  • Cómo instalar CDH y configurar ubicaciones de servicios en CentOS/RHEL 7 – Parte 4

En este artículo, habilitaremos alta disponibilidad de Namenode en Cloudera Manager.

Paso 1: Instalación de Zookeeper

1. Inicie sesión en Cloudera Manager.

http://Your-IP:7180/cmf/home

2. En el mensaje de acción del Clúster (tecmint), seleccione “Agregar servicio”.

3. Seleccione el servicio “Zookeeper ”.

4. Seleccionar los servidores donde vamos a tener instalado Zookeeper.

5. Vamos a tener 3 cuidadores del zoológico para formar el Qorum de cuidadores del zoológico. Seleccione los servidores como se menciona a continuación.

6. Configura las propiedades de Zookeeper, aquí tenemos las predeterminadas. En tiempo real, debe tener directorios/puntos de montaje separados para almacenar los datos de Zookeeper. En la Parte 1, explicamos la configuración de almacenamiento para cada servicio. Haga clic en "continuar" para continuar.

7. Comenzará la instalación, una vez instalado se iniciará Zookeeper. Puede ver las operaciones en segundo plano aquí.

8. Después de completar con éxito el paso anterior, el estado será "Terminado".

9. Ahora, Zookeeper está instalado y configurado correctamente. Haga clic en "Finalizar".

10. Puede ver el servicio Zookeeper en el panel de Cloudera Manager.

Paso 2: habilitar la alta disponibilidad de Namenode

11. Vaya a Cloudera Manager –> HDFS –> Acciones –> Habilitar alta disponibilidad fuerte>.

12. Ingrese el Nombre del servicio de nombres como “nameservice1”. Este es un espacio de nombres común para Namenode activo y en espera.

13. Seleccione el Segundo Namenode donde vamos a tener el Namenode en espera.

14. Aquí estamos seleccionando master2.linux-console.net para el Namenode en espera.

15. Seleccione los nodos Diario, estos son servicios obligatorios para sincronizar el Nombre de nombre activo y en espera.

16. Estamos creando Quorum Journal colocando el nodo Journal en 3 servidores como se menciona a continuación. Seleccione 3 servidores y haga clic en "Aceptar".

17. Haga clic en "Continuar" para continuar.

18. Introduzca la ruta del directorio Journal Node. Solo necesitamos mencionar la ruta durante la instalación, este directorio será creado automáticamente por el propio servicio. Estamos mencionando como '/jn'. Haga clic en "Continuar" para continuar.

19. Comenzará a habilitar la Alta Disponibilidad.

20. Una vez completados todos los procesos en segundo plano, obtendremos el estado "Terminado".

21. Finalmente, recibiremos una notificación "Alta disponibilidad habilitada correctamente". Haga clic en "Finalizar".

22. Verifique el Namenode activo y el en espera yendo a Cloudera Manager –> HDFS > –> Instancias.

23. Aquí, puede eliminar dos Namenodes, uno estará en el estado 'Activo' y otro estará en 'En espera ' estado.

Conclusión

En este artículo, hemos analizado el proceso paso a paso para habilitar la alta disponibilidad de Namenode. Se recomienda encarecidamente tener alta disponibilidad de Namenode en todos los clústeres en un entorno de tiempo real. Publique sus dudas si encuentra algún error al realizar este proceso. Veremos Alta disponibilidad del Administrador de recursos en el próximo artículo.