Cómo instalar CDH y configurar ubicaciones de servicio en CentOS/RHEL 7 - Parte 4


En un artículo anterior, explicamos la instalación de Cloudera Manager; en este artículo, aprenderá cómo instalar y configurar CDH (Cloudera Distribution Hadoop) en RHEL/CentOS 7.

Al instalar el paquete CDH, debemos asegurarnos de la compatibilidad de Cloudera Manager y CDH. La versión de Cloudera tiene 3 partes: . . . La versión principal y secundaria de Cloudera Manager debe ser la misma que la versión principal y secundaria de CDH.

Por ejemplo, estamos usando Cloudera Manager 6.3.1 y CDH 6.3.2. Aquí 6 es mayor y 3 es la versión menor. Mayor y menor deben ser iguales para evitar problemas de compatibilidad.

  • Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7 - Parte 1
  • Configuración de requisitos previos de Hadoop y refuerzo de la seguridad: parte 2
  • Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7 - Parte 3

Tomaremos los 2 nodos siguientes para instalar CDH. Ya hemos instalado Cloudera Manager en master1, también estamos usando master1 como servidor de repositorios.

master1.tecmint.com
worker1.tecmint.com

Paso 1: descargue las parcelas CDH en el servidor maestro

1. Primero, conéctese al servidor master1 y descargue los archivos CDH Parcels en el directorio/var/www/html/cloudera-repos/cdh. Tenemos que descargar los 3 archivos mencionados a continuación que deberían ser compatibles con RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Antes de descargar estos archivos, asegúrese de crear un directorio cdh en/var/www/html/cloudera-repos/location.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. A continuación, descargue los 3 archivos mencionados anteriormente utilizando el siguiente comando wget.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Paso 2: Configurar Cloudera Manager Repo en clientes trabajadores

4. Ahora, conéctese a los servidores de trabajo y copie el archivo de repositorio (cloudera-manager.repo) desde el servidor de repositorio (master1) a todos los servidores de trabajo restantes. Este archivo de repositorio garantiza a los servidores que todos los paquetes y RPM necesarios se descargarán del servidor de repositorio durante la instalación.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Una vez agregado el repositorio, enumere los repositorios habilitados para asegurarse de que el repositorio de cloudera-manager esté habilitado.

$ yum repolist

Paso 3: Instale los demonios y el agente de Cloudera Manager en los servidores de trabajo

6. Ahora, necesitamos instalar cloudera-manager-daemons y cloudera-manager-agent en todos los servidores restantes.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. A continuación, debe configurar el agente de Cloudera Manager para que informe al servidor de Cloudera Manager.

$ sudo vi /etc/cloudera-scm-agent/config.ini

Reemplace el localhost con la dirección IP del servidor de Cloudera Manager.

8. Inicie Cloudera Manager Agent y verifique el estado.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Paso 4: Instale y configure CDH

Tenemos paquetes CDH en master1 - repo server. Asegúrese de que todos los servidores tengan un archivo de repositorio de Cloudera Manager en /etc/yum.repos.d/ si sigue la instalación automática con Cloudera Manager.

9. Inicie sesión en Cloudera Manager utilizando la siguiente URL en el puerto 7180 y utilice el nombre de usuario y la contraseña predeterminados de Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Una vez que inicie sesión, será recibido con la página de bienvenida. Aquí puede encontrar Notas de la versión, Nuevas funciones de Cloudera Manager.

11. Acepte la licencia y continúe.

12. Seleccione la edición. La versión de prueba está seleccionada de forma predeterminada, podemos continuar con eso.

13. Ahora, siga los pasos de instalación del clúster. Continúe con la página de bienvenida.

14. Nombra el Cluster y continuamos, lo hemos nombrado como “tecmint”. Hay 2 tipos de clúster que puede definir. Continuamos con el Clúster Regular.

  • Clúster regular: constará de nodos de almacenamiento, nodos de cómputo y otros servicios necesarios.
  • Clúster de cómputo: constará solo de nodos de cómputo. El almacenamiento externo se puede utilizar para almacenar datos.

15. Ya hemos instalado Cloudera Manager Agents en todos los servidores. Puede encontrar esos servidores en "Hosts administrados actualmente". Para la instalación automática, debe ingresar el FQDN o IP de los servidores en la opción “Nuevos Hosts” y buscar. Cloudera Manager detectará automáticamente los hosts en los que necesitamos instalar CDH.

Aquí, haga clic en "Hosts administrados actualmente", seleccione todos los hosts seleccionando "Nombre de host" y continúe.

16. Seleccione Repositorio: utilizar Parcel es la forma recomendada. Haga clic en "Más opciones" para configurar el repositorio.

17. Ingrese la URL del repositorio local como se menciona a continuación. Elimine todos los repositorios públicos restantes que apuntan a Web (Cloudera Repositories).

Esta es la URL del repositorio local de CDH que tenemos en master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Una vez ingresada la URL del repositorio, esta página mostrará solo las parcelas disponibles. Continúe con este paso.

19. Ahora las parcelas se están descargando, distribuyendo, desempaquetando y activando en todos los servidores disponibles.

20. Una vez que se activen las parcelas CDH, inspeccione el clúster. Este paso hará un chequeo de salud del clúster. Aquí estamos saltando y continuando.

Paso 5: configuración del clúster

21. Aquí debemos seleccionar los Servicios que se instalarán en Cluster. Algunas combinaciones empaquetadas estarán disponibles de forma predeterminada, vamos con Servicios personalizados.

22. En Servicios personalizados, estamos instalando solo componentes principales (HDFS y YARN) para este propósito de demostración.

23. Asigne los roles al servidor. Podemos personalizar según nuestros requisitos. Encuentre el siguiente gráfico que describe la distribución de roles recomendada para un clúster pequeño básico con 5 a 20 nodos con alta disponibilidad.

24. Seleccione el tipo de base de datos, el nombre de host, el nombre de la base de datos, el nombre de usuario y la contraseña. Como usamos PostgreSQL incrustado, se seleccionará de forma predeterminada. Pruebe la conexión, debería ser exitosa.

25. Esta página mostrará los parámetros de configuración predeterminados de HDFS y Yarn, incluidos los directorios de datos. Revise todos los detalles de la configuración y podrá realizar cambios si es necesario. Luego continúe con esto.

26. Esta página mostrará los detalles del comando "Primera ejecución". Puede expandirlo para ver los detalles de los comandos en ejecución. Si hay algún problema de red o de permisos en el clúster, este paso fallará. Por lo general, este paso decide la instalación sin problemas del Cluster Building.

27. Una vez completado el paso anterior, haga clic en "Finalizar" para completar la instalación. Este es el panel de Cloudera Manager después de instalar CDH.

http://104.211.95.96:7180/cmf/home

Hemos completado con éxito la instalación de Cloudera Manager y CDH. En el panel de Cloudera Manager, puede encontrar un conjunto predefinido de gráficos donde puede monitorear la CPU del clúster, E/S de disco, etc. Podemos administrar todo el clúster utilizando este Cloudera Manager. Veremos todas las operaciones administrativas en los próximos artículos.