Búsqueda de sitios web

Cómo instalar CDH y configurar ubicaciones de servicios en CentOS/RHEL 7 - Parte 4


En un artículo anterior explicamos la instalación de Cloudera Manager, en este artículo aprenderá cómo instalar y configurar CDH (Cloudera Distribution Hadoop) en RHEL/CentOS 7.

Al instalar el paquete CDH, debemos garantizar la compatibilidad de Cloudera Manager y CDH. La versión de Cloudera tiene 3 partes: ... La versión principal y secundaria de Cloudera Manager debe ser la misma que la versión principal y secundaria de CDH.

Por ejemplo, estamos usando Cloudera Manager 6.3.1 y CDH 6.3.2. Aquí 6 es la versión mayor y 3 es la versión menor. Mayor y Menor deben ser iguales para evitar problemas de compatibilidad.

Requisitos

  • Mejores prácticas para implementar Hadoop Server en CentOS/RHEL 7 – Parte 1
  • Configuración de requisitos previos de Hadoop y refuerzo de seguridad - Parte 2
  • Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7 – Parte 3

Tomaremos los 2 nodos siguientes para instalar CDH. Ya hemos instalado Cloudera Manager en master1, también estamos usando master1 como servidor de repositorio.

master1.linux-console.net
worker1.linux-console.net

Paso 1: descargue paquetes CDH en el servidor maestro

1. Primero, conéctese al servidor master1 y descargue los archivos CDH Parcels en el directorio /var/www/html/cloudera-repos/ directorio cdh. Tenemos que descargar los 3 archivos mencionados a continuación que deberían ser compatibles con RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Antes de descargar estos archivos, asegúrese de crear un directorio cdh en la ubicación /var/www/html/cloudera-repos/.

cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh

3. A continuación, descargue los 3 archivos mencionados anteriormente usando el siguiente comando wget.

sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Paso 2: Configurar el repositorio de Cloudera Manager en clientes trabajadores

4. Ahora, conéctese a los servidores worker y copie el archivo de repositorio (cloudera-manager.repo) del servidor de repositorio (master1<) a todos los servidores de trabajo restantes. Este archivo de repositorio garantiza a los servidores que todos los paquetes y RPM necesarios se descargarán del servidor de repositorio durante la instalación.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Una vez agregado el repositorio, enumere los repositorios habilitados para asegurarse de que el repositorio cloudera-manager esté habilitado.

yum repolist

Paso 3: Instale los demonios y el agente de Cloudera Manager en los servidores de trabajo

6. Ahora, necesitamos instalar cloudera-manager-daemons y cloudera-manager-agent en todos los servidores restantes.

sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. A continuación, debe configurar el agente Cloudera Manager para informar al servidor Cloudera Manager.

sudo vi /etc/cloudera-scm-agent/config.ini

Reemplace el localhost con la dirección IP del servidor Cloudera Manager.

8. Inicie el agente Cloudera Manager y verifique el estado.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Paso 4: Instalar y configurar CDH

Tenemos paquetes CDH en master1 – servidor de repositorio. Asegúrese de que todos los servidores tengan el archivo de repositorio de Cloudera Manager en /etc/yum.repos.d/ si sigue la instalación automática usando Cloudera Manager.

9. Inicie sesión en Cloudera Manager utilizando la siguiente URL en el puerto 7180 y utilice el nombre de usuario y la contraseña predeterminados de Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Una vez que inicie sesión, será recibido con la página de bienvenida. Aquí puede encontrar notas de la versión y nuevas funciones de Cloudera Manager.

11. Acepte la licencia y continúe.

12. Seleccione la edición. La versión de prueba ha sido seleccionada de forma predeterminada, podemos continuar con eso.

13. Ahora, siga los pasos de instalación del clúster. Continúe la página de bienvenida.

14. Nombra el Clúster y continúa, lo hemos denominado “tecmint”. Hay 2 tipos de clúster que puedes definir. Estamos procediendo con el grupo regular.

  • Clúster regular: estará formado por nodos de almacenamiento, nodos de computación y otros servicios necesarios.
  • Clúster de computación: estará formado únicamente por nodos de computación. El almacenamiento externo se puede utilizar para almacenar datos.

15. Ya hemos instalado Agentes de Cloudera Manager en todos los servidores. Puede encontrar esos servidores en "Hosts administrados actualmente". Para la instalación automática, hay que introducir el FQDN o IP de los servidores en la opción “Nuevos Hosts” y buscar. Cloudera Manager detectará automáticamente los hosts en los que necesitamos instalar CDH.

Aquí, haga clic en "Hosts administrados actualmente", seleccione todos los hosts seleccionando 'Nombre de host' y continúe.

16. Seleccione Repositorio: usar Parcel es la forma recomendada. Haga clic en 'Más opciones' para configurar el repositorio.

17. Ingrese la URL del repositorio local como se menciona a continuación. Elimine todos los repositorios públicos restantes que apuntan a la Web (Repositorios de Cloudera).

Esta es la URL del repositorio local CDH que tenemos en master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Una vez ingresada la URL del repositorio, esta página mostrará solo los paquetes disponibles. Continúe este paso.

19. Ahora los paquetes se están descargando, distribuyendo, descomprimiendo y activando en todos los servidores disponibles.

20. Una vez que los Paquetes CDH estén activados, inspeccione el Clúster. Este paso realizará un chequeo de salud del clúster. Aquí estamos saltando y continuando.

Paso 5: Configuración del clúster

21. Aquí debemos seleccionar los Servicios que se instalarán en el Cluster. Algunas combinaciones empaquetadas estarán disponibles de forma predeterminada, vamos con Servicios personalizados.

22. En Servicios personalizados, estamos instalando solo Componentes principales (HDFS y YARN >) para este propósito de demostración.

23. Asigne los roles al servidor. Podemos personalizar según nuestros requisitos. Encuentre el siguiente cuadro que describe la Distribución de roles recomendada para un clúster pequeño básico con 5 a 20 nodos con alta disponibilidad.

24. Seleccione el tipo de base de datos, el nombre de host, el nombre de la base de datos, el nombre de usuario y la contraseña. Como utilizamos PostgreSQL integrado, estará seleccionado de forma predeterminada. Pruebe la conexión, debería ser exitosa.

25. Esta página mostrará los parámetros de configuración predeterminados de HDFS y Yarn, incluidos los directorios de datos. Revise todos los detalles de configuración y podrá realizar cambios si es necesario. Luego continúa con esto.

26. Esta página mostrará los detalles del comando 'Primera ejecución'. Puede expandirlo para ver los detalles de la ejecución de comandos. Si hay algún problema de red o de permisos en el clúster, este paso fallará. Por lo general, este paso decide la instalación sin problemas del Cluster Building.

27. Una vez completado el paso anterior, haga clic en "Finalizar" para completar la instalación. Este es el Panel de Cloudera Manager después de instalar CDH.

http://104.211.95.96:7180/cmf/home

Conclusión

Hemos completado con éxito la instalación de Cloudera Manager y CDH. En el Panel de Cloudera Manager, puede encontrar un conjunto predefinido de gráficos donde puede monitorear la CPU del clúster, el disco IO, etc. Podemos administrar todo el clúster utilizando este Cloudera Manager . . Veremos todas las operaciones administrativas en los próximos artículos.