¿Cómo implementar Elasticsearch en Kubernetes?

En el mundo actual, los datos son el alma de las empresas. Ya sean datos de clientes, datos de ventas o datos de productos, la capacidad de almacenarlos, buscarlos y analizarlos de manera efectiva puede marcar una diferencia significativa en el éxito de una empresa. Elasticsearch es un motor de análisis y búsqueda distribuido diseñado para brindar velocidad y escalabilidad.

Puede procesar millones de consultas por segundo y manejar petabytes de datos con facilidad. Kubernetes, por otro lado, es un sistema de orquestación de contenedores de código abierto que automatiza la implementación, el escalado y la administración de aplicaciones.

Configurar el entorno

Instalación de las herramientas necesarias (kubectl, helm)

Antes de implementar Elasticsearch en Kubernetes, deberá tener kubectl y helm instalados en su máquina local. Kubectl es una herramienta de interfaz de línea de comandos (CLI) que se utiliza para comunicarse con el clúster de Kubernetes y administrar recursos como implementaciones, servicios y pods.

Helm es un administrador de paquetes para Kubernetes que simplifica el proceso de instalación de aplicaciones al proporcionar gráficos preconfigurados.

Configuración del clúster de Kubernetes para la implementación de Elasticsearch

Una vez que kubectl y helm estén instalados en su máquina local, deberá configurar su clúster de Kubernetes para la implementación de Elasticsearch. Esto implica crear un espacio de nombres para los recursos de Elasticsearch y configurar un almacenamiento persistente. Para crear un espacio de nombres usando kubectl:

kubectl create namespace elasticsearch  

Esto creará un nuevo espacio de nombres llamado "elasticsearch".

El siguiente paso es configurar el almacenamiento persistente que permite que los datos se almacenen fuera de un pod individual para que permanezcan disponibles incluso si el pod falla o se reinicia debido a necesidades de mantenimiento o escalado. Debe instalar un proveedor de almacenamiento externo, como un aprovisionador de clase de almacenamiento NFS o una clase de almacenamiento en bloque de un proveedor de nube que ofrezca volúmenes en bloque aprovisionados.

Crear una implementación de Elasticsearch

Crear un archivo YAML para la configuración de implementación

Antes de implementar Elasticsearch en Kubernetes, deberá crear un archivo YAML que defina la configuración de su implementación de Elasticsearch. Kubernetes utiliza este archivo YAML para comprender cómo desea implementar ElasticSearch.

A continuación se muestra un ejemplo de cómo podría verse su archivo YAML:

apiVersion: apps/v1 
kind: Deployment metadata: 
name: elasticsearch spec: 
selector: matchLabels: 
app: elasticsearch replicas: 1 
template: metadata: 
labels: app: elasticsearch 
spec: containers: 
- name: elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:{VERSION} 
ports: - containerPort: 9200 
name: http - containerPort: 9300 
name: tcp  

Este archivo YAML contiene la especificación para una única réplica de un contenedor Elasticsearch que se ejecuta en un pod de Kubernetes.

Definición de recursos, réplicas y otras configuraciones en el archivo YAML

Además de definir el recuento de réplicas y la etiqueta de imagen para su implementación de Elasticsearch, también puede especificar varios requisitos de recursos, como límites de CPU y memoria. De forma predeterminada, Kubernetes asignará límites y solicitudes de recursos predeterminados para cada contenedor en función de sus características conocidas. Para definir límites o requisitos de recursos personalizados para su implementación de ElasticSearch, agregue las siguientes líneas en las especificaciones del contenedor:

resources: requests : 
memory : "8Gi" cpu : "2" 
limits : memory : "16Gi" 
cpu : "4"  

También puede configurar otras configuraciones, como variables de entorno, argumentos de línea de comando, sondas de actividad, etc.

Implementación de la instancia de Elasticsearch usando el comando kubectl apply

Una vez que haya creado el archivo YAML, puede implementarlo en su clúster de Kubernetes usando el comando kubectl apply:

kubectl apply -f elasticsearch.yaml  

Este comando creará una nueva implementación con la configuración especificada en el archivo YAML.

Puede ver el estado de su implementación de Elasticsearch ejecutando "kubectl get despliegues" y "kubectl get pods". ¡Felicidades!

Ha creado e implementado con éxito una instancia de Elasticsearch en Kubernetes. El siguiente paso es configurar los ajustes de Elasticsearch, como nodos, patrones de índice, asignaciones, etc.

Configurando Elasticsearch

Configurar patrones de índice y asignaciones

Una vez que haya implementado con éxito su clúster ElasticSearch en Kubernetes, el siguiente paso es configurarlo para que se ajuste a sus necesidades de datos. Un aspecto importante de esta configuración es la configuración de patrones de índice y asignaciones. Un patrón de índice es una forma de definir cómo se organizarán sus datos en ElasticSearch, mientras que el mapeo especifica los campos y sus tipos de datos que se almacenarán en cada índice.

Para crear un patrón de índice, puede utilizar Kibana o la API REST de ElasticSearch. Kibana facilita que las personas que no están familiarizadas con la API o la programación configuren su instancia de ElasticSearch.

Para crear un patrón de índice en Kibana, vaya a la pestaña de administración y seleccione "Patrones de índice". Luego haga clic en "Crear patrón de índice" e ingrese un nombre para su patrón.

Configuración de los ajustes del nodo para un rendimiento óptimo

Los nodos de Elasticsearch son responsables de indexar y almacenar documentos, así como de buscarlos cuando se ejecuta una consulta. Para garantizar un rendimiento óptimo de su implementación de Elasticsearch en Kubernetes, es importante configurar correctamente los ajustes del nodo. Una consideración importante al configurar nodos es la asignación de memoria.

De forma predeterminada, Elasticsearch asigna 1 GB de memoria por nodo, lo que puede no ser suficiente si trabaja con grandes conjuntos de datos. Para ajustar esta configuración, simplemente edite el archivo jvm.options en cada nodo y cambie -Xms1g y -Xmx1g a valores más altos.

Otra consideración a la hora de configurar nodos es la cantidad de fragmentos por índice. Los índices de Elasticsearch se pueden dividir en varios fragmentos para un mejor rendimiento.

Implementación de Kibana en Kubernetes

Instalación de Kibana mediante el gráfico Helm

Kibana es una herramienta de exploración y visualización de datos de código abierto que se puede utilizar para visualizar datos de Elasticsearch. A menudo se implementa junto con Elasticsearch para proporcionar una interfaz fácil de usar para interactuar con los datos. Para implementar Kibana en Kubernetes, utilizaremos el administrador de paquetes Helm.

Helm es una poderosa herramienta que nos permite implementar paquetes preconfigurados (llamados gráficos) en nuestro clúster de Kubernetes. Para instalar Kibana usando Helm, primero debemos agregar el repositorio Elastic a nuestra configuración de Helm:

bash helm repo add elastic https://helm.elastic.co    

Una vez que se haya agregado el repositorio Elastic, podemos instalar el gráfico de Kibana:

bash helm install kibana elastic/kibana  

Esto implementará una única instancia de Kibana en nuestro clúster de Kubernetes, al que se puede acceder a través de un navegador web en http://:5601.

Configuración de Kibana para conectarse al clúster ElasticSearch implementado

Para que Kibana interactúe con Elasticsearch, necesita saber cómo conectarse. De forma predeterminada, el gráfico Helm configurará Kibana con algunos valores predeterminados sensatos que deberían funcionar de inmediato. Sin embargo, si necesita más control sobre cómo Kibana se conecta a Elasticsearch (por ejemplo, si ha configurado su implementación de Elasticsearch para alta disponibilidad), es posible que deba editar algunos archivos de configuración.

La forma más sencilla de hacerlo es mediante ConfigMaps en Kubernetes. Primero, crearemos un nuevo ConfigMap llamado `kibana.yml` -

bash kubectl create configmap kibana-yml --from-file=kibana.yml    

A continuación, le indicaremos al gráfico Elastic que queremos que utilice nuestro archivo `kibana.yml` personalizado para la configuración:

bash helm upgrade kibana elastic/kibana --set configMap=kibana-yml  

En este punto, Kibana debe estar configurado para conectarse a nuestra implementación de Elasticsearch.

Conclusión

En este artículo, analizamos la importancia de implementar Elasticsearch en Kubernetes y proporcionamos una guía detallada sobre cómo hacerlo. Cubrimos los requisitos previos para implementar Elasticsearch en Kubernetes, configuramos el entorno, creamos una implementación de Elasticsearch con el comando kubectl apply, configuramos Elasticsearch para una configuración de rendimiento óptima e implementamos Kibana en Kubernetes usando el gráfico Helm. Además, hemos analizado cómo monitorear el clúster ElasticSearch usando Prometheus.

La implementación de Elasticsearch en Kubernetes puede aportar muchos beneficios a las organizaciones, como escalabilidad, gestión automatizada y mayor eficiencia. Si sigue los pasos descritos en este artículo, podrá implementar con éxito su propio clúster de ElasticSearch en Kubernetes.