Para las empresas es cada vez más relevante tomar decisiones de negocio basándose en datos, lo cual es clave para alcanzar el éxito deseado.

Esta capacidad se puede potenciar gracias a la incorporación de nuevas tecnologías, que permitan convertir esos millones de datos que posee en información confiable para ser usada estratégicamente por las organizaciones. Así pueden conocer en forma más precisa las preferencias, tendencias de compra o comportamiento de sus clientes, para que después puedan ofrecer aquellos productos y servicios que los consumidores realmente necesitan.

Considerando este contexto, uno de nuestros clientes requería contar con un repositorio consolidado y estandarizado de datos que pudiera ser utilizado por Científicos de Datos y Analistas BI para generar nuevas iniciativas.

“Nuestra misión fue diseñar e implementar un Data Lake con el objetivo de almacenar, integrar y procesar en una única plataforma todos los datos que se encontraban disgregados en las distintas fuentes y silos de la compañía.”

A través de la utilización de esta herramienta nuestro cliente podría hacer un uso mucho más eficiente y ágil de éstos, pudiendo cruzarlos para identificar la relación entre ellos, interpretarlos y analizarlos en menos tiempo, y obtener información más precisa para guiar la toma de decisiones, pudiendo proyectar a futuro una propuesta de valor más acertada hacia el mercado objetivo.

El proyecto partió en octubre del 2019 y está a cargo de nuestra célula Datalakers, que se encuentra integrada por Jaime Catalán, Branko Cotoras, Yeferson Mendoza, Joseilys Vásquez, Sebastián Soto, Alejandro Álvarez, Leonardo Silva y Pedro Garcia, entre otros.

“Desde el inicio nuestra tarea fue encargarnos del diseño de la arquitectura, así como de la estructura interna y organización de los datos para el Data Lake, que se está construyendo en la nube. Este ha sido un reto bien particular y sin precedentes para quienes hemos tenido la oportunidad de participar, debiendo crecer rápidamente en conocimiento y además, adaptarnos para entregar valor y resultados en todo el trabajo realizado” , comenta el Ingeniero de Datos Alejandro López.

En enero de este año, tras presentar el diseño comenzó la implementación del proyecto, el cual se ha tornado clave para la gestión de nuestro cliente, porque ha aportado más valor y ha logrado mejoras en los procesos productivos.

“Durante este tiempo se han aplicado diversas tecnologías y metodologías para consolidar la herramienta, la cual cuenta con un cluster Kafka on-premise que recoge los datos desde fuentes en Chile y el extranjero, moviendo diariamente millones de mensajes al servicio Cloud Pub/Sub. Los jobs de DataFlow toman mensajes y aplican la lógica para alojarlos en las tablas correctas dentro de BigQuery o BigTable, dejando la data disponible para el consumo en menos de 10s en promedio desde la fuente a la nube”, explica.

También cuenta con pipelines en Azure DevOps, tanto para los componentes on-premise como para aquellos que están en la nube, que se pueden desplegar de manera controlada sobre ambientes de prueba y producción. Por último, hay un sistema de monitoreo en Grafana de toda la arquitectura, la que tiene configuradas alertas por correo electrónico para mantener el sistema siempre en excelente y permanente funcionamiento.

“Como equipo seguimos trabajando y avanzando en este proyecto con sello Zenta. Sentimos que es un importante caso de éxito, donde nos ha tocado participar desde las áreas de Datos, Análisis y Arquitectura”, puntualiza Alejandro.

Como Zenta queremos destacar el aporte que están realizando nuestros AstronauTaaS para implementar una plataforma que es altamente estratégica para nuestro cliente en la toma de decisiones de negocio.