El reto:
Diseñar un ecosistema moderno de análisis de datos que pueda ofrecer información perspicaz, de buena calidad y casi en tiempo real a las partes claves interesadas:
- Nuestro cliente del sector Fintech requería asistencia para organizar y extraer información de Apache Fineract y las API de la aplicación, así como la ingesta en el DW a través de tareas de GitLab Runner o Snowflake.
- La operación de datos requería una mejor orquestación de la capa semántica de transformación de datos y la adopción de las mejores prácticas de SE, como la documentación de datos y la creación de linaje y la implementación consciente del entorno.
- El cliente necesitaba mecanismos de calidad de datos para garantizar que los datos mostrados sean correctos y estén actualizados. Además, el cliente requería paneles rápidos, nítidos y atractivos para que los usuarios respondieran fácilmente a sus preguntas.
El compromiso:
Crear una estructura de datos sólida que puede apoyar la toma de decisiones:
- Novacomp proporcionó un equipo de ingenieros de análisis de datos con experiencia en SQL, almacenamiento de datos, modelado dimensional, gobierno de datos y experiencia en visualización.
- Utilizando Snowflake y DBT, el equipo se centró en la organización de la información clave en tablas relacionadas adecuadamente y en la implementación de KPI’s para medir y monitorear la salud del negocio.
- Además, utilizando las herramientas de visualización de Sigma, el equipo creó un análisis nítido y atractivo que pudo responder a las preguntas comerciales más comunes.
Beneficios:
Las partes interesadas liberaron el poder de los datos seleccionados para hacer crecer el negocio:
- Las herramientas se crearon para mostrar información casi en tiempo real para permitir que la administración tome medidas sobre la marcha y maximizar el rendimiento de la cartera de préstamos.
- Mayor confianza en la precisión y puntualidad de los datos para fomentar una cultura organizacional basada en datos.
- El equipo de Novacomp proporcionó un programa de capacitación en toda la empresa para permitir que los equipos creen análisis ad-hoc y mejoren los modelos existentes de acuerdo con sus requisitos particulares.
- A través de la implementación de técnicas ETL inversas, el equipo ayudó a las operaciones comerciales a consumir información DW para impulsar campañas de marketing. generar entradas de diario contable e informes de socios.
Tecnologías clave:
Snowflake
DBT
Sigma Computing
Anomalo
GitlabRunner
Feeds de datos / integración:
Apache Fineract
Java APIs
Apache Pulsar
MySQL
JSON
Amazon S3