Arquitectura Medallion: estructuración de datos para escala

La Arquitectura Medallion es el patrón de diseño de datos que Arkham emplea para organizar lógicamente y refinar progresivamente los datos a medida que se mueven por Lakehouse. Este enfoque multicapa es la clave para garantizar que los datos se vuelven más limpios, más confiables y más valiosos en cada etapa, creando una base sólida y escalable para todas las aplicaciones de inteligencia artificial y analíticas descendentes.

Las tres capas de calidad

Esta arquitectura organiza los datos en tres capas distintas (bronce, plata y oro), cada una de las cuales representa un mayor nivel de calidad y está destinada a una audiencia y propósito específicos.

• Capa Bronce (Raw): Aquí es donde aterrizamos todos los datos de sistemas fuente externos a través de Conectores de Datos. Los datos aquí se guardan en su formato original, sin procesar (“tal cual”). Esta capa inmutable sirve como un archivo histórico y la fuente para el reprocesamiento, asegurando que nunca perdamos el estado original de los datos.
• Propósito: Backup de datos sin procesar y archiving histórico.
• Usuarios: Ingenieros de Datos.
• Capa plateada (limpiada y conformada): los datos de la capa Bronce se limpian, validan y enriquecen para crear una visión empresarial de entidades comerciales clave (por ejemplo, clientes, productos). Se aplican modelos de datos comunes y los datos de diferentes fuentes se unen y se conforman.
• Propósito: Crear una única fuente de verdad para las entidades comerciales.
• Usuarios: Ingenieros de Datos, Científicos de Datos.
• Gold Layer (listo para el negocio) Los datos de la capa Silver se agregan en tablas y vistas centradas en el negocio que están optimizadas para casos de uso específicos de análisis y reporting. Estos son los conjuntos de datos desnormalizados específicos del proyecto que potencian los paneles, los modelos de ML y las aplicaciones de negocios.
• Propósito: Análisis de potencia, inteligencia de negocios y ML.
• Usuarios: Analistas de Datos, Usuarios de Negocios, Plataforma AI/ML.

Cómo Mejora el Desarrollo de Datos

Para un constructor, este patrón proporciona un marco claro y poderoso para desarrollar canalizaciones de datos:

• Asegura la confiabilidad de la canalización: Al aislar los datos sin procesar y aplicar transformaciones de manera incremental con garantías transaccionales, simplifica la validación y depuración de datos. Los problemas se pueden rastrear hasta su capa de origen, evitando el problema de “basura dentro, basura fuera”.
• Mejora la productividad del desarrollador: La separación de preocupaciones entre capas proporciona una hoja de ruta clara. Los ingenieros de datos pueden concentrarse en crear datos limpios y conformados en la capa Silver, mientras que los analistas pueden autoservir desde tablas Gold de alto rendimiento sin preocuparse por la compleja lógica ascendente.
• Habilita Auditoría y Rejugabilidad: La capa Bronce inmutable proporciona un linaje completo de datos. Si se encuentra un error en una canalización, puede volver a procesar con confianza los datos afectados de la fuente sin procesar para corregir los registros históricos sin volver a ingerirlos del sistema externo.
• Capa plateada (limpiada y conformada): los datos de la capa Bronce se limpian, validan y enriquecen para crear una visión empresarial de entidades comerciales clave (por ejemplo, clientes, productos). Se aplican modelos de datos comunes y los datos de diferentes fuentes se unen y se conforman.
• Optimiza el Performance y el Costo: Las tablas Gold están altamente agregadas y optimizadas para el performance, sirviendo la mayoría de las consultas de los usuarios finales de manera eficiente. Los datos más complejos y de fidelidad completa en la capa Silver se consultan con menos frecuencia, lo que equilibra el costo y el performance.

Diagrama de flujo de datos

El siguiente diagrama visualiza el flujo de datos desde la ingestión sin procesar hasta la información preparada para el negocio, destacando la transformación en cada capa.

Capacidades Relacionadas

Comprenda cómo encaja la Arquitectura Medallion en la plataforma más amplia:

• Plataforma de Datos
• Información general Datos Lakehouse
• Constructor de tuberías