Los 34 Subsistemas y Procesos de ETL

Se clasifican en 4 grupos
1. Extracción
  1. Se extraen los datos de los sistemas fuentes
  2. Subsistema 1 - Data Profiling
    1. Consiste en
      1. El análisis técnico de los datos para describir su contenido, consistencia y estructura. En cierto sentido, cada vez que se realiza una consulta de investigación SELECT DISTINCT, se está haciendo Data Profiling.
  3. Subsistema 2 - Change Data Capture
    1. Consiste en
      1. Transferir sólo la información que ha cambiado desde la última carga
        Hay varias formas para captar los cambios en la fuente de datos
        Algunas formas son
        Auditar columnas
        Medir los cambios en los tiempos de extracción
        Comparación completa - Registro por registro
        Revisar logs de la base de datos
        Monitorear la cola de mensajes del Sistema de Transacciones Basados en Mensajes
  4. Subsistema 3 - Extract System
    1. Consiste en
      1. Extraer la información desde la fuente de origen hasta la fuente de destino.
        Hay dos métodos principales
        Extraer los datos en archivos. Como en formato XML por ejemplo.
        Extraerlos en un flujo de información: stream.
2. Limpieza y Conformación
  1. Se depuran la información para garantizar una mejor Calidad de Datos
  2. Subsistema 4 - Data Cleansing System
    1. Consiste en
      1. Implementar procesos que permitan detectar inconsistencias en los datos.
        Son importantes las
        Pantallas de Calidad - Quality Screens
        Son el corazón de la arquitectura ETL por cuanto actúan como filtros de diagnóstico en el flujo de datos
  3. Subsistema 5 - Error Event Schema
    1. Consiste en
      1. Mantener un esquema para el manejo de eventos de error cuyo propósito es registrar cada evento de error lanzado por una pantalla de calidad en cualquier parte del proceso de ETL.
  4. Subsistema 6 - Audit Dimension Assembler
    1. Consiste en
      1. Crear metadatos asociados a cada tabla para validar la evolución de la Calidad de los Datos
  5. Subsistema 7 - Deduplication
    1. Consiste en
      1. Eliminar información redundante de tablas importantes como cliente o producto.
        Implica
        Cruzar múltiples tablas en múltiples sistemas de información para detectar un patrón que permita identificar cuando un registro está duplicado.
  6. Subsistema 8 - Conforming
    1. Consiste en
      1. Identificar elementos equivalentes que permiten compartir información entre tablas relacionadas.
3. Entrega
  1. Se prepara la información para su posterior entrega
  2. Subsistema 9 - Slowly Changing Dimension Manager (SCD)
    1. Consiste en
      1. Implementar la lógica para crear atributos de variabilidad lenta a lo largo del tiempo. El sistema ETL debe determinar cómo manejar el valor de un atributo de dimensión que ha cambiado desde el valor ya almacenado en la DW.
        Tipos de acciones a tomar
        Tipo 1: Sobrescribir
        Tipo 2: Crear un nuevo registro
        Tipo 3: Agregar una nueva columna
        Híbrido: Combinación de tipos
  3. Subsistema 10 - Surrogate Key Generator
    1. Consiste en
      1. Crear claves subrogadas independientes para cada tabla
  4. Subsistema 11 - Hierarchy Manager
    1. Consiste en
      1. Hacer inserciones en estructuras jerárquicas de tablas.
  5. Subsistema 12 - Special Dimensions Manager
    1. Consiste en
      1. Crear dimensiones especiales
        Tales como
        Date/Time
        Junk
        Mini-dimensions
        Shrunken
        Small static
        User maintained
  6. Subsistema 13 - Fact Table Builders
    1. Consiste en
      1. Crear Tablas de Hecho las cuales conservan mediciones importantes para la organización
        Tipos de Tablas de Hecho
        Transaction Grain Fact Table (Loader)
        Periodic Snapshot Fact Table (Loader)
        Accumulating Snapshot Fact Table Loader
  7. Subsistema 14 - Surrogate Key Pipeline
    1. Consiste en
      1. Incluir un paso para reemplazar las claves operacionales por las claves subrogadas.
  8. Subsistema 15 - Multi-Valued Dimension Bridge Table Builder
    1. Consiste en
      1. Construir tablas puente para soportar las relaciones de Muchos a Muchos.
  9. Subsistema 16 - Late Arriving Data Handler
    1. Consiste en
      1. Permitir aplicar cambios a los procesos en caso de que los datos tarden en llegar.
  10. Subsistema 17 - Dimension Manager System
    1. Consiste en
      1. Preparar y publicar dimensiones conformadas al equipo de DW
        Una dimensión conformada
        Es por necesidad un recurso gestionado de forma centralizada; cada dimensión conformada debe tener una única fuente y esta debe ser consistente.
  11. Subsistema 18 - Fact Provider System
    1. Consiste en
      1. El proveedor de Tablas de hecho es responsable de una o más Tablas de hecho, de su creación, mantenimiento y uso.
  12. Subsistema 19 - Aggregate Builder
    1. Consiste en
      1. Gestionar las agregadas ya que pueden afectar dramáticamente el rendimiento del entorno de DW.
        Las agregaciones son como indices; son estructuras de datos específicas creadas para mejorar el rendimiento.
        El Sistema de ETL debe manejar muy bien las agregaciones/agregadas para no afectar el rendimiento con el uso excesivo de recursos y ciclos de procesamiento.
  13. Subsistema 20 - OLAP Cube Builder
    1. Consiste en
      1. Alimentar de datos a cubos OLAP desde esquemas dimensionales relacionales.
  14. Subsistema 21 - Data Propagation Manager
    1. Consiste en
      1. Responsabilizarse de los procesos de ETL requeridos para transferir datos conformados e integrados desde la DW a otros entornos para usos especiales.
4. Gesión
  1. Administrar muy bien los criterios de Confiabilidad, Disponibilidad y Manejabilidad
  2. Subsistema 22 - Job Scheduler
    1. Consiste en
      1. Administrar el proceso completo de ETL, en la medida de lo posible, a través de un único entorno de control de trabajo.
        Los servicios necesitados de control de trabajo incluyen
        Job definition
        Job scheduling
        Metadata capture
        Loggin
        Notification
  3. Subsistema 23 - Backup System
    1. Consiste en
      1. Realizar copias de respaldo de los datos generados durante los procesos ETL
        Un completo sistema de respaldo debe proveer excelentes capacidades
        Entre ellas
        High performance
        Simple administration
        Automated, lights out operations
  4. Subsistema 24 - Recovery and Restart System
    1. Consiste en
      1. Permitir reiniciar un proceso ETL en el caso de error. Para este proceso es fundamental un Backup System (Sub. 23) robusto
  5. Subsistema 25 - Version Control System
    1. Consiste en
      1. Permitir hacer control de versiones de un proyecto ETL y de los metadatos asociados. Es una capacidad "snapshotting" para archivar y recuperar toda la lógica y metadatos del flujo de los procesos ETL.
        Controla las entradas y las salidas procesadas para todos los módulos ETL y para los trabajos.
  6. Subsistema 26 - Version Migration System
    1. Consiste en
      1. Permitir pasar proyectos en fase de desarrollo a fase de pruebas y de pruebas a producción mediante versionado. Habilitando además la reversión, es decir pasar de pruebas a desarrollo, por ejemplo.
  7. Subsistema 27 - Workflow Monitor
    1. Consiste en
      1. Monitorizar el Sistema de ETL para medir su rendimiento y tomar decisiones en base a los resultados para garantizar que la DW está siendo cargada periódicamente de manera consistente.
  8. Subsistema 28 - Sorting System
    1. Consiste en
      1. Ordenar los datos de origen en un orden particular para potenciar la eficiencia de los procesos subsecuentes y, en general, el rendimiento del Sistema de ETL y DW/BI
  9. Subsistema 29 - Lineage and Dependency Analyzer
    1. Consiste en
      1. Identificar elementos dependientes, además de identificar las transformaciones en las que participan o han participado. También, permite la trazabilidad del dato.
  10. Subsistema 30 - Problem Escalation System
    1. Consiste en
      1. Apoyar la gestión de incidencias reportadas y comprobadas por QA.
  11. Subsistema 31 - Parallelizing/Pipelining System
    1. Consiste en
      1. Permitir el uso de procesos en paralelo, Grid Computing y Clustering para mejorar el rendimiento y reducir tiempo de los procesos en el Sistema de ETL.
  12. Subsistema 32 - Security System
    1. Consiste en
      1. Gestionar el acceso a ETL y metadatos por parte de personal no autorizado. Incluso los privilegios deben ser restringidos dentro de los miembros del equipo de DW/BI.
  13. Subsistema 33 - Compliance Manager
    1. Consiste en
      1. Permitir soportar la legislación vigente respecto a "la cadena de custodia" y responsabilidad de datos que debe aplicarse a la organización. Este proceso se debe validar en el Levantamiento de Requerimientos.
        Este sistema se debe apoyar en otros como
        Lineage analysis
        Dependency analysis
        Version control
        Backup and restore
        Security
        Audit dimension
  14. Subsistema 34 - Metadata Repository Manager
    1. Consiste en
      1. Capturar y guardar los metados de los procesos ETL, de los datos de negocio y de los aspectos técnicos
PAULO ALEXANDER CHIRÁN

Siguiente

Los 34 Subsistemas y Procesos de ETL

Descripción

Resumen del Recurso

Recursos multimedia adjuntos

Similar

	Creado por David Aldana hace más de 9 años