Techtalk VCSOFT: EDA & KAFKA

Instructor: Andres Felipe Cadavid - Desarrollador VCSOFT Agenda: 1. Bienvenida e introducción ¿Por qué Kafka? Casos comunes de uso (eventos, logs, streams) 2. ¿Qué es Kafka? Definición de Kafka como plataforma de Streaming Modelo de publicación y suscripción Capacidades principales: Procesar Almacenar Analizar datos Ejemplos de uso 3. Componentes del clúster Kafka Explicación progresiva, de lo general a lo específico Clúster y Brokers Qué es un clúster? Rol del broker. Tolerancia a fallos Tópicos Organización lógica de la información Relación productor – consumidor Particiones Escalabilidad y paralelismo Ordenamiento de mensajes Segmentos Cómo Kafka almacena los datos Retención y limpieza de información Mensajes Estructura: clave, valor y headers Importancia de la clave 4. Organización y distribución de datos Tipos de datos que puede manejar Kafka Ordenamiento de mensajes Garantía de orden por partición Buenas prácticas cuando el orden es crítico Relación entre clave y partición 5. Mecanismos de fiabilidad Parte clave de la charla Replicación Líder y réplicas Alta disponibilidad Consumer Groups Distribución de carga Paralelismo ZooKeeper Rol dentro del clúster Gestión y recuperación ante fallos ACKs NONE (0) LEADER (1) ALL (-1) Casos de uso de cada uno Idempotencia Evitar duplicados Relación con acks=all Garantías de entrega A lo sumo una vez Al menos una vez Exactamente una vez 6. Cierre y conclusiones Resumen de ideas clave Buenas prácticas generales Cuándo Kafka es una buena (o mala) elección 7. Dudas y preguntas Espacio abierto para preguntas