Construcción de Pipelines de Datos con Apache Kafka
Apache Kafka es una plataforma de streaming distribuida. Es de facto un estándar para construir pipelines de datos y resuelve muchos casos de uso diferentes en torno al procesamiento de datos: puede usarse como una cola de mensajes, un registro distribuido, un procesador de flujos, etc.
Comenzaremos con algunas teorías detrás de los pipelines de datos en general, luego continuaremos con los conceptos fundamentales detrás de Kafka. También descubriremos componentes importantes como Kafka Streams y Kafka Connect.
Temario del curso
- Data pipelines 101: ingesta, almacenamiento, procesamiento
- Fundamentos de Kafka: temas, particiones, brokers, replicación, etc.
- APIs de Productor y Consumidor
- Kafka Streams como capa de procesamiento
- Kafka Connect para integrarse con sistemas externos
- Prácticas recomendadas y ajustes de Kafka
Requerimientos
Se prefiere tener conocimientos básicos de Java 8 o Scala. Si desea ejecutar ejemplos localmente, por favor instale Docker y Docker Compose.
Los cursos públicos requieren más de 5 participantes.
Construcción de Pipelines de Datos con Apache Kafka - Reserva
Construcción de Pipelines de Datos con Apache Kafka - Consulta
Construcción de Pipelines de Datos con Apache Kafka - Solicitud de consultoría
Testimonios (2)
Posibilidad de realizar ejercicios independientes en el entorno de formación.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Curso - Kafka for Administrators
Traducción Automática
El formador intentó explicar los temas más complicados de manera más sencilla
Calvin Raj Antony - SICPA SA
Curso - Administration of Kafka Message Queue
Traducción Automática
Próximos cursos
Cursos Relacionados
Administración de Confluent Apache Kafka
21 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida diseñada para tuberías de datos de alta capacidad y análisis en tiempo real tolerantes a fallos.
Este entrenamiento dirigido por un instructor (en línea o presencial) está destinado a administradores de sistemas de nivel intermedio y profesionales DevOps que desean instalar, configurar, monitorear y solucionar problemas en clusters de Confluent Apache Kafka.
Al finalizar este entrenamiento, los participantes podrán:
- Comprender los componentes y la arquitectura de Confluent Kafka.
- Implementar y administrar brokers Kafka, cuórum Zookeeper y servicios clave.
- Configurar características avanzadas que incluyen seguridad, replicación y ajuste de rendimiento.
- Utilizar herramientas de gestión para monitorear y mantener clusters Kafka.
Formato del Curso
- Charla interactiva y discusión.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.
Apache Kafka Connect
7 HorasEste curso dirigido por un instructor y en vivo en Chile (en línea o presencial) está destinado a desarrolladores que desean integrar Apache Kafka con bases de datos y aplicaciones existentes para procesamiento, análisis, etc.
Al finalizar este curso, los participantes serán capaces de:
- Utilizar Kafka Connect para ingerir grandes cantidades de datos desde una base de datos a temas de Kafka.
- Ingresar datos de registro generados por servidores de aplicaciones en temas de Kafka.
- Hacer cualquier dato recopilado disponible para el procesamiento de flujos.
- Exportar datos desde temas de Kafka a sistemas secundarios para almacenamiento y análisis.
Confluent Apache Kafka: Operaciones y Configuración del Clúster
16 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida y de nivel empresarial construida sobre Apache Kafka. Apoya pipelines de datos con alta capacidad de transferencia, tolerancia a fallos y aplicaciones de streaming en tiempo real.
Este entrenamiento dirigido por instructores (en línea o presencial) está destinado a ingenieros y administradores de nivel intermedio que desean implementar, configurar y optimizar clústeres Confluent Kafka en entornos de producción.
Al final de este entrenamiento, los participantes serán capaces de:
- Instalar, configurar y operar clústeres Confluent Kafka con múltiples brokers.
- Diseñar configuraciones de alta disponibilidad utilizando Zookeeper y técnicas de replicación.
- Ajustar el rendimiento, monitorear métricas y aplicar estrategias de recuperación.
- Seguridad, escalado e integración de Kafka con entornos empresariales.
Formato del Curso
- Charlas interactivas y discusiones.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para coordinar.
Building Kafka Solutions with Confluent
14 HorasEste curso dirigido por un instructor (en línea o presencial) está destinado a ingenieros que deseen utilizar Confluent (una distribución de Kafka) para construir y gestionar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones.
Al final de este curso, los participantes serán capaces de:
- Instalar y configurar la Plataforma Confluent.
- Utilizar las herramientas y servicios de gestión de Confluent para ejecutar Kafka de manera más sencilla.
- Almacenar y procesar datos de flujo entrantes.
- Optimizar y gestionar clústeres de Kafka.
- Seguridad de los flujos de datos.
Formato del Curso
- Lectura interactiva y discusión.
- Muchos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Este curso se basa en la versión de código abierto de Confluent: Confluent Open Source.
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para hacer los arreglos necesarios.
Una introducción práctica al procesamiento de flujo
21 HorasEn este entrenamiento dirigido por un instructor en Chile (presencial o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos de Procesamiento de Flujos con sistemas de almacenamiento de datos grandes y aplicaciones y microservicios relacionados existentes.
Al final de este entrenamiento, los participantes serán capaces de:
- Instalar y configurar diferentes marcos de Procesamiento de Flujos, como Spark Streaming y Kafka Streaming.
- Entender y seleccionar el marco más apropiado para el trabajo.
- Procesar datos continuamente, concurrentemente y de forma individual.
- Integrar soluciones de Procesamiento de Flujos con bases de datos existentes, almacenes de datos, lagos de datos, etc.
- Integrar la biblioteca de procesamiento de flujos más apropiada con aplicaciones empresariales y microservicios.
Mensajería Distribuida con Apache Kafka
14 HorasEste curso está dirigido a arquitectos empresariales, desarrolladores, administradores de sistemas y cualquier persona que desee comprender y utilizar un sistema de mensajería distribuida de alto rendimiento. Si tiene requisitos más específicos (por ejemplo, solo el lado de la administración de sistemas), este curso puede ser adaptado para satisfacer mejor sus necesidades.
Kafka para Administradores
21 HorasEste entrenamiento dirigido por un instructor en vivo en Chile (en línea o presencial) está orientado a administradores de sistemas y ingenieros de operaciones de nivel principiante/intermedio/avanzado que desean utilizar Apache Kafka para implementar, asegurar, monitorear y solucionar problemas de clústeres de Kafka.
Al final de este entrenamiento, los participantes serán capaces de: explicar la arquitectura de Kafka y el modo KRaft, operar y asegurar clústeres de Kafka, monitorear el rendimiento y la confiabilidad, y resolver problemas comunes en producción.
Apache Kafka para Desarrolladores
21 HorasEste entrenamiento dirigido por un instructor (en línea o presencial) en Chile está destinado a desarrolladores de nivel intermedio que deseen desarrollar aplicaciones de big data con Apache Kafka.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Desarrollar productores y consumidores de Kafka para enviar y leer datos desde Kafka.
- Integrar Kafka con sistemas externos usando Kafka Connect.
- Escribir aplicaciones de transmisión de datos con Kafka Streams & ksqlDB.
- Integrar una aplicación cliente de Kafka con Confluent Cloud para despliegues basados en la nube.
- Adquirir experiencia práctica a través de ejercicios prácticos y casos de uso del mundo real.
Apache Kafka para Programadores de Python
7 HorasEsta capacitación en vivo dirigida por un instructor en Chile (en línea o presencial) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones Apache Kafka en la transmisión de datos con Python.
Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.
Fundamentos de Kafka para Desarrolladores Java
14 HorasEste curso dirigido por un instructor y en vivo en Chile (en línea o presencial) está destinado a desarrolladores de Java intermedios que deseen integrar Apache Kafka en sus aplicaciones para garantizar mensajes confiables, escalables y de alta throughput.
Al final de este curso, los participantes podrán:
- Comprender la arquitectura y los componentes principales de Kafka.
- Configurar un clúster de Kafka.
- Producir y consumir mensajes utilizando Java.
- Implementar Kafka Streams para el procesamiento en tiempo real de datos.
- Asegurar la tolerancia a fallos y la escalabilidad en aplicaciones de Kafka.
Administration of Kafka Message Queue
14 HorasEsta capacitación en vivo dirigida por un instructor en Chile (en línea o en el sitio) está dirigida a administradores de sistemas de nivel intermedio que desean aprovechar las funciones de cola de mensajes de Kafka de manera efectiva.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender las capacidades y la arquitectura de cola de mensajes de Kafka.
- Configure temas de Kafka para escenarios de cola de mensajes.
- Producir y consumir mensajes con Kafka.
- Supervise y administre Kafka como una cola de mensajes.
Seguridad para Apache Kafka
7 HorasEste entrenamiento dirigido por un instructor en Chile (en línea o presencial) está destinado a testers de software que deseen implementar medidas de seguridad de red en una aplicación de Apache Kafka.
Al final de este entrenamiento, los participantes serán capaces de:
- Implementar Apache Kafka en un servidor basado en la nube.
- Implementar cifrado SSL para prevenir ataques.
- Agregar autenticación ACL para rastrear y controlar el acceso de usuarios.
- Asegurar que los clientes confiables tengan acceso a clústeres Kafka con autenticación SSL y SASL.
Apache Kafka y Spring Boot
7 HorasEsta capacitación dirigida por un instructor (en línea o presencial) en Chile está diseñada para desarrolladores de nivel intermedio que desean aprender los fundamentos de Kafka e integrarlo con Spring Boot.
Al final de esta formación, los participantes podrán:
- Comprender Kafka y su arquitectura.
- Aprender a instalar, configurar y establecer un entorno básico de Kafka.
- Integrar Kafka con Spring Boot.
Creación de aplicaciones de procesamiento de flujo con Kafka Streams
7 HorasKafka Streams es una biblioteca del lado del cliente para construir aplicaciones y microservicios cuyos datos se envían a y desde un sistema de mensajería Kafka. Tradicionalmente, Apache Kafka ha dependido de Apache Spark o Apache Storm para procesar los datos entre los productores y consumidores de mensajes. Al llamar a la API de Kafka Streams desde dentro de una aplicación, los datos pueden ser procesados directamente dentro de Kafka, evitando la necesidad de enviar los datos a un clúster separado para su procesamiento.
En este curso dirigido por un instructor y en vivo, los participantes aprenderán cómo integrar Kafka Streams en un conjunto de aplicaciones de Java de ejemplo que envían datos a y desde Apache Kafka para el procesamiento de flujos.
Al final de este entrenamiento, los participantes serán capaces de:
- Comprender las características y ventajas de Kafka Streams sobre otros marcos de procesamiento de flujos
- Procesar datos de flujo directamente dentro de un clúster de Kafka
- Escribir una aplicación o microservicio en Java o Scala que se integre con Kafka y Kafka Streams
- Escribir código conciso que transforme temas de entrada de Kafka en temas de salida de Kafka
- Construir, empaquetar e implementar la aplicación
Audiencia
- Desarrolladores
Formato del curso
- Parte conferencia, parte discusión, ejercicios y mucha práctica hands-on
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para arreglarlo
Administration of Kafka Topic
14 HorasEsta capacitación en vivo dirigida por un instructor en Chile (en línea o en el sitio) está dirigida a administradores de sistemas de nivel principiante a intermedio que deseen aprender a administrar de manera efectiva los temas de Kafka para una transmisión y procesamiento de datos eficientes.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender los fundamentos y la arquitectura del tema de Kafka.
- Cree, configure y administre temas de Kafka.
- Supervise el estado, el rendimiento y la disponibilidad de los temas de Kafka.
- Implementar medidas de seguridad para los temas de Kafka.