Programa del Curso
Introducción
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm y Flink
Instalación y configuración Apache Beam
Descripción general de Apache Beam Características y arquitectura
- Modelo de viga, SDK, correderas de tubería de viga
- Back-ends de procesamiento distribuido
Descripción del modelo Apache Beam Programming
- Cómo se ejecuta una canalización
Ejecución de una canalización de ejemplo
- Preparación de una canalización WordCount
- Ejecución de la canalización localmente
Diseño de una canalización
- Planificación de la estructura, elección de las transformaciones y determinación de los métodos de entrada y salida
Creación de la canalización
- Escribir el programa del controlador y definir la canalización
- Uso de clases Apache Beam
- Conjuntos de datos, transformaciones, E/S, codificación de datos, etc.
Ejecución de la canalización
- Ejecución de la canalización localmente, en máquinas remotas y en una nube pública
- Elegir un corredor
- Configuraciones específicas del corredor
Pruebas y depuración Apache Beam
- Uso de sugerencias de tipo para emular la tipificación estática
- Administración de Python dependencias de canalización
Procesamiento de conjuntos de datos delimitados y no enlazados
- Ventanas y disparadores
Hacer que sus tuberías sean reutilizables y mantenibles
Crear nuevos orígenes y receptores de datos
- Apache Beam API de origen y receptor
Integración de Apache Beam con otros Big Data sistemas
- Apache Hadoop, Apache Spark, Apache Kafka
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia con Python Programación.
- Experiencia con la línea de comandos de Linux.
Audiencia
- Desarrolladores
Testimonios (4)
Sufficient hands on, trainer is knowledgable
Chris Tan
Curso - A Practical Introduction to Stream Processing
Las explicaciones eran muy buenas, si bien algunas preguntas pudieron ahorrarse si se hubieran tocado esos puntos al inicio de los temas se notó un buen dominio y experiencia en el tema.
Alan Jaime Rodríguez García - BANCO DE MEXICO
Curso - Stream Processing with Kafka Streams
Muy poco, se me dificulto mucho y mas por que entre desfasado, no tome los primeras sesiones.
Rolando García - OIT para México y Cuba
Curso - Apache NiFi for Administrators
La exposicion del maestro