Cursos de Spark para Desarrolladores

1. Scala primer

• Una breve introducción a Scala
• Laboratorios: Conocimiento Scala

2. Spark Basics

• Antecedentes e historia
• Spark y Hadoop
• Spark conceptos y arquitectura
• Spark sistema ecológico (núcleo, spark sql, mlib, streaming)
• Labs: Instalación y funcionamiento de Spark

3. Primera mirada a la chispa

• Ejecutar Spark en modo local
• Interfaz web de Spark web
• Cáscara de chispa
• Análisis del conjunto de datos - parte 1
• Inspección de RDDs
• Labs: Exploratio de la cáscara de la chispa

4. RDDs

• Conceptos de RDDs
• Particiones
• Operaciones / transformaciones RDD
• Tipos de RDD
• Par de valores clave y RDDs
• MapReduce en RDD
• Almacenamiento en caché y persistencia
• Labs: creación e inspección de RDDs; Caching de RDDs

5. Programación de Spark API

• Introducción al API Spark API / RDD
• Enviar el primer programa a Spark
• Depuración / registro
• Propiedades de configuración
• Labs: Programación en Spark API, Envío de trabajos
• Google Translate for Business:Translator ToolkitWebsite Translator

6. Spark SQL

• Soporte de SQL en Spark
• Dataframes
• Definición de tablas e importación de conjuntos de datos
• Consultar marcos de datos con SQL
• Formatos de almacenamiento: JSON / Parquet
• Labs: Creación y consulta de marcos de datos; Evaluación de formatos de datos

7. MLlib

• Introducción de MLlib
• Algoritmos MLlib
• Labs: Escritura de aplicaciones MLib

8. GraphX

• Descripción de la biblioteca GraphX
• API de GraphX
• Labs: Procesamiento de datos de gráficos utilizando Spark

9. Spark Streaming

• Descripción general de la transmisión
• Evaluación de plataformas de transmisión
• Operaciones de streaming
• Operaciones de ventana deslizante
• Labs: Escribir aplicaciones de chispa en streaming

10. Spark y Hadoop

• Hadoop Intro (HDFS / YARN)
• Arquitectura de Hadoop + Spark
• Ejecutar Spark en Hadoop YARN
• Procesamiento de archivos HDFS con Spark

11. Rendimiento y optimización de la chispa

• Variables de difusión
• Acumuladores
• Gestión de memoria y caché

12. Operaciones de chispa

• Implementación de Spark en producción
• Ejemplos de plantillas de implementación
• Configuraciones
• Supervisión
• Solución de problemas