• Introducción a Apache Hadoop y el ecosistema Hadoop

• Aspectos generales de Apache Hadoop

• Proceso de datos

• Ejercicios prácticos

• Archivos de almacenamiento de Apache Hadoop

• Componentes del Clúster Apache Hadoop

• Arquitectura HDFS

• Uso de HDFS

• Proceso de datos en un clúster de Apache Hadoop

• Arquitectura YARN

• Trabajando con YARN

• Fundamentos de Apache Spark

• ¿Qué es Apache Spark?

• Arranque del Spark Shell

• Uso de Spark Shell

• Primeros pasos con Datasets y Dataframes

• Operaciones en Dataframe

• Trabajo con Dataframes y Schemas

• Crear Dataframes a partir de Data Sources

• Guardar DataFrames en Data Sources

• DataFrame Schemas

• Primeros pasos con Datasets y Dataframes

• Rapidez y lentitud de ejecución

• Análisis de datos con consultas de DataFrame

• Consultar DataFrames con el empleo de expresiones de columna

• Agrupación y agregación de consultas

• Unión de DataFrames

• RDDs: Sumario

• Vistazo general sobre RDD

• Operaciones con RDDs

• Creando y guardando RDDs

• RDD Data Sources

• Transformación de datos con RDDs

• Escritura y paso de funciones de transformación

• Ejecuciones de transformación

• Conversión entre RDDs y DataFrames

• Agregación de datos con Pair RDDs

• Key-Value Pair RDDs

• Map-Reduce

• Otras operaciones Pair RDD

• Consulta y vistas de tablas mediante SQL

• Datasets y DataFrames

• Creación de Datasets

• Ejecución y guardado de Datasets

• Operaciones de Dataset

Creación, configuración y ejecución de aplicaciones Spark

• Creación de una aplicación Spark

• Compilar y ejecutar la aplicación

• Application Deployment Mode

• La interfaz Spark Application Web UI

• Configuración de las propiedades de la aplicación

Procesamiento distribuido Spark

• Apache Spark en un Clúster

• Particiones RDD

• Ejemplo: Particionamiento en consultas

• Etapas y Tareas

• Planificación de tareas de ejecución

• Ejemplo: Programar la ejecución de Catalyst

• Ejemplo: Programar la ejecución de un RDD

Persistencia de datos distribuidos

• Persistencia en Datasets y DataFrames

• Persistencia en niveles de almacenamiento

• Visualización de RDDs persistentes

Patrones comunes al procesar datos con Spark

• Casos comunes de uso de Spark

• Algoritmos de iteración en Apache Spark

• Machine Learning

• Caso práctico

Introducción a las Estructuras Streaming

• Visión general de Apache Spark Streaming

• Creación de Streaming DataFrames

• Transformación de Dataframes

• Ejecución de consultas Streaming

Estructuras Streaming con Apache Kafka

• Vistazo general

• Recepción de mensajes Kafka

• Envío de mensajes Kafka

Agregación y unión de Streaming Dataframes

• o Agregación Streaming

• o Unión de Streaming Dataframes

Conclusión

Procesamiento de mensajes con Apache Kafka

• ¿Qué es Apache Kafka?

• Visión general de Apache Kafka

• Escalado de Apache Kafka

• Arquitectura de un Clúster Apache Kafka

• Herramientas Apache Kafka de la linea de comandos