190HORAS |
Diseñado y producido por Smartmind
Contenidos
Objetivo. Utilizar herramientas y técnicas para procesar grandes volúmenes de datos, tanto en modo batch como en streaming, utilizando ecosistemas distribuidos como Hadoop, Spark y Amazon EMR, maximizando la eficiencia en el análisis y transformación de datos. CONOCIMIENTOS/ CAPACIDADES COGNITIVAS Y PRÁCTICAS
Conocimiento de Batch Processing
Hadoop: Ecosistema, HDFS y MapReduce.
Pig: Procesamiento de datos con scripting.
Hive: SQL sobre Hadoop, creación de tablas y consultas.
Sqoop: Transferencia de datos entre sistemas relacionales y Hadoop.
Flume: Ingesta de datos no estructurados hacia HDFS
Spark Core y Spark 2.0: Procesamiento distribuido y nuevas funcionalidades.
Conocimiento de Streaming Processing
Fundamentos de Streaming: Procesamiento continuo de datos.
Spark Streaming: Procesamiento en tiempo real con Spark.
Kafka: Mensajería y procesamiento de eventos.
Pulsar y Apache Apex: Alternativas avanzadas para flujos.
Implementación práctica de sistemas real-time: Diseño e implementación.
Aplicación de medidas de eficiencia energética y sostenibilidad ambiental.
Capacidad de orientación al cliente y escucha en la toma de requisitos.
Comunicación efectiva de los diseños e implementaciones realizados.
Trabajo buscando la eficiencia energética (reducción del uso de memoria volátil y persistente, uso de entornos de desarrollo con impacto reducido en el consumo de recursos, etc.).
Objetivo. Diseñar, implementar y gestionar sistemas de almacenamiento distribuidos y bases de datos NoSQL. CONOCIMIENTOS/ CAPACIDADES COGNITIVAS Y PRÁCTICAS
Uso de sistemas NoSQL
HBase: Almacenamiento basado en columnas.
Cassandra: Escalabilidad y alta disponibilidad.
MongoDB: Base de datos orientada a documentos.
Neo4J: Modelado de datos en gráficos.
Redis: Almacenamiento clave-valor en memoria.
Berkeley DB: Base de datos embebida.
Capacidad para gestionar proyectos de recopilación de datos .
Preocupación por el seguimiento y cumplimiento de políticas y regulaciones de seguridad.
Preocupación por el seguimiento y cumplimiento de políticas de protección de datos.
Objetivo. Implementar arquitecturas híbridas (batch y streaming) y optimizar entornos en la nube utilizando plataformas como AWS y GCP. CONOCIMIENTOS/ CAPACIDADES COGNITIVAS Y PRÁCTICAS
Manejo de sistemas de Computación Híbridos
Arquitectura Lambda: Procesamiento híbrido batch y streaming.
Arquitectura Kappa: Enfoque simplificado para streaming.
Apache Flink: Procesamiento de flujos y batch.
Druid: Analíticas OLAP rápidas.
ElasticSearch y Logstash: Ingesta, búsqueda y analítica.
Kibana: Visualización de datos en tiempo real.
Aplicación de Cloud Computing
Amazon Web Services (AWS): Uso de EMR, S3 y Redshift.
Google Cloud Platform (GCP): BigQuery y DataFlow para análisis.
Capacidad para gestionar proyectos de recopilación de datos .
Preocupación por el seguimiento y cumplimiento de políticas y regulaciones de seguridad.
Preocupación por el seguimiento y cumplimiento de políticas de protección de datos.
Objetivo. Administrar clústeres Big Data, optimizando su rendimiento, seguridad y monitoreo y, utilizar de herramientas de visualización avanzadas como Tableau, Kibana y D3 para transformar los datos en insights visuales útiles para la toma de decisiones empresariales. CONOCIMIENTOS/ CAPACIDADES COGNITIVAS Y PRÁCTICAS
Administración de Sistemas Big Data
Instalación y Administración de Clusters: Cloudera y Hortonworks.
Optimización y Monitorización: Métricas y eficiencia.
Seguridad: Apache Knox, Ranger y Sentry.
Visualización de Datos
Herramientas como Tableau y CartoDB: Dashboards y mapas.
Librerías avanzadas: D3, Leaflet y Cytoscape.
Adaptación a las necesidades y políticas empresariales.
Preocupación por el seguimiento y cumplimiento de políticas de protección de datos.
Preocupación por el seguimiento y cumplimiento de políticas y regulaciones de seguridad.
Trabajo buscando la eficiencia energética (reducción del uso de memoria volátil y persistente, uso de entornos de desarrollo con impacto reducido en el consumo de recursos, etc.).
