Ingeniería de Datos con Apache Spark y Databricks
Presentación
En un entorno donde los datos crecen en volumen y complejidad, las organizaciones recurren cada vez más a soluciones en la nube por su escalabilidad, flexibilidad y capacidad para simplificar el trabajo con grandes volúmenes de información, Apache Spark se ha consolidado como una tecnología clave para el procesamiento distribuido, y Databricks ofrece una plataforma moderna que permite aprovechar estas capacidades en tareas concretas de ingeniería de datos.
En este curso, vas a aprender a usar Spark dentro de Databricks para resolver problemas concretos de ingeniería de datos. Vas a trabajar sobre lectura, procesamiento, almacenamiento, automatización y optimización de datos, combinando teoría con práctica y construyendo un trabajo integrador que se desarrolla a lo largo de toda la cursada.
Está dirigido a quienes ya tienen conocimientos en Python, SQL e ingeniería de datos, y desean continuar su formación incorporando el uso de una plataforma actual, basada en la nube, con fuerte presencia en el mercado. Es especialmente útil para quienes ya completaron un curso introductorio o tienen experiencia previa y buscan dar un paso más.
El curso busca ampliar las herramientas con las que trabajan quienes se dedican al procesamiento y gestión de datos, incorporando prácticas modernas que permiten organizar mejor el trabajo, mejorar la calidad de los resultados y prepararse para nuevos desafíos técnicos y profesionales.
Modalidad: A distancia ágil
Objetivo general
Dominar los conceptos y prácticas de la ingeniería de datos utilizando Apache Spark y Databricks, mediante la resolución de desafíos prácticos y el desarrollo progresivo de un trabajo integrador, siendo capaz de realizar la ingesta, el procesamiento y la gestión de datos reales de forma autónoma y eficiente.
Objetivos específicos
- Analizar el rendimiento de los procesos desarrollados con Spark e implementar técnicas de optimización para mejorar su eficiencia
- Orquestar tareas de procesamiento de datos utilizando Databricks Workflows, garantizando reproducibilidad y eficiencia.
- Implementar estrategias de almacenamiento y control de versiones utilizando Delta Lake, aprovechando sus capacidades para mantener la integridad y trazabilidad de los datos.
- Aplicar técnicas de limpieza, transformación y enriquecimiento de datos utilizando DataFrames y Spark SQL, preparando la información para su análisis.
- Dominar las técnicas para leer, manipular y almacenar datos estructurados y semiestructurados en Databricks, utilizando Spark y formatos optimizados como Parquet y Delta Lake.
- Conocer los conceptos fundamentales de Apache Spark y comprender el funcionamiento básico de la plataforma Databricks como entorno de trabajo para la ingeniería de datos.
Destinatarios
- Estudiantes, profesionales e interesados de áreas de Sistemas, Informática o similares que tengan nociones básicas de ingeniería de datos y estén interesados en especializarse en una tecnología escalable como Databricks y Apache Spark.
Requisitos
- Nociones básicas de ingeniería de datos: es importante tener una comprensión básica de los procesos involucrados en la ingeniería de datos, como la ingesta, almacenamiento, procesamiento y transformación de datos.
- Conocimientos de programación en Python: se requiere manejar los fundamentos de programación en Python, incluyendo variables, estructuras de control (condicionales, bucles) y funciones. Esto es necesario para desarrollar transformaciones y lógica en Spark a lo largo del curso.
- Conocimientos de SQL: es necesario saber realizar consultas SQL básicas, incluyendo SELECT con filtros, funciones de agregación (SUM, COUNT, AVG, etc.) y operaciones de combinación de tablas (JOIN).
- Conocimientos sobre bases de datos relacionales: se espera comprender conceptos como tablas, claves primarias y foráneas, y relaciones entre tablas.
Equipo docente
Guido Franco
Coordinador
Mi nombre es Guido, soy Data Engineer Senior con amplia experiencia en la industria de Oil & Gas. Actualmente, como Owner Architect lidero equipos de ingeniería de datos y me ocupo de la definición, despliegue y evolución de soluciones de Big Data en diferentes proyectos. Además, cuento con dos certificaciones de Microsoft en Cloud Compu ting y Data & Analytics. También, he tomado diversos cursos a nivel internacional en Arquitectura, Ingeniería y Ciencia de Datos.
- Documentación oficial de Databricks. Obtenido de https://docs.databricks.com/aws/en
- Documentación oficial de Apache Spark, Obtenido de https://spark.apache.org/docs/3.5.6/
Metodología De Enseñanza-Aprendizaje:
Nuestro modelo de formación te ofrece flexibilidad sin perder la interacción, combina autoaprendizaje con el apoyo de expertos y compañeros para una experiencia dinámica y efectiva.
Características de la formación
- E-learning colaborativo: estudia a tu ritmo con material curado y actividades prácticas.
- Acompañamiento experto: consulta dudas en foros y mensajes directos con tutores.
- Clases en vivo: dos encuentros por módulo para reforzar conceptos y resolver consultas en tiempo real.
A quiénes está dirigido
- Profesionales y estudiantes que buscan una formación flexible y de calidad.
Modalidad de Evaluación y Acreditación:
Estos son los requisitos que deberás cumplir para obtener la acreditación del trayecto formativo:
- Aprobar las evaluaciones integradoras por módulo.
- Realizar y aprobar la Evaluación Integradora Final Obligatoria (EFIO), que puede consistir en la entrega de una tarea basada en una consigna específica o en la realización de un cuestionario.
- Descargar y leer todos los materiales de la unidad temática.
- Entregar y aprobar todas las actividades y ejercicios obligatorios.
- Cumplir con la dedicación horaria recomendada para lograr el máximo rendimiento.
- Finalizar la cursada dentro del período estipulado, sin excepciones. Una vez finalizado el curso, no será posible entregar o descargar actividades pendientes. Quienes deseen completarlo deberán inscribirse en una nueva edición.
La evaluación final cuenta con una instancia de recuperatorio para quienes no aprueben en el primer intento o no la realicen dentro de las fechas establecidas en el cronograma.
Certificación
- La certificación se otorgará en función de la calificación obtenida en la EFIO.
- Las calificaciones posibles serán: bueno, muy bueno, excelente, sobresaliente, participó o no participó.
- Quienes obtengan una de las cuatro primeras calificaciones recibirán un certificado de aprobación.
- Aquellos que no alcancen estas calificaciones o no realicen la EFIO podrán obtener un certificado de participación, previa evaluación del tutor.
Los certificados emitidos por Centro de e-Learning UTN BA cuentan con un sistema de validación basado en tecnología blockchain, que garantiza autenticidad, trazabilidad y transparencia en todo momento.
¿Quieres capacitar a tu equipo con esta formación?
Accede al Portal de Empresas: compra múltiples licencias en pocos pasos, recibe facturación a nombre de tu compañía y gestiona el aprendizaje de todo tu equipo desde un solo lugar.
Comprar licencias para mi equipo