Data Engineering

En un mundo cada vez más digitalizado, los datos se han convertido en un recurso estratégico para las organizaciones. La capacidad de recolectar, unificar y gestionar eficientemente los datos es fundamental para impulsar la ciencia de datos, la inteligencia artificial y la analítica avanzada, y así obtener información valiosa que impulse la toma de decisiones informadas.

En este curso vas a adquirir los conocimientos y habilidades necesarias para ser capaz de aprovechar el potencial de los datos en su máximo esplendor. Vas a aprender las técnicas y herramientas fundamentales para recolectar, limpiar, transformar y almacenar datos de manera efectiva, permitiendo su posterior análisis y aplicación en diversos contextos empresariales. Nos centraremos principalmente en el uso de tecnologías clave, tales como Python y sus librerías, sqlalchemy, requests y pandas, así como en la implementación de PostgreSQL y Apache Kafka.

La importancia de la ingeniería de datos radica en su capacidad para unificar y organizar información de múltiples fuentes, creando un ecosistema de datos confiable y coherente. Esto facilita la implementación de modelos de inteligencia artificial, la generación de insights predictivos y la optimización de procesos empresariales. Al dominar los fundamentos de la ingeniería de datos, vas a estar en condiciones de desempeñar un papel crucial en el crecimiento y éxito de las organizaciones en la era de los datos.

Dominar los conceptos y técnicas de la ingeniería de datos mediante la resolución de desafíos prácticos y el desarrollo progresivo de un trabajo integrador, siendo capaz de realizar la ingesta, almacenamiento y procesamiento de datos por cuenta propia.

• Conocer las tecnologías y herramientas de la ingeniería de datos.
• Comprender que es la ingeniería y cuales son sus funciones y responsabiliades.
• Conocer el uso y la importancia de los datos en las organizaciones mediante el estudio y análisis de casos.
• Conocer los conceptos y técnicas para el procesamiento de datos en tiempo real mediante el desarrollo de programas en Python y el uso de Apache Kafka.
• Dominar técnicas de procesamiento de datos mediante el desarrollo de programas en Python.
• Implementar diferentes modelos de almacenamiento de datos para permitir un análisis eficiente, usando el motor de bases de datos Postgres y formatos de archivos especiales como Parquet.
• Dominar las técnicas para extraer datos de diferentes tipos de sistemas y estructuras mediante el desarrollo de programas en Python.

• El curso va dirigido a estudiantes, profesionales e interesados de áreas de Sistemas, Informática o similares que deseen introducirse y/o especializarse en la ingeniería de datos.

• Conocimientos básicos de programación: Es importante tener un entendimiento básico de la programación, incluyendo conceptos como variables, estructuras de control (condicionales y bucles) y funciones. Es deseable tener conocimientos en el lenguaje Python, pero no es obligatorio.
• Conocimientos de SQL. Se necesita ser capaz de realizar consultas SQL para manipular los datos. Esto implica realizar consultas SELECT con condiciones, utilizar funciones de agregación (SUM, COUNT, AVG, etc.), y realizar operaciones de unión (JOIN) entre tablas.
• Conocimientos sobre bases de datos relacionales. Se necesita comprender conceptos como tablas y relaciones entre tablas.