En este capítulo, aprenderás qué es la ingeniería de datos y por qué está aumentando su demanda. A continuación, descubrirás dónde se sitúa la ingeniería de datos en relación con el ciclo de vida de la ciencia de datos, en qué se diferencian los ingenieros de datos de los científicos de datos, y tendrás una introducción a tu primera canalización de datos completa.

Ingeniería de datos y big data

Go with the flow (Déjate llevar)

Not responsible (No soy responsable)

Big time (Gran momento)

Ingenieros de datos frente a científicos de datos

Tell me the truth (Dime la verdad)

Who is it (Quién es)

La canalización de datos

It's not true (No es verdad)

Pipeline (Canalización)

¿Qué es la ingeniería de datos?

Es hora de hablar del almacenamiento de datos, una de las principales responsabilidades de un ingeniero de datos. En este capítulo, aprenderás cómo los ingenieros de datos gestionan diferentes estructuras de datos, trabajan en SQL (el lenguaje de programación preferido para consultar y almacenar datos) e implementan soluciones adecuadas de almacenamiento de datos con lagos de datos y almacenes de datos.

Estructuras de datos

Structures (Estructuras)

What's the difference (¿Cuál es la diferencia?)

Bases de datos SQL

We can work it out (Podemos solucionarlo)

Columns (Columnas)

Different breeds (Diferentes tipos)

Almacenes de datos frente a lagos de datos

Tell the truth (Di la verdad)

Our warehouse (in the middle of our street) (Nuestro almacén [en medio de nuestra calle])

Almacenamiento de datos

Los ingenieros de datos facilitan la vida a los científicos de datos preparando los datos brutos para el análisis mediante distintas técnicas de procesamiento en diferentes pasos. Estos pasos deben combinarse para crear canalizaciones, que es cuando entra en juego la automatización. Por último, los ingenieros de datos utilizan la computación paralela y en la nube para que las canalizaciones fluyan sin problemas.

Tratamiento de datos

Opciones

Extraer

Transformar

Cargar

Connect the dots (Une los puntos)

Datos de programación

Manual

Tiempo

Condición

Schedules (Programas)

Procesamiento por lotes (batching)

Procesamiento por flujo (streaming).

One or the other (Uno u otro)

Computación paralela

Whenever, whenever (Para cualquier ocasión)

Correcto

Incorrecto

Parallel Universe (Universo paralelo)

Computación en nube

Obscured by clouds (Oscurecido por las nubes)

Computacionales

Bases de datos

Somewhere I belong (Un lugar al que pertenezca)

We are the champions (Somos los campeones)

Mover y procesar datos

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, el salario medio de los ingenieros de datos superó al de los científicos de datos. ¿Cómo ha ocurrido? Las empresas que querían encontrar el oro en sus datos se dieron cuenta de que no era posible si aún no habían construido la mina. Los ingenieros de datos sientan las bases que hacen posible la ciencia de datos.
<br /> <br />
En este curso, aprenderás cuáles son las principales responsabilidades de un ingeniero de datos, en qué se diferencian de los científicos de datos, y a facilitar el flujo de datos a través de una organización. Mediante ejercicios prácticos, seguirás a Spotflix, una empresa ficticia de streaming de música, para comprender cómo sus ingenieros de datos recopilan, limpian y catalogan sus datos. Al final del curso, comprenderás lo que hacen los ingenieros de datos de tu empresa, estarás preparado para mantener una conversación con un ingeniero de datos y tendrás una base sólida para iniciar tu propio viaje como ingeniero de datos.

Los vídeos contienen transcripciones en directo, a las que puedes acceder haciendo clic en «Mostrar transcripción» en la parte inferior izquierda de los vídeos.

El glosario del curso está a la derecha, en la sección de recursos.

Para obtener créditos CPE, tú necesitas completar el curso y alcanzar una puntuación del 70 % en la evaluación cualificada. Puedes ir a la evaluación haciendo clic en el aviso de créditos CPE en la parte derecha.

<h2> Comprender los fundamentos de la ingeniería de datos </h2>
<br>
En este curso, aprenderás cuáles son las principales responsabilidades de un ingeniero de datos, en qué se diferencian de los científicos de datos, y a facilitar el flujo de datos a través de una organización. Mediante ejercicios prácticos, seguirás a Spotflix, una empresa ficticia de streaming de música, para comprender cómo sus ingenieros de datos recopilan, limpian y catalogan sus datos. 
<br><br>
<h2> Aplicar en casos personales</h2>
<br>
Al final del curso, comprenderás lo que hacen los ingenieros de datos de tu empresa, estarás preparado para mantener una conversación con un ingeniero de datos y tendrás una base sólida para iniciar tu propio viaje como ingeniero de datos.

Descubre cómo los ingenieros de datos sientan las bases para la ciencia de datos. ¡Sin programación!

Comprender la ingeniería de datos

Descubre cómo los ingenieros de datos sientan las bases que hacen posible la ciencia de datos. No necesitas.programar.

Ingeniero de Datos Asociado en SQL

Analista de datos en Databricks

Comprender los temas de datos

Ejecutando la canalización de codificación de canciones, porque ingeniería ha cambiado el codificador y quiere asegurarse de que siguen pasando la comprobación de validación.

Generar la lista de reproducción semanal de Spotflix del capítulo 1 todos los lunes a las 00:00 horas.

Procesar vídeos musicales subidos por artistas cada hora.

Recoger datos de Google Analytics cada mañana para comprobar cómo va la campaña de promoción.

Ejecutar comprobaciones de validación si se recopilan nuevos vídeos.

Actualizar el número de seguidores de una tabla de listas de reproducción después de que un usuario se haya suscrito a ella.

Schedules (Programas)

Comprender la ingeniería de datos

ejercicio interactivo práctico