Bu ilk bölümde, data engineering dünyasıyla tanışacaksın! Bir data engineer ile data scientist arasındaki farkları keşfet, data engineer'ların kullandığı çeşitli araçlara genel bir bakış edin ve bulut teknolojisinin data engineering'de nasıl bir rol oynadığını daha iyi anla.

Veri mühendisliği nedir?

Veri mühendisinin görevleri

Data engineer mı yoksa data scientist mi?

Veri mühendisliği problemleri

Veri mühendisinin araçları

Veritabanı türleri

İşleme görevleri

Zamanlama araçları

Bulut sağlayıcıları

Neden bulut bilişim?

Bulut bilişimde büyük oyuncular

Bulut hizmetleri

Data Engineering'e Giriş

Artık bir data engineer ile data scientist arasındaki temel farkları bildiğine göre, data engineer'ın araç kutusunu keşfetmeye hazırsın! Data engineer'ların kullandığı farklı veritabanı türlerini detaylıca öğren, paralel hesaplamanın bu araç kutusunun temel taşı olduğunu gör ve zamanlama çatılarıyla veri işleme işlerini nasıl planlayacağını keşfet.

Veritabanları

Eşleştirmeler

NoSQL

SQL vs NoSQL

Veritabanı şeması

İlişkiler üzerinden join

Yıldız şeması diyagramı

Paralel hesaplama nedir

Neden paralel hesaplama?

Görevden alt görevlere

Bir DataFrame Kullanma

Paralel hesaplama çerçeveleri

Kartlar

Hadoop

PySpark

Hive

Spark, Hadoop ve Hive

Bir PySpark groupby işlemi

PySpark dosyalarını çalıştırma

İş akışı zamanlama çerçeveleri

Airflow, Luigi ve cron

Airflow DAG'leri

Data engineering araç kutusu

Data engineer'ların araç kutusunu gördüğüne göre, şimdi bir data engineer'ın günlük iş akışının bel kemiğine geçme zamanı! ETL ile farklı kaynaklardan ham veriyi nasıl çıkaracağını, bu ham veriyi işe yarar içgörülere dönüştürmeyi ve tüketilmeye hazır şekilde ilgili veritabanlarına yüklemeyi öğreneceksin.

Extract

Veri kaynakları

Bir API'den veri çek

Bir veritabanından oku

Dönüştür

Kira ücretini bölme

Dönüşümlere hazırlan

Derecelendirmelerle birleştirme

Yükleme

OLAP mı OLTP mi

Dosyaya yazma

Postgres'e Yükleme

Hepsini bir araya getirme

Bir DAG Tanımlamak

Airflow'u kurma

DAG'i yorumlama

Extract, Transform and Load (ETL)

Önceki üç bölümde öğrendiklerini, DataCamp'ten gerçek bir data engineering kullanım senaryosunu tamamlayarak taçlandır! Ham kurs puanlama verisini ETL süreciyle dönüştürüp DataCamp öğrencileri için uygulanabilir kurs önerilerine çevirecek ve bu süreci zamanlayacaksın!

Kurs puanları

Şemayı keşfetmek

Tabloyu sorgulama

Kurs başına ortalama puan

Puanlamalardan önerilere

Bozuk verileri filtrele

Öneri dönüştürmesini kullanma

Günlük işleri zamanlama

Hedef tablo

DAG'i tanımlama

DAG'i Etkinleştir

Önerileri sorgulama

Tebrikler

Vaka Çalışması: DataCamp

datacamp_application.sql

İnsanların data engineer'lardan bahsettiğini duyup tam olarak ne yaptıklarını mı merak ediyorsun? Ne yaptıklarını biliyor ama sen nasıl data engineer olacağını bilmiyor musun? Bu kurs tam sana göre bir başlangıç. Veri işleme süreçlerini nasıl hızlandıracağına dair bilmen gereken her şeye dokunuyor. Bu giriş kursu, data engineering dünyasını keşfetmeye başlaman için sana yeterli bağlamı sunacak. Birden fazla veri kaynağıyla çalışan ama tüm bu kaynakları ölçeklenebilir bir şekilde nasıl kullanacağını netleştiremeyenler için ideal. Bu teknikleri şirketine ilk sen getir ve şirketin parlayan yıldız çalışanı ol.

<h2>Veri Mühendisliğine Başlayın</h2> 
Veri mühendisliği alanında kariyer yapmayı merak ediyor ama nereden başlayacağınızı bilmiyor musunuz? Ya da belki de bir sonraki adımları atmadan önce veri mühendislerinin ne yaptıkları hakkında daha fazla bilgi edinmek istersiniz? Bu dört saatlik kurs, veri mühendisliğine giriş niteliğinde olup, bu işi yapmak için anlamanız gereken temel kavramları, teknikleri ve araçları ele almaktadır.
<br><br> 
<h2>Veri Mühendisliği Kavramlarını ve Tekniklerini Öğrenin</h2> 
Öncelikle veri mühendisi ile veri bilimcisi arasındaki farkları (ve bunların nasıl birlikte çalıştıklarını) öğrenecek, ardından bu mesleğin araçları hakkında daha fazla bilgi edinecek, özellikle bulut bilişim ve paralel bilişim hakkında konuşacaksınız. İkinci bölümün sonunda, SQL ve NoSQL uygulamalarını, DataFrames kullanımını ve paralel hesaplamanın neden bu kadar önemli olduğunu anlayacaksınız.
<br><br> 
<h2>Uygulamalı Alıştırmalarda ETL Gerçekleştirme</h2> 
ETL süreci, veri mühendisinin iş akışının temelini oluşturur. Verilerin analiz ve içgörü elde etmek için nasıl çıkarıldığını, dönüştürüldüğünü ve yüklendiğini öğreneceksiniz. Kursun sonunda, tüm bu bilgileri gerçek dünya verilerini kullanarak bir ETL sürecini kendiniz gerçekleştirip planlayarak uygulamaya koyacaksınız.
<br><br> 
Alıştırmalarımız ve interaktif testlerimiz, yeni bilgilerinizi gözden geçirmenize ve pekiştirmenize olanak tanır, böylece Başarı Belgesi'nizi aldıktan sonra bu bilgileri güvenle tartışabilir ve uygulayabilirsiniz.
<br><br> 
Bu giriş dersi, veri mühendisliği konusunda bilgilerinizi geliştirmenize ve profesyonel bir veri mühendisi olmak için atmanız gereken adımları net bir şekilde öğrenmenize olanak tanıyan veri mühendisliği programının bir parçasıdır.

Intermediate Python

Intermediate SQL

Bugün veri mühendisi olmak için ilk adımı atın. Bu dört saatlik kursta veri mühendisliğini öğrenin.

ETL ve bulut bilişim gibi araçları ve konuları kapsayan bu kısa kursta veri mühendisliği dünyası hakkında bilgi edinin. 

Yıldız şeması diyagramı

Data Engineering'e Giriş

Uygulamalı etkileşimli egzersiz