Bu bölümde, veri mühendisliğinin ne olduğunu ve onlara olan talebin neden arttığını öğreneceksiniz. Daha sonra, veri mühendisliğinin Veri Bilimi yaşam döngüsündeki yerini keşfedecek, veri mühendislerinin Veri Bilimci'lerden nasıl farklılaştığını öğrenecek ve ilk tam veri hattınıza giriş yapacaksınız.

Veri mühendisliği ve büyük veri

Akışa ayak uydur

Sorumlu değil

Büyük zaman

Veri mühendisleri ve veri bilimciler

Bana gerçeği söyle

Kim yapar?

Veri hattı

Doğru değil

Boru hattı

Veri mühendisliği nedir?

Veri depolama hakkında konuşmanın zamanı geldi—bir veri mühendisi için ana sorumluluklardan biri. Bu bölümde, veri mühendislerinin farklı veri yapılarını nasıl yönettiğini, verileri sorgulamak ve depolamak için tercih edilen programlama dili olan SQL ile nasıl çalıştıklarını ve veri gölleri ile veri ambarları kullanarak uygun veri depolama çözümlerini nasıl uyguladıklarını öğreneceksiniz.

Veri yapıları

Yapılar

Fark ne

SQL veritabanları

Birlikte çözelim

Sütunlar

Farklı türler

Veri ambarları ve veri gölleri

Doğruyu söyle

Depomuz (sokağımızın ortasında)

Veri depolama

Veri mühendisleri, farklı adımlarda farklı işleme teknikleri kullanarak ham verileri analiz için hazırlayarak Veri Bilimcilerin işini kolaylaştırır. Bu adımların birleştirilerek işlem hattı oluşturulması gerekir; işte otomasyonun devreye girdiği nokta da burasıdır. Son olarak, veri mühendisleri, işlem hattı akışının sorunsuz devam etmesini sağlamak için paralel ve bulut bilişimi kullanır.

Veri işleme

Seçenekler

Extract

Transform

Load

Noktaları birleştir

Veri zamanlama

Manuel

Zaman

Koşul

Zamanlamalar

Batch

Stream

Biri ya da diğeri

Paralel hesaplama

Ne zaman olursa

Doğru

Yanlış

Paralel evren

Bulut bilişim

Bulutların Ardında

Hesaplama

Veritabanları

Bir yere aitim

Biz şampiyonuz

Verileri taşıma ve işleme

Lexicon

Course Glossary: Understanding Data Engineering

2019 yılında, veri mühendislerinin ortalama maaşı Veri Bilimcilerininkini geçti. Bu nasıl oldu? Verilerindeki altını bulmak isteyen şirketler, henüz madeni inşa etmedilerse bunun mümkün olmadığını fark ettiler. Veri mühendisleri, Veri Bilimi'nin mümkün olmasını sağlayan temelleri atar.
<br /> <br />
Bu kurs'ta, bir veri mühendisi'nin temel sorumluluklarını, bunların Veri Bilimci'lerden nasıl farklılaştığını ve verinin bir organizasyon içinde nasıl akışını sağladığını öğreneceksiniz. Uygulamalı egzersizler aracılığıyla, Spotflix adlı kurgusal bir müzik akış şirketini takip ederek, veri mühendislerinin verilerini nasıl topladığını, temizlediğini ve katalogladığını anlayacaksınız. Kursun sonunda, şirketinizdeki veri mühendislerinin ne yaptığını anlayacak, bir veri mühendisiyle sohbet etmeye hazır olacak ve kendi veri mühendisi yolculuğunuza başlamak için sağlam bir temele sahip olacaksınız.

Videolarda canlı transkriptler bulunmaktadır; bu transkriptlere videoların sol alt köşesindeki "Transkripti göster" seçeneğine tıklayarak erişebilirsiniz.

Kurs sözlüğü, sağdaki kaynaklar bölümünde bulunabilir.

CPE kredisi almak için kursu tamamlamanız ve nitelikli değerlendirmede %70 puana ulaşmanız gerekir. Siz sağdaki CPE kredileri duyurusuna tıklayarak değerlendirmeye gidebilirsiniz.

<h2> Veri Mühendisliğinin Temellerini Anlamak </h2>
<br>
Bu kursta, veri mühendislerinin temel sorumluluklarını, veri bilimcilerinden ne kadar farklı olduklarını ve bir kuruluş içinde veri akışını nasıl kolaylaştırdıklarını öğreneceksiniz. Uygulamalı alıştırmalar aracılığıyla, hayali bir müzik akışı şirketi olan Spotflix’i takip ederek, veri mühendislerinin verileri nasıl topladığını, temizlediğini ve katalogladığını öğreneceksiniz. 
<br><br>
<h2> Kişisel Durumlarda Uygulama</h2>
<br>
Kursun sonunda, şirketinizdeki veri mühendislerinin ne iş yaptığını anlayacak, bir veri mühendisiyle sohbet edebilecek duruma gelecek ve kendi veri mühendisliği yolculuğunuza başlamak için sağlam bir temele sahip olacaksınız.

Veri mühendislerinin veri bilimi için nasıl zemin hazırladığını keşfedin. Kodlama gerekmez!

Veri Mühendisliğini Anlamak

Veri mühendislerinin veri bilimini mümkün kılan temelleri nasıl attığını keşfedin. Kodlama gerektirmez!

Yardımcı Veri Mühendisi SQL içinde

Veri Analisti Databricks'te

Veri Konularını Anlama

Mühendislik ekibi kodlayıcıyı değiştirdiği ve hâlâ doğrulama kontrolünden geçtiklerinden emin olmak istediği için şarkı kodlama veri hattını çalıştırmak.

Bölüm 1'deki Spotflix Haftalık Çalma Listesini her Pazartesi saat 00:00'da oluşturmak.

Sanatçılar tarafından yüklenen müzik videolarını her saat işlemek.

Tanıtım kampanyasının gidişatını kontrol etmek için her sabah Google Analytics'ten veri toplamak.

Yeni videolar toplanıyorsa doğrulama kontrollerini çalıştırmak.

Bir kullanıcı abone olduktan sonra bir çalma listesi tablosundaki takipçi sayısını güncellemek.

Zamanlamalar

Veri Mühendisliğini Anlamak

Uygulamalı etkileşimli egzersiz