Obliczenia macierzy pomyłek

Twój klasyfikator na danych kredytowych osiągnął następujące wyniki: 163 prawdziwie pozytywne, 15 fałszywie pozytywne, 48 fałszywie negatywne i 24 prawdziwie negatywne. Liczby te są wczytane w środowisku konsoli jako tp, fp, fn i tn. Poniższe stwierdzenia dotyczą dwóch metryk: dokładności (ang. accuracy), definiowanej jako odsetek poprawnie sklasyfikowanych przykładów, oraz czułości (ang. recall), czyli odsetka prawdziwie pozytywnych przykładów sklasyfikowanych jako pozytywne. Które ze stwierdzeń jest prawdziwe?

To ćwiczenie jest częścią kursu

Projektowanie przepływów pracy uczenia maszynowego w Pythonie

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie

To ćwiczenie jest częścią kursu

Projektowanie przepływów pracy uczenia maszynowego w Pythonie

SkillTag.level.advancedSkillTag.label

4.8+

96 reviews

Rozpocznij kurs za darmo

W tym rozdziale przypomnisz sobie podstawy nadzorowanego przepływu pracy – od dopasowywania i strojenia modelu, przez selekcję cech i inżynierię cech, aż po techniki podziału danych. Zrozumiesz, jak poszczególne etapy przepływu pracy zależą od siebie nawzajem, i nauczysz się rozpoznawać, w jaki sposób każdy z nich może sprzyjać overfittingowi lub mu przeciwdziałać – a overfitting to największy wróg każdego data scientista. Po ukończeniu rozdziału będziesz pewnie poruszać się w obszarze uczenia nadzorowanego i gotowy na głębsze zagadnienia w kolejnych rozdziałach.

Exercise 1: Potoki uczenia nadzorowanego Exercise 2: Inżynieria cech Exercise 3: Twój pierwszy potok Exercise 4: Złożoność modelu i przeuczenie Exercise 5: GridSearchCV dla złożoności modelu Exercise 6: Liczba drzew i estymatorów Exercise 7: Inżynieria cech a przeuczenie Exercise 8: Kodowanie zmiennych kategorycznych Exercise 9: Transformacje cech Exercise 10: Składamy wszystko razem

W poprzednim rozdziale pogłębiłeś wiedzę na temat standardowych przepływów pracy w uczeniu nadzorowanym. W tym rozdziale przyjrzysz się krytycznie sposobom, w jakie wiedza ekspercka jest włączana do procesu uczenia nadzorowanego. Odbywa się to poprzez identyfikację właściwej jednostki analizy, która może wymagać inżynierii cech z wielu źródeł danych, przez często niedoskonały proces etykietowania przykładów, a także przez definiowanie funkcji straty odzwierciedlającej rzeczywistą wartość biznesową błędów popełnianych przez model.

Exercise 1: Łączenie danych Exercise 2: Źródło czy cel – co jest zainfekowane?Exercise 3: Inżynieria cech na danych pogrupowanych Exercise 4: Niedoskonałe etykiety Exercise 5: Zamiana heurystyki w klasyfikator Exercise 6: Łączenie heurystyk Exercise 7: Radzenie sobie z zaszumionymi etykietami Exercise 8: Funkcje straty – część I Exercise 9: Przypomnienie metryk wydajności Exercise 10: Analiza kosztów w praktyce Exercise 11: Obliczenia macierzy pomyłek

Bieżące ćwiczenie

Exercise 12: Funkcje straty – część II Exercise 13: Domyślny próg klasyfikacji Exercise 14: Optymalizacja progu klasyfikacji Exercise 15: Łącząc wszystko razem

W poprzednim rozdziale stosowałeś różne sposoby uwzględniania informacji zwrotnej od ekspertów w przepływie pracy oraz oceniałeś ją w sposób zgodny z wartością biznesową. Teraz czas przećwiczyć umiejętności potrzebne do wdrożenia modelu na produkcję i zapewnienia jego długotrwałej skuteczności poprzez iteracyjne doskonalenie. Nauczysz się też diagnozować przesunięcie zbioru danych i ograniczać wpływ zmieniającego się środowiska na dokładność modelu.

Exercise 1: Od przepływów pracy do potoków Exercise 2: Twój pierwszy pipeline – jeszcze raz!Exercise 3: Własne funkcje oceny w potokach Exercise 4: Wdrożenie modelu Exercise 5: Pickle Exercise 6: Niestandardowe transformatory funkcyjne w potokach Exercise 7: Iterowanie bez przeuczenia Exercise 8: Wyzwanie dla mistrza Exercise 9: Statystyki kroswalidacji Exercise 10: Przesunięcie rozkładu danych Exercise 11: Dostrajanie rozmiaru okna Exercise 12: Łącząc wszystko w całość

W poprzednich rozdziałach zbudowałeś solidne podstawy uczenia nadzorowanego, łącznie z wiedzą o wdrażaniu modeli na produkcję – zakładając jednak zawsze, że do analizy dostępny jest oznakowany zbiór danych. W tym rozdziale podejmiesz wyzwanie modelowania danych bez etykiet lub z bardzo nielicznymi etykietami. Poznasz metody wykrywania anomalii jako rodzaj modelowania bez nadzoru, a także uczenie oparte na odległości, gdzie przekonania o podobieństwie między przykładami mogą zastąpić etykiety i pomóc osiągnąć dokładność porównywalną z nadzorowanym przepływem pracy. Po ukończeniu tego rozdziału będziesz wyraźnie wyróżniać się wśród data scientistów – pewnie wiedząc, jakich narzędzi użyć, by dostosować swój przepływ pracy do typowych wyzwań rzeczywistych projektów.

Exercise 1: Wykrywanie anomalii Exercise 2: Prosty przykład wartości odstającej Exercise 3: Parametr skażenia LoF Exercise 4: Wykrywanie nowości Exercise 5: Prosty detektor nowości Exercise 6: Trzy detektory nowości Exercise 7: Ponowne spojrzenie na kontaminację Exercise 8: Uczenie oparte na odległości Exercise 9: Znajdź sąsiada Exercise 10: Metryki nie zawsze są zgodne Exercise 11: Dane niestrukturalne Exercise 12: Ograniczona odległość Levenshteina Exercise 13: Łącząc wszystko razem Exercise 14: Uwagi końcowe