Reminder privind metricile de performanță

Îți amintești de setul de date despre credit? Acum că ai dobândit cunoștințe suplimentare despre metrici, hai să analizăm din nou cât de bun este un random forest pe acest set de date. Ți-ai antrenat deja clasificatorul și ai obținut matricea de confuzie pe datele de test. Datele de test și rezultatele îți sunt disponibile sub forma tp, fp, fn și tn, reprezentând respectiv adevărații pozitivi, falșii pozitivi, falșii negativi și adevărații negativi. Ai de asemenea etichetele reale pentru datele de test, y_test, și etichetele prezise, preds. Funcțiile f1_score() și precision_score() au fost deja importate.

Acest exercițiu face parte din cursul

Proiectarea fluxurilor de lucru pentru Machine Learning în Python

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

print(____(____, preds))

Editează și rulează codul

Acest exercițiu face parte din cursul

Proiectarea fluxurilor de lucru pentru Machine Learning în Python

SkillTag.level.advancedSkillTag.label

4.8+

96 reviews

Începe cursul gratuit

În acest capitol, vei revedea elementele de bază ale unui flux de lucru de învățare supervizată, incluzând antrenarea și ajustarea modelului, selecția modelului, ingineria și selecția caracteristicilor, precum și tehnicile de împărțire a datelor. Vei înțelege cum acești pași dintr-un flux de lucru depind unii de alții și vei recunoaște cum pot contribui fiecare la supraajustare sau pot lupta împotriva ei — cel mai mare dușman al unui specialist în date. La finalul capitolului, vei stăpâni învățarea supervizată și vei fi pregătit să aprofundezi materialul avansat din capitolele următoare.

Exercise 1: Pipeline-uri de învățare supervizată Exercise 2: Ingineria caracteristicilor Exercise 3: Primul tău pipeline Exercise 4: Complexitatea modelului și supraadaptarea Exercise 5: Grid search CV pentru complexitatea modelului Exercise 6: Numărul de arbori și estimatori Exercise 7: Ingineria caracteristicilor și supraadaptarea Exercise 8: Codificări pentru variabile categorice Exercise 9: Transformări ale caracteristicilor Exercise 10: Pune totul cap la cap

În capitolul anterior, ți-ai perfecționat cunoștințele despre fluxurile de lucru standard de învățare supervizată. În acest capitol, vei analiza critic modalitățile prin care cunoștințele de specialitate sunt integrate în învățarea supervizată. Acest lucru se realizează prin identificarea unității de analiză potrivite — care poate necesita ingineria caracteristicilor din mai multe surse de date —, prin procesul uneori imperfect de etichetare a exemplelor și prin specificarea unei funcții de pierdere care să reflecte valoarea reală de business a erorilor produse de modelul tău de machine learning.

Exercise 1: Fuziunea datelor Exercise 2: Sursa sau destinația este problematică?Exercise 3: Ingineria caracteristicilor pe date grupate Exercise 4: Etichete imperfecte Exercise 5: Transformarea unei euristici într-un clasificator Exercise 6: Combinarea euristicilor Exercise 7: Gestionarea zgomotului din etichete Exercise 8: Funcții de pierdere – Partea I Exercise 9: Reminder privind metricile de performanță

Exercițiul curent

Exercise 10: Analiza costurilor în context real Exercise 11: Calculul matricei de confuzie Exercise 12: Funcții de pierdere – Partea a II-a Exercise 13: Pragul de clasificare implicit Exercise 14: Optimizarea pragului de decizie Exercise 15: Pune totul laolaltă

În capitolul anterior, ai aplicat diferite metode de integrare a feedback-ului experților în fluxul tău de lucru și ai evaluat rezultatele în concordanță cu valoarea de business. Acum este momentul să exersezi abilitățile necesare pentru a pune modelul în producție și pentru a te asigura că performanța sa se menține prin îmbunătățire iterativă. Vei învăța, de asemenea, să diagnostichezi schimbările în distribuția datelor și să atenuezi efectul pe care un mediu în schimbare îl poate avea asupra acurateței modelului tău.

Exercise 1: De la fluxuri de lucru la pipeline-uri Exercise 2: Primul tău pipeline – din nou!Exercise 3: Scoreri personalizați în pipeline-uri Exercise 4: Implementarea modelului Exercise 5: Pickle-uri Exercise 6: Transformatoare cu funcții personalizate în pipeline-uri Exercise 7: Iterare fără supraantrenare Exercise 8: Provocarea campionului Exercise 9: Statistici de validare încrucișată Exercise 10: Schimbarea distribuției datelor Exercise 11: Ajustarea dimensiunii ferestrei Exercise 12: Totul laolaltă

În capitolele anterioare, ai construit o bază solidă în învățarea supervizată, incluzând cunoștințe despre implementarea modelelor în producție, presupunând mereu că ai la dispoziție un set de date etichetat. În acest capitol, abordezi provocarea de a modela date fără etichete sau cu foarte puține. Vei intra astfel într-o lume a detectării anomaliilor — un tip de modelare nesupervizată — și a învățării bazate pe distanță, unde noțiunile de similaritate dintre exemple pot înlocui etichetele și te pot ajuta să atingi niveluri de acuratețe comparabile cu un flux de lucru supervizat. La finalul acestui capitol, te vei diferenția clar în rândul specialiștilor în date, știind cu încredere ce instrumente să folosești pentru a-ți adapta fluxul de lucru și a depăși provocările frecvente din lumea reală.

Exercise 1: Detecția anomaliilor Exercise 2: Un outlier simplu Exercise 3: Contaminarea LoF Exercise 4: Detecția noutăților Exercise 5: O noutate simplă Exercise 6: Trei detectoare de noutate Exercise 7: Contaminarea, revizitată Exercise 8: Învățare bazată pe distanță Exercise 9: Găsește cel mai apropiat vecin Exercise 10: Nu toate metricile sunt de acord Exercise 11: Date nestructurate Exercise 12: Levenshtein restricționat Exercise 13: Totul laolaltă Exercise 14: Remarci finale