Porównywanie sloganów do kampanii reklamowej siłowni

Współpracujesz z agencją reklamową, aby ocenić dwa modele generujące slogany na potrzeby kampanii reklamowej siłowni. Każdy model wyprodukował listę sloganów wraz z odpowiadającymi im wynikami skuteczności. Twoim zadaniem jest porównanie sloganów wygenerowanych przez każdy model, określenie, który z nich wypada lepiej ogólnie, oraz obliczenie wskaźnika sukcesu każdego modelu.

Slogany zostały wcześniej wczytane jako slogans_X i slogans_Y – listy krotek zawierających slogan i jego wynik.

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

Instrukcje do ćwiczenia

Dla każdej pary sloganów: jeśli wynik sloganu X jest wyższy, zwiększ wins_X o 1; jeśli wyższy jest wynik sloganu Y, zwiększ wins_Y o 1.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

def evaluate_slogans(slogans_X, slogans_Y):
    wins_X, wins_Y = 0, 0
    for (slogan_X, score_X), (slogan_Y, score_Y) in zip(slogans_X, slogans_Y):
        # Assign one point to X if score X is higher, otherwise to Y
        ____
    success_rate_X = (wins_X / len(slogans_X)) * 100
    success_rate_Y = (wins_Y / len(slogans_Y)) * 100
    return success_rate_X, success_rate_Y

results = evaluate_slogans(slogans_X, slogans_Y)
print(f"The resulting scores are {results}")

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Uczenie przez wzmacnianie z informacją zwrotną od człowieka (RLHF)

SkillTag.level.advancedSkillTag.label

4.8+

Rozpocznij kurs za darmo

Ten rozdział wprowadza w podstawy uczenia przez wzmacnianie z informacją zwrotną od człowieka (RLHF) – techniki, która wykorzystuje dane od ludzi, aby modele SI uczyły się skuteczniej. Zacznij przygodę z RLHF od zrozumienia, czym różni się ono od klasycznego uczenia przez wzmacnianie i dlaczego ludzka informacja zwrotna może podnosić jakość SI w różnych dziedzinach.

Exercise 1: Wprowadzenie do RLHF Exercise 2: Generowanie tekstu z użyciem RLHF Exercise 3: Klasyfikowanie wygenerowanego tekstu na potrzeby RLHF Exercise 4: RL a RLHF Exercise 5: Eksploracja wstępnie wytrenowanych LLM Exercise 6: Tokenizacja zbioru danych tekstowych Exercise 7: Dostrajanie modelu do klasyfikacji recenzji Exercise 8: Przygotowanie danych do RLHF Exercise 9: Przygotowanie zbioru danych preferencji Exercise 10: Wyodrębnianie promptów

Dowiedz się, jak budować systemy do zbierania informacji zwrotnej od człowieka. Poznaj sprawdzone metody gromadzenia danych wysokiej jakości – od porównań parami po próbkowanie oparte na niepewności – i odkryj strategie usprawniające proces zbierania danych.

Exercise 1: Metody zbierania wysokiej jakości opinii Exercise 2: Porównanie i ocenianie w RLHF Exercise 3: Porównywanie sloganów do kampanii reklamowej siłowni

Bieżące ćwiczenie

Exercise 4: Pomiar jakości i trafności informacji zwrotnych Exercise 5: Niska pewność Exercise 6: K-means do grupowania opinii Exercise 7: Aktywne uczenie Exercise 8: Implementacja potoku aktywnego uczenia Exercise 9: Pętla aktywnego uczenia

W tym rozdziale poznasz sedno procesu trenowania modeli z wykorzystaniem informacji zwrotnej od człowieka. Obejmuje to dostrajanie z użyciem PPO, techniki efektywnego trenowania oraz radzenie sobie z potencjalnymi odchyleniami od celów przyjętych metryk.

Exercise 1: Eksploracja modeli nagrody Exercise 2: Inicjalizacja nagrody Exercise 3: Konfiguracja trenera nagród Exercise 4: Trening z użyciem PPO Exercise 5: Inicjalizacja trenera PPO Exercise 6: Dostrajanie z PPO Exercise 7: Wydajne dostrajanie w RLHF Exercise 8: Przygotowanie do treningu 8-bitowego Exercise 9: Trenowanie z LoRA

W ostatnim rozdziale kursu poświęconego RLHF poznasz kluczowe techniki oceny i poprawy wydajności modeli. Od doboru metryk dostrajania po uwzględnianie różnorodnych źródeł informacji zwrotnej – otrzymasz kompleksowy zestaw narzędzi do efektywnego doskonalenia swoich modeli.

Exercise 1: Metryki i dostosowywanie modelu Exercise 2: Łagodzenie negatywnej dywergencji KL Exercise 3: Weryfikacja modelu nagród Exercise 4: Uwzględnianie różnorodnych źródeł informacji zwrotnej Exercise 5: Głosowanie większościowe na wielu źródłach danych Exercise 6: Identyfikacja niewiarygodnych źródeł danych Exercise 7: Ewaluacja modeli RLHF Exercise 8: Interpretacja krzywych Exercise 9: Ocena RLHF za pomocą metryk Exercise 10: Podsumowanie twojej przygody z RLHF