1. Learn
    2. /
  2. Cursuri
    3. /
  3. Reinforcement Learning cu Gymnasium în Python
Connected

exercițiu

Probabilități de tranziție și recompense

Mediul Cliff Walking are 48 de stări, numerotate de la 0 la 47, linie cu linie, din colțul din stânga sus (0) până în colțul din dreapta jos (47). Obiectivul tău este să explorezi structura probabilităților de tranziție și a recompenselor în cadrul acestui mediu. De remarcat că toate recompensele sunt negative în acest mediu, inclusiv recompensa pentru atingerea obiectivului. Această alegere de design pune accentul pe minimizarea numărului de pași, deoarece fiecare pas implică o penalizare – eficiența devine astfel un element esențial în proiectarea algoritmilor de învățare eficienți.

Biblioteca gymnasium a fost importată ca gym, iar mediul ca env. De asemenea, num_states și num_actions din exercițiul anterior au fost importate.

Image showing the cliff walking environment.

Instrucțiuni 1/2

undefined XP
    1
    2
  • Alege starea situată deasupra stării obiectiv.
  • Pentru fiecare acțiune, extrage lista de tupluri de tranziție corespunzătoare stării alese și stocheaz-o în transitions.
  • Pentru fiecare transition, extrage probability, next_state, reward și indicatorul done.