Začněte nyníZačněte zdarma

Architektura policy network

Sestav architekturu Policy Network, kterou později využiješ k trénování agenta metodou policy gradient.

Policy network přijímá stav prostředí jako vstup a na výstupu vrací pravděpodobnosti v prostoru akcí. V prostředí Lunar Lander pracuješ se čtyřmi diskrétními akcemi, takže síť má vracet pravděpodobnost pro každou z nich.

Toto cvičení je součástí kurzu

Deep Reinforcement Learning v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Urči velikost výstupní vrstvy policy network; pro flexibilitu použij název proměnné místo konkrétního čísla.
  • Zajisti, aby poslední vrstva vracela pravděpodobnosti.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

class PolicyNetwork(nn.Module):
  def __init__(self, state_size, action_size):
    super(PolicyNetwork, self).__init__()
    self.fc1 = nn.Linear(state_size, 64)
    self.fc2 = nn.Linear(64, 64)
    # Give the desired size for the output layer
    self.fc3 = nn.Linear(64, ____)

  def forward(self, state):
    x = torch.relu(self.fc1(torch.tensor(state)))
    x = torch.relu(self.fc2(x))
    # Obtain the action probabilities
    action_probs = ____(self.fc3(x), dim=-1)
    return action_probs
  
policy_network = PolicyNetwork(8, 4)
action_probs = policy_network(state)
print('Action probabilities:', action_probs)
Upravit a spustit kód