НачатьНачать бесплатно

Архитектура сети политики

Постройте архитектуру сети политики, которую вы будете использовать для обучения агента методом градиента политики.

Сеть политики принимает состояние на вход и выдаёт вероятности в пространстве действий. В среде Lunar Lander предусмотрено четыре дискретных действия, поэтому сеть должна возвращать вероятность для каждого из них.

Это упражнение является частью курса

Глубокое обучение с подкреплением на Python

Посмотреть курс

Инструкции к упражнению

  • Укажите размер выходного слоя сети политики; для гибкости используйте имя переменной, а не конкретное число.
  • Убедитесь, что последний слой возвращает вероятности.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

class PolicyNetwork(nn.Module):
  def __init__(self, state_size, action_size):
    super(PolicyNetwork, self).__init__()
    self.fc1 = nn.Linear(state_size, 64)
    self.fc2 = nn.Linear(64, 64)
    # Give the desired size for the output layer
    self.fc3 = nn.Linear(64, ____)

  def forward(self, state):
    x = torch.relu(self.fc1(torch.tensor(state)))
    x = torch.relu(self.fc2(x))
    # Obtain the action probabilities
    action_probs = ____(self.fc3(x), dim=-1)
    return action_probs
  
policy_network = PolicyNetwork(8, 4)
action_probs = policy_network(state)
print('Action probabilities:', action_probs)
Редактировать и запускать код