Инициализация слоёв
Инициализация весов нейронной сети на протяжении многих лет остаётся предметом активных исследований. В процессе обучения выбранный метод инициализации весов напрямую влияет на итоговое качество модели.
Как специалист по машинному обучению, вы должны уметь экспериментировать с различными стратегиями инициализации. В этом упражнении вы создаёте небольшую нейронную сеть из двух слоёв и инициализируете веса каждого слоя с помощью равномерного метода.
Это упражнение является частью курса
Введение в глубокое обучение с PyTorch
Инструкции к упражнению
- Для каждого слоя (
layer0иlayer1) используйте равномерный метод инициализации весов.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
layer0 = nn.Linear(16, 32)
layer1 = nn.Linear(32, 64)
# Use uniform initialization for layer0 and layer1 weights
nn.____.____(____)
nn.____.____(____)
model = nn.Sequential(layer0, layer1)