Mulai sekarangMulai gratis

Menerapkan pencarian acak

Pencarian hyperparameter adalah pendekatan yang mahal secara komputasi untuk bereksperimen dengan berbagai nilai hyperparameter. Namun, cara ini dapat meningkatkan kinerja. Pada latihan ini, Anda akan menerapkan algoritma pencarian acak.

Anda akan secara acak mengambil sampel 10 nilai learning rate dan momentum dari distribusi seragam. Untuk melakukannya, Anda akan menggunakan fungsi np.random.uniform().

Paket numpy telah diimpor sebagai np, dan fungsi plot_hyperparameter_search() telah dibuat untuk memvisualisasikan hasil Anda.

Latihan ini merupakan bagian dari kursus

Pengantar Deep Learning dengan PyTorch

Lihat Kursus

Instruksi latihan

  • Ambil secara acak faktor learning rate antara 2 dan 4 sehingga learning rate (lr) berada dalam batas \(10^{-2}\) hingga \(10^{-4}\).
  • Ambil secara acak nilai momentum antara 0,85 dan 0,99.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

values = []
for idx in range(10):
    # Randomly sample a learning rate factor between 2 and 4
    factor = ____
    lr = 10 ** -factor
    
    # Randomly select a momentum between 0.85 and 0.99
    momentum = ____
    
    values.append((lr, momentum))
       
plot_hyperparameter_search(values)
Edit dan Jalankan Kode