Entraîner un modèle GAN

Votre équipe chez PyBooks a bien avancé dans la création d'un générateur de texte avec un réseau antagoniste génératif (GAN). Vous avez défini avec succès les réseaux du générateur et du discriminateur. Il est maintenant temps de les entraîner. L'étape finale consiste à générer des fausses données et à les comparer aux vraies données pour voir dans quelle mesure votre GAN a appris. Nous avons utilisé des tenseurs comme entrée et la sortie tentera de ressembler aux tenseurs d'entrée. L'équipe de PyBooks pourra ensuite utiliser ces données synthétiques pour l'analyse de texte, car les caractéristiques auront les mêmes relations que les données textuelles.

Le générateur et le discriminateur ont été initialisés et enregistrés dans generator et discriminator, respectivement.

Les variables suivantes ont été initialisées dans l'exercice :

seq_length = 5 : longueur de chaque séquence de données synthétiques
num_sequences = 100 : nombre total de séquences générées
num_epochs = 50 : nombre de passages complets dans l'ensemble de données
print_every = 10 : fréquence d'affichage des résultats, toutes les 10 époques

Cette activité fait partie du cours

Apprentissage profond pour le texte avec PyTorch

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Define the loss function and optimizer
criterion = nn.____()
optimizer_gen = ____(generator.parameters(), lr=0.001)
optimizer_disc = ____(discriminator.parameters(), lr=0.001)

for epoch in range(num_epochs):
    for real_data in data:
      	# Unsqueezing real_data and prevent gradient recalculations
        real_data = real_data.____(0)
        noise = torch.rand((1, seq_length))
        fake_data = generator(noise)
        disc_real = discriminator(real_data)
        disc_fake = discriminator(fake_data.____())
        loss_disc = criterion(disc_real, torch.ones_like(disc_real)) + criterion(disc_fake, torch.zeros_like(disc_fake))
        optimizer_disc.zero_grad()
        loss_disc.backward()
        optimizer_disc.step()

Modifier et exécuter le code

Cette activité fait partie du cours

Apprentissage profond pour le texte avec PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Commencer le cours gratuitement

Ce chapitre vous présente l'apprentissage profond appliqué au texte et ses applications. Apprenez à utiliser PyTorch pour le traitement de texte et exercez-vous avec des techniques comme la tokenisation, la racinisation, le retrait des mots vides et plus encore. Comprenez l'importance d'encoder les données textuelles et mettez en œuvre des techniques d'encodage avec PyTorch. Enfin, consolidez vos acquis en construisant un canal de traitement de texte combinant ces techniques.

Exercise 1: Introduction au prétraitement du texte Exercise 2: Analyse de la fréquence des mots Exercise 3: Prétraitement de texte Exercise 4: Encodage des données textuelles Exercise 5: Titres de livres en one-hot encoding Exercise 6: Sac de mots pour les titres de livres Exercise 7: Appliquer TF-IDF aux descriptions de livres Exercise 8: Introduction à la création d'un pipeline de traitement de texte Exercise 9: Pipeline de prétraitement du langage shakespearien Exercise 10: Encodeur de langage shakespearien

Explorez la classification de texte et son rôle en traitement du langage naturel (NLP). Mettez en pratique vos compétences pour implémenter des représentations vectorielles de mots (embeddings) et développer des réseaux de neurones convolutifs (CNN) ainsi que des réseaux de neurones récurrents (RNN) pour la classification de texte avec PyTorch, et apprenez à évaluer vos modèles avec des mesures adaptées.

Exercise 1: Aperçu de la classification de texte Exercise 2: Embedding avec PyTorch Exercise 3: Catégoriser les tâches de classification de texte Exercise 4: Réseaux neuronaux convolutifs pour la classification de texte Exercise 5: Créer un modèle CNN pour le texte Exercise 6: Entraîner un modèle CNN pour le texte Exercise 7: Mettre à l'essai le modèle CNN d'analyse de sentiment Exercise 8: Réseaux neuronaux récurrents pour la classification de texte Exercise 9: Créer un modèle RNN pour le texte Exercise 10: Créer un modèle LSTM pour le texte Exercise 11: Créer un modèle GRU pour le texte Exercise 12: Mesures d'évaluation pour la classification de texte Exercise 13: Évaluer des modèles de classification RNN Exercise 14: Évaluer la performance du modèle Exercise 15: Comparer des modèles

Plongez dans l'univers stimulant de la génération de texte et ses applications en NLP. Voyez comment exploiter les réseaux de neurones récurrents (RNN), les réseaux antagonistes génératifs (GAN) et des modèles préentraînés pour des tâches de génération de texte avec PyTorch. Vous apprendrez aussi à évaluer la performance de vos modèles avec des mesures pertinentes.

Exercise 1: Introduction à la génération de texte Exercise 2: Créer un modèle RNN pour la génération de texte Exercise 3: Génération de texte avec un RNN – Entraînement et génération Exercise 4: Réseaux antagonistes génératifs pour la génération de texte Exercise 5: Créer un générateur et un discriminateur Exercise 6: Entraîner un modèle GAN

Exercice en cours

Exercise 7: Modèles préentraînés pour la génération de texte Exercise 8: Complétion de texte avec des modèles GPT-2 préentraînés Exercise 9: Traduction automatique avec un modèle PyTorch préentraîné Exercise 10: Mesures d'évaluation pour la génération de texte Exercise 11: Évaluer un modèle préentraîné de génération de texte Exercise 12: Comprendre les mesures de génération de texte

Comprenez le concept d'apprentissage par transfert et son application à la classification de texte. Explorez les Transformers, leur architecture et leur utilisation pour des tâches de classification et de génération de texte. Vous étudierez également les mécanismes d'attention et leur rôle dans le traitement du texte. Enfin, voyez les effets possibles des attaques adversariales sur les modèles de classification de texte et apprenez à protéger vos modèles.

Exercise 1: Apprentissage par transfert pour la classification de texte Exercise 2: Apprentissage par transfert avec BERT Exercise 3: Évaluer le modèle BERT Exercise 4: Transformers pour le traitement de texte Exercise 5: Créer un modèle de transformeur Exercise 6: Entraîner et tester le modèle Transformer Exercise 7: Mécanismes d'attention pour le traitement du texte Exercise 8: Créer un modèle RNN avec mécanisme d'attention Exercise 9: Entraîner et tester le modèle RNN avec attention Exercise 10: Attaques adversariales contre les modèles de classification de texte Exercise 11: Classification des attaques adverses Exercise 12: Protéger l'IA chez PyBooks Exercise 13: Récapitulatif