Réduction du bruit audio

Dans cet exercice, vous utiliserez des données du jeu de données WHAM, qui mélange de la parole avec du bruit de fond, pour générer une nouvelle parole dans une voix différente et sans le bruit de fond!

Spectrogram of noisy speech

Le tableau example_speech et le vecteur speaker_embedding de la nouvelle voix ont déjà été chargés. Le prétraitement (processor) et le vocodeur (vocoder) sont aussi disponibles, de même que le module SpeechT5ForSpeechToSpeech. Une fonction make_spectrogram() a été fournie pour vous aider à tracer le graphe.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Instructions de l’exercice

Chargez le modèle préentraîné SpeechT5ForSpeechToSpeech avec le point de contrôle microsoft/speecht5_vc.
Prétraitez example_speech avec une fréquence d'échantillonnage de 16000.
Générez l'audio débruité en utilisant .generate_speech().

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load the SpeechT5ForSpeechToSpeech pretrained model
model = ____

# Preprocess the example speech
inputs = ____(audio=____, sampling_rate=____, return_tensors="pt")

# Generate the denoised speech
speech = ____

make_spectrogram(speech)
sf.write("speech.wav", speech.numpy(), samplerate=16000)

Modifier et exécuter le code

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Parcourez le dépôt de modèles de Hugging Face et transformez du texte, de l'audio et des données visuelles bruts en formats prêts pour l'IA. Apprenez à trouver les modèles les plus récents et populaires pour des tâches comme la génération de texte et exploitez la puissance des pipelines prêts à l'emploi.

Exercise 1: Navigation dans les modèles Hugging Face Exercise 2: Combien de modèles!?Exercise 3: Trouver le modèle texte-vers-image le plus populaire Exercise 4: Prétraitement de différentes modalités Exercise 5: Tokenisation de texte Exercise 6: Prétraitement d'images Exercise 7: Prétraitement de l'audio Exercise 8: Tâches de pipeline et évaluations Exercise 9: Génération de légendes avec un pipeline Exercise 10: Passer des arguments nommés Exercise 11: Évaluation d'un modèle sur un jeu de données personnalisé

Apprenez à maîtriser chaque modalité avec des modèles à la fine pointe. Plongez dans la vision par ordinateur pour la classification et la segmentation d'images, explorez la reconnaissance de la parole et la synthèse texte‑parole, et découvrez des techniques de réglage fin efficaces. Développez des compétences pratiques avec des modèles préentraînés de la bibliothèque transformers de Hugging Face.

Exercise 1: Vision par ordinateur Exercise 2: Classification d'images Exercise 3: Détection d'objets Exercise 4: Retrait de l'arrière-plan d'une image Exercise 5: Ajustement fin des modèles de vision par ordinateur Exercise 6: Ajustement fin en CV : préparation du jeu de données Exercise 7: Ajustement fin en CV : classes de modèles Exercise 8: Ajustement fin en CV : configuration du trainer Exercise 9: Reconnaissance de la parole et génération audio Exercise 10: Reconnaissance automatique de la parole Exercise 11: Créer des intégrations vocales Exercise 12: Réduction du bruit audio

Exercice en cours

Exercise 13: Ajuster avec précision des modèles de synthèse vocale Exercise 14: Ajuster finement un modèle de synthèse vocale (text-to-speech)Exercise 15: Générer une nouvelle parole

Apprenez à fusionner des informations visuelles, textuelles et audio pour des applications d'IA plus riches. Maîtrisez des techniques comme CLIP pour la classification zero‑shot, créez des analyseurs de sentiment qui voient et lisent, et concevez des détecteurs d'émotions combinant expressions faciales et voix. Amenez vos modèles d'IA au‑delà de la pensée monomodale.

Exercise 1: Classification d'images zéro-shot Exercise 2: Apprentissage zéro-shot avec CLIP Exercise 3: Évaluation automatique de la qualité d'une légende Exercise 4: Analyse des sentiments multimodale Exercise 5: Créer des invites pour les modèles Vision-Langage (VLM)Exercise 6: Classification multimodale des sentiments avec Qwen Exercise 7: Classification vidéo zero-shot Exercise 8: Séparer l'audio de la vidéo Exercise 9: Analyse du sentiment vidéo avec CLIP CLAP

Transformez vos idées en réalité ! Maîtrisez des techniques d'IA de pointe pour générer et manipuler du contenu visuel à l'aide d'invites textuelles. Créez des images saisissantes, retouchez des photos intelligemment et bâtissez de puissants systèmes de questions‑réponses pour des images et des documents. Donnez vie à votre vision créative grâce à l'IA multimodale.

Exercise 1: Réponse aux questions visuelles (VQA)Exercise 2: VQA avec Vision Language Transformers (ViLT)Exercise 3: VQA de documents avec LayoutLM Exercise 4: Retouche d'images avec des modèles de diffusion Exercise 5: Retouche d'images personnalisée Exercise 6: Retouche par inpainting Exercise 7: Génération de vidéo Exercise 8: Créez une vidéo!Exercise 9: Évaluer la performance de la génération vidéo Exercise 10: Félicitations !