Séparer l'audio de la vidéo

Dans cet exercice, vous allez segmenter une publicité vidéo pour l'assouplissant textile Bounce datant des années 1980. Nous devons le faire pour isoler les entrées image et audio nécessaires aux modèles de classification d'images et d'audio respectifs.

Frames from the Bounce TV commercial

Les modules ffmpeg_extract_subclip et VideoFileClip ont été chargés. Le fichier MP4 a été téléversé sous le nom bounce_ad.mp4.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Instructions de l’exercice

Créez un sous-clip à partir de bounce_ad.mp4 qui commence à 0 s et se termine à 5 s, avec le nom de fichier de sortie bounce_ad_5s.mp4.
Chargez le nouveau sous-clip.
Extrayez la piste audio.
Écrivez la piste audio dans le fichier bounce_ad_5s.mp3

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Create a subclip file from bounce_ad.mp4
ffmpeg_extract_subclip(____)

# Load the new subclip
video = ____

# Extract the audio stream
audio = ____

# Write the audio stream
audio.____

Modifier et exécuter le code

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Parcourez le dépôt de modèles de Hugging Face et transformez du texte, de l'audio et des données visuelles bruts en formats prêts pour l'IA. Apprenez à trouver les modèles les plus récents et populaires pour des tâches comme la génération de texte et exploitez la puissance des pipelines prêts à l'emploi.

Exercise 1: Navigation dans les modèles Hugging Face Exercise 2: Combien de modèles!?Exercise 3: Trouver le modèle texte-vers-image le plus populaire Exercise 4: Prétraitement de différentes modalités Exercise 5: Tokenisation de texte Exercise 6: Prétraitement d'images Exercise 7: Prétraitement de l'audio Exercise 8: Tâches de pipeline et évaluations Exercise 9: Génération de légendes avec un pipeline Exercise 10: Passer des arguments nommés Exercise 11: Évaluation d'un modèle sur un jeu de données personnalisé

Apprenez à maîtriser chaque modalité avec des modèles à la fine pointe. Plongez dans la vision par ordinateur pour la classification et la segmentation d'images, explorez la reconnaissance de la parole et la synthèse texte‑parole, et découvrez des techniques de réglage fin efficaces. Développez des compétences pratiques avec des modèles préentraînés de la bibliothèque transformers de Hugging Face.

Exercise 1: Vision par ordinateur Exercise 2: Classification d'images Exercise 3: Détection d'objets Exercise 4: Retrait de l'arrière-plan d'une image Exercise 5: Ajustement fin des modèles de vision par ordinateur Exercise 6: Ajustement fin en CV : préparation du jeu de données Exercise 7: Ajustement fin en CV : classes de modèles Exercise 8: Ajustement fin en CV : configuration du trainer Exercise 9: Reconnaissance de la parole et génération audio Exercise 10: Reconnaissance automatique de la parole Exercise 11: Créer des intégrations vocales Exercise 12: Réduction du bruit audio Exercise 13: Ajuster avec précision des modèles de synthèse vocale Exercise 14: Ajuster finement un modèle de synthèse vocale (text-to-speech)Exercise 15: Générer une nouvelle parole

Apprenez à fusionner des informations visuelles, textuelles et audio pour des applications d'IA plus riches. Maîtrisez des techniques comme CLIP pour la classification zero‑shot, créez des analyseurs de sentiment qui voient et lisent, et concevez des détecteurs d'émotions combinant expressions faciales et voix. Amenez vos modèles d'IA au‑delà de la pensée monomodale.

Exercise 1: Classification d'images zéro-shot Exercise 2: Apprentissage zéro-shot avec CLIP Exercise 3: Évaluation automatique de la qualité d'une légende Exercise 4: Analyse des sentiments multimodale Exercise 5: Créer des invites pour les modèles Vision-Langage (VLM)Exercise 6: Classification multimodale des sentiments avec Qwen Exercise 7: Classification vidéo zero-shot Exercise 8: Séparer l'audio de la vidéo

Exercice en cours

Exercise 9: Analyse du sentiment vidéo avec CLIP CLAP

Transformez vos idées en réalité ! Maîtrisez des techniques d'IA de pointe pour générer et manipuler du contenu visuel à l'aide d'invites textuelles. Créez des images saisissantes, retouchez des photos intelligemment et bâtissez de puissants systèmes de questions‑réponses pour des images et des documents. Donnez vie à votre vision créative grâce à l'IA multimodale.

Exercise 1: Réponse aux questions visuelles (VQA)Exercise 2: VQA avec Vision Language Transformers (ViLT)Exercise 3: VQA de documents avec LayoutLM Exercise 4: Retouche d'images avec des modèles de diffusion Exercise 5: Retouche d'images personnalisée Exercise 6: Retouche par inpainting Exercise 7: Génération de vidéo Exercise 8: Créez une vidéo!Exercise 9: Évaluer la performance de la génération vidéo Exercise 10: Félicitations !