BaşlayınÜcretsiz başlayın

Ses gürültü giderme

Bu egzersizde, konuşmayı arka plan gürültüsüyle karıştıran WHAM veri kümesinden yararlanarak, farklı bir sesle ve arka plan gürültüsü temizlenmiş yeni bir konuşma üreteceksin!

Gürültülü konuşmanın spektrogramı

Yeni sesin example_speech dizisi ve speaker_embedding vektörü zaten yüklendi. Önişlemci (processor) ve vocoder (vocoder) da hazır; ayrıca SpeechT5ForSpeechToSpeech modülü mevcut. Çizim için yardımcı olması amacıyla bir make_spectrogram() fonksiyonu sağlandı.

Bu egzersiz, kursun bir parçasıdır

Hugging Face ile Multi-Modal Modeller

Kursa Göz Atın

Egzersiz talimatları

  • microsoft/speecht5_vc denetim noktasını kullanarak SpeechT5ForSpeechToSpeech önceden eğitilmiş modelini yükle.
  • example_speech verisini 16000 örnekleme oranıyla önişle.
  • Gürültüsü giderilmiş konuşmayı .generate_speech() ile üret.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Load the SpeechT5ForSpeechToSpeech pretrained model
model = ____

# Preprocess the example speech
inputs = ____(audio=____, sampling_rate=____, return_tensors="pt")

# Generate the denoised speech
speech = ____

make_spectrogram(speech)
sf.write("speech.wav", speech.numpy(), samplerate=16000)
Kodu Düzenle ve Çalıştır