1. 학습
    2. /
  2. 강의
    3. /
  3. Hugging Face로 배우는 멀티모달 모델
Connected

연습 문제

오디오 잡음 제거

이 연습 문제에서는 음성과 배경 소음을 섞은 WHAM 데이터셋을 사용해, 배경 소음을 제거하고 다른 목소리로 새로운 음성을 생성해 볼 거예요!

Spectrogram of noisy speech

새로운 목소리에 대한 example_speech 배열과 speaker_embedding 벡터는 이미 로드되어 있어요. 전처리기(processor)와 vocoder(vocoder), 그리고 SpeechT5ForSpeechToSpeech 모듈도 준비되어 있습니다. 스펙트로그램을 그리는 데 도움이 되는 make_spectrogram() 함수도 제공돼요.

지침

100 XP
  • microsoft/speecht5_vc 체크포인트로 SpeechT5ForSpeechToSpeech 사전 학습 모델을 로드하세요.
  • example_speech를 샘플링 레이트 16000으로 전처리하세요.
  • .generate_speech()를 사용해 잡음이 제거된 음성을 생성하세요.