เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การสร้างเสียงพูดใหม่

ถึงเวลาฝึกทักษะการใช้โมเดลเสียงของ Hugging Face ให้ครบถ้วน! คุณจะใช้โมเดลที่ผ่านการ fine-tune แล้วเพื่อสร้างเสียงพูดใหม่สำหรับเสียงที่เลือก โดยจะเลือกเสียงจาก VCTK Corpus มาเป็นต้นแบบสำหรับไฟล์เสียงที่จะสร้างขึ้น

dataset และโมเดล SpeechT5ForTextToSpeech (model) ถูกโหลดไว้ให้แล้ว พร้อมกับฟังก์ชัน make_spectogram() สำหรับช่วยในการพล็อตกราฟ

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • โหลดตัวอย่าง speaker embedding จากดัชนี 5 ของ dataset ชุด test
  • สร้างเสียงพูดจากข้อความที่ประมวลผลแล้ว โดยระบุ inputs, speaker_embedding, และ vocoder

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

text = "Hi, welcome to your new voice."

# Load a speaker embedding from the dataset
speaker_embedding = torch.tensor(dataset[5]["____"]).unsqueeze(0)

inputs = processor(text=text, return_tensors="pt")
vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

# Generate speech
speech = model.generate_speech(____["input_ids"], ____, ____=____)

make_spectrogram(speech)
แก้ไขและรันโค้ด