เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การเตรียมข้อมูลเสียง

ในแบบฝึกหัดนี้ จะได้เรียนรู้วิธีปรับอัตราการสุ่มตัวอย่าง (sampling rate) ของข้อมูลเสียง รวมถึงวิธีใช้ preprocessor แบบอัตโนมัติ โดยจะทำงานกับ VCTK Corpus ซึ่งเป็นชุดข้อมูลเสียงพูดความยาวประมาณ 44 ชั่วโมง จากผู้พูดภาษาอังกฤษ 110 คนที่มีสำเนียงหลากหลาย

โหลด dataset ไว้ให้แล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • รีแซมปลิงเสียงให้มีความถี่ 16,000 Hz ในชุดข้อมูล โดยใช้เมธอด .cast_column()
  • โหลด audio processor โดยใช้โมเดล pretrained openai/whisper-small
  • ประมวลผลข้อมูลเสียงของ datapoint แรก โดยระบุ sampling rate เดิมและตั้งค่า padding=True

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Resample the audio to a frequency of 16,000 Hz
dataset = dataset.____("____", ____(sampling_rate=____))

# Load the audio processor
processor = ____

# Preprocess the audio data of the 0th dataset element
audio_pp = ____(dataset[0]["audio"]["array"], sampling_rate=____, padding=True, return_tensors="pt")
make_spectrogram(audio_pp["input_features"][0])
แก้ไขและรันโค้ด