เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การรู้จำเสียงพูดอัตโนมัติ

ในแบบฝึกหัดนี้ จะได้ใช้ AI ถอดเสียงพูดเป็นข้อความโดยอัตโนมัติ! เราจะทำงานกับ VCTK Corpus อีกครั้ง ซึ่งเป็นชุดข้อมูลเสียงพูดที่มีความยาวรวมประมาณ 44 ชั่วโมง บันทึกโดยผู้พูดภาษาอังกฤษที่มีสำเนียงหลากหลาย โมเดลที่ใช้คือ Whisper tiny ของ OpenAI ซึ่งมีพารามิเตอร์เพียง 37 ล้านตัว เพื่อประมวลผลข้อมูลเสียงจาก VCTK และสร้างข้อความที่ถอดความได้

ตัวประมวลผลเสียง (processor) ถูกโหลดไว้แล้ว พร้อมกับโมดูล WhisperForConditionalGeneration และตัวอย่างข้อมูลเสียง (sample) ก็ถูกโหลดมาให้เรียบร้อยแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • โหลดโมเดล pretrained WhisperForConditionalGeneration โดยใช้ checkpoint openai/whisper-tiny
  • ประมวลผลข้อมูล sample ด้วย sampling rate ที่กำหนดคือ 16000
  • สร้าง token จากโมเดลโดยใช้ attribute .input_features ของ input ที่ผ่านการประมวลผลแล้ว

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Load the pretrained model
model = ____
model.config.forced_decoder_ids=None

# Preprocess the sample audio
input_preprocessed = ____(____, sampling_rate=____, return_tensors="pt", return_attention_mask=True)

# Generate the IDs of the recognized tokens
predicted_ids = ____
transcription = processor.decode(predicted_ids[0], skip_special_tokens=True)
print(transcription)
แก้ไขและรันโค้ด