Bắt đầu ngayBắt đầu miễn phí

Tiền xử lý bộ dữ liệu âm thanh

Bạn đang nâng cấp ứng dụng nông nghiệp chính xác bằng cách cho phép nông dân điều khiển máy móc bằng lệnh giọng nói. Hệ thống cần nhận diện từ khóa trong các câu lệnh như "Turn on the sprinkler irrigation system."

Bạn sẽ tận dụng một bộ dữ liệu phát hiện từ khóa với các đoạn âm thanh chứa những từ như "on". Hãy tiền xử lý các tệp âm thanh để có thể dùng với một mô hình Transformer được huấn luyện sẵn!

Một số dữ liệu đã được nạp sẵn:

  • dataset chứa một tập dữ liệu huấn luyện mẫu gồm các tệp âm thanh. Nó đã có sẵn phần train, nên bạn không cần chỉ định train khi dùng dataset.
  • AutoFeatureExtractor đã được import từ transformers.
  • model bằng facebook/wav2vec2-base.
  • max_duration được đặt là 1 giây.

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Tải feature_extractor đã được huấn luyện sẵn bằng lớp AutoFeatureExtractor.
  • Đặt sampling_rate dựa trên tần số lấy mẫu từ feature_extractor.
  • Đặt max_length cho audio_arrays bằng max_duration.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Load a pre-trained feature extractor
feature_extractor = ____.____(model)

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        # Set the sampling rate
        sampling_rate=____.____, 
        # Set the max length
        max_length=int(feature_extractor.sampling_rate * max_duration), 
        truncation=True)
    return inputs

encoded_dataset = dataset.map(preprocess_function, remove_columns=["audio", "file"], batched=True)
Chỉnh sửa và Chạy Mã