Huấn luyện, tinh chỉnh & phản hồi

Bạn đang tham gia một dự án phát triển mô hình sử dụng kỹ thuật Reinforcement Learning through Human Feedback (RLHF) để tối ưu hiệu năng trong môi trường hỗ trợ khách hàng.

Tùy chọn nào dưới đây mô tả chính xác nhất quy trình RLHF?

Bài tập này là một phần của khóa học

Các khái niệm về Large Language Models (LLMs)

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập

Bài tập này là một phần của khóa học

Các khái niệm về Large Language Models (LLMs)

SkillTag.level.beginnerSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Bức tranh AI đang thay đổi nhanh chóng, và Large Language Models (LLMs) đang ở tuyến đầu của sự chuyển mình đó. Chương này xem xét cách LLMs thúc đẩy phát triển trí tuệ nhân tạo gần với con người và chuyển đổi các ngành thông qua vô số ứng dụng. Bạn sẽ khám phá những thách thức và độ phức tạp gắn liền với mô hình hóa ngôn ngữ.

Exercise 1: Sự trỗi dậy của LLM trong bức tranh AI Exercise 2: Định nghĩa về LLM Exercise 3: LLM trong bức tranh AI Exercise 4: Ứng dụng AI vs. LLM Exercise 5: Ứng dụng trong thế giới thực Exercise 6: Ứng dụng trong kinh doanh Exercise 7: Ứng dụng đa phương thức Exercise 8: Tự động hóa các tác vụ dựa trên dữ liệu Exercise 9: Những thách thức của mô hình hóa ngôn ngữ Exercise 10: Mô hình ngôn ngữ có thể làm gì?Exercise 11: Single-task vs. multi-task learning

Chương này nhấn mạnh tính mới mẻ của LLMs và các khả năng nổi lên của chúng, đồng thời phác thảo nhiều kỹ thuật NLP để chuẩn bị dữ liệu. Bạn sẽ tìm hiểu các thách thức khi huấn luyện LLMs và cách fine-tuning có thể giải quyết hiệu quả những vấn đề đó. Bạn cũng sẽ hiểu cách các kỹ thuật học N-shot cho phép thích ứng hiệu quả các mô hình đã được huấn luyện sẵn khi dữ liệu gán nhãn hạn chế.

Exercise 1: Tính mới mẻ của LLMs Exercise 2: Giải quyết vấn đề với LLMs Exercise 3: Mô hình truyền thống vs. LLM Exercise 4: Tổng quan khái quát về NLP Exercise 5: Chuẩn bị dữ liệu Exercise 6: Tiền xử lý và biểu diễn văn bản Exercise 7: Word embeddings thay cho bag-of-words Exercise 8: Fine-tuning Exercise 9: Những thách thức khi xây dựng LLM Exercise 10: Điều chỉnh một mô hình đã tiền huấn luyện Exercise 11: Tiền huấn luyện hay tinh chỉnh?Exercise 12: Kỹ thuật học Exercise 13: Tinh chỉnh (fine-tune) một mô hình Exercise 14: Học N-shot

Trong chương này, bạn sẽ học về các khối xây dựng nền tảng để huấn luyện một LLM, như các kỹ thuật tiền huấn luyện. Bạn cũng sẽ có trực giác về những khái niệm phức tạp như kiến trúc transformer, bao gồm cơ chế attention. Chương thảo luận một kỹ thuật fine-tuning nâng cao và tóm tắt quy trình huấn luyện để hoàn thiện một LLM.

Exercise 1: Những khối nền tảng để huấn luyện LLMs Exercise 2: Mô hình ngôn ngữ che mặt (Masked language)Exercise 3: Dự đoán từ tiếp theo Exercise 4: Xây dựng từ con số 0 Exercise 5: Giới thiệu về transformer Exercise 6: Mối quan hệ giữa các từ ở xa nhau Exercise 7: Các thành phần của transformer Exercise 8: Cơ chế attention Exercise 9: Trọng tâm của multi-head attention Exercise 10: Self vs. multi-head attention Exercise 11: Tinh chỉnh nâng cao Exercise 12: Huấn luyện end-to-end Exercise 13: Huấn luyện, tinh chỉnh & phản hồi

Bài tập hiện tại

Exercise 14: Xây dựng một LLM

Trong chương này, chúng ta đi sâu vào các cân nhắc then chốt khi huấn luyện LLMs, như tính sẵn có của dữ liệu lớn, chất lượng dữ liệu, gán nhãn chính xác và hệ lụy của dữ liệu thiên lệch. Bạn cũng sẽ xem xét các rủi ro khác nhau của LLM như quyền riêng tư dữ liệu, vấn đề đạo đức và tác động môi trường. Cuối cùng, chương kết lại bằng việc bàn về các hướng nghiên cứu mới và bức tranh LLMs đang phát triển.

Exercise 1: Những mối quan ngại và cân nhắc về dữ liệu Exercise 2: Mô hình của bạn có công bằng không?Exercise 3: Không thiên lệch và phù hợp Exercise 4: Dịch vụ khách hàng của một ngân hàng Exercise 5: Các mối quan ngại về đạo đức và môi trường Exercise 6: Sử dụng có trách nhiệm Exercise 7: Đạo đức và môi trường Exercise 8: LLM đang hướng đến đâu?Exercise 9: Sáng tạo và hiệu suất Exercise 10: Phân tích tác phẩm văn học Exercise 11: Đến lúc tổng kết