Chương này giới thiệu về LLMOps và giai đoạn hình thành ý tưởng trong phát triển ứng dụng LLM. Nội dung giải thích những điều cơ bản về LLMOps, nêu bật các giai đoạn trong vòng đời của LLM và các hoạt động chính ở giai đoạn ý tưởng, như tìm nguồn dữ liệu và lựa chọn giữa LLM mã nguồn mở và LLM thương mại.

Tổng quan về LLMOps

LLMOps và MLOps

Tính phù hợp của LLMOps

Vòng đời của LLM

Mục đích của các giai đoạn vòng đời

Vòng đời của ứng dụng

Giai đoạn hình thành ý tưởng

Tìm nguồn dữ liệu

Mô hình độc quyền so với mã nguồn mở

Chọn đúng mô hình nền tảng

Giới thiệu về LLMOps & Giai đoạn hình thành ý tưởng

Chương này tập trung vào giai đoạn phát triển của việc tạo ứng dụng LLM. Nội dung bao gồm kỹ thuật thiết kế prompt, agents và chains, so sánh RAG với fine-tuning, và các phương pháp kiểm thử.

Kỹ thuật thiết kế prompt

Tầm quan trọng của prompt engineering

Thử nghiệm prompt engineering

Theo dõi các prompt

Chuỗi và tác tử

Sự khác nhau giữa agents và chains

Chọn kiến trúc phù hợp

RAG và fine-tuning

Quy trình làm việc RAG

So sánh RAG với fine-tuning

Kiểm thử

Chọn chỉ số phù hợp

Tầm quan trọng của kiểm thử

Giai đoạn phát triển

Chương này tập trung vào giai đoạn vận hành: triển khai và quản lý ứng dụng LLM. Chúng ta sẽ đề cập đến chiến lược triển khai như CI/CD, kỹ thuật mở rộng, thực hành giám sát, chiến lược quản lý chi phí, cùng các cân nhắc về quản trị và bảo mật. Nắm vững các khái niệm này sẽ giúp bạn quản lý hiệu quả ứng dụng LLM trong môi trường vận hành.

Triển khai

Sự cần thiết của CI/CD

Tùy chọn

Mở rộng theo chiều ngang

Mở rộng theo chiều dọc

Chiến lược mở rộng phù hợp

Giám sát và khả năng quan sát

Giám sát đầu vào

Giám sát chức năng

Giám sát đầu ra

Giám sát ứng dụng của bạn

Xử lý cảnh báo

Quản lý chi phí

ChatGPT

Nén prompt

Lập dự báo chi phí

Quản trị và bảo mật

Prompt injection

Data poisoning

Denial of service

Chiến lược giảm thiểu rủi ro

Tính toàn vẹn dữ liệu và tấn công đầu độc dữ liệu

Chúc mừng

Giai đoạn vận hành

Bắt đầu hành trình tìm hiểu về vận hành Mô hình Ngôn ngữ Lớn (LLMOps). Khóa học này, dành cho cả người đam mê và chuyên gia, sẽ hướng dẫn bạn từ những ý tưởng ban đầu đến triển khai vận hành.

Đi sâu vào vòng đời ứng dụng LLM sẽ cho thấy vai trò then chốt của chúng trong tổ chức. Bạn sẽ nắm được các thách thức và cân nhắc ở từng giai đoạn, cách tinh chỉnh quá trình phát triển và đảm bảo triển khai trơn tru, đồng thời tuân thủ quản trị dữ liệu và bảo mật. Kết thúc khóa học, bạn sẽ nắm vững các khái niệm LLMOps và biết cách áp dụng chúng vào ứng dụng của mình.

Large Language Models (LLMs) Concepts

Tìm hiểu LLMOps từ ý tưởng đến triển khai, khám phá vòng đời, thách thức và áp dụng vào ứng dụng.

Các khái niệm về LLMOps

Tìm hiểu về LLMOps từ ý tưởng đến triển khai, nắm bắt các thông tin về vòng đời và thách thức, và học cách áp dụng các khái niệm này vào ứng dụng của bạn.

Kỹ sư Trợ lý Trí tuệ Nhân tạo (AI) cho Lập trình viên

Phát triển các mô hình ngôn ngữ quy mô lớn

Từ 5 đến 6 giờ chiều, lưu lượng đến mô hình của bạn tăng gấp mười lần và cần được xử lý

Bạn dự đoán số người dùng của mô hình sẽ tăng gấp đôi mỗi tháng trong năm nay, và có thể hơn nữa, nên cần đảm bảo ứng dụng chịu được mức tăng trưởng này

Để tăng tính thời gian thực của ứng dụng, bạn cần rút ngắn thời gian phản hồi cho từng yêu cầu riêng lẻ

Bạn nhận thấy với một số yêu cầu cụ thể, ứng dụng bị tràn bộ nhớ ngay cả khi lưu lượng thấp

Chiến lược mở rộng phù hợp

Các khái niệm về LLMOps

Bài tập tương tác thực hành