Chương này giới thiệu về LLMOps và giai đoạn hình thành ý tưởng trong phát triển ứng dụng LLM. Nội dung giải thích những điều cơ bản về LLMOps, nêu bật các giai đoạn trong vòng đời của LLM và các hoạt động chính ở giai đoạn ý tưởng, như tìm nguồn dữ liệu và lựa chọn giữa LLM mã nguồn mở và LLM thương mại.

Tổng quan về LLMOps

LLMOps và MLOps

Tính phù hợp của LLMOps

Vòng đời của LLM

Mục đích của các giai đoạn vòng đời

Vòng đời của ứng dụng

Giai đoạn hình thành ý tưởng

Tìm nguồn dữ liệu

Mô hình độc quyền so với mã nguồn mở

Chọn đúng mô hình nền tảng

Giới thiệu về LLMOps & Giai đoạn hình thành ý tưởng

Chương này tập trung vào giai đoạn phát triển của việc tạo ứng dụng LLM. Nội dung bao gồm kỹ thuật thiết kế prompt, agents và chains, so sánh RAG với fine-tuning, và các phương pháp kiểm thử.

Kỹ thuật thiết kế prompt

Tầm quan trọng của prompt engineering

Thử nghiệm prompt engineering

Theo dõi các prompt

Chuỗi và tác tử

Sự khác nhau giữa agents và chains

Chọn kiến trúc phù hợp

RAG và fine-tuning

Quy trình làm việc RAG

So sánh RAG với fine-tuning

Kiểm thử

Chọn chỉ số phù hợp

Tầm quan trọng của kiểm thử

Giai đoạn phát triển

Chương này tập trung vào giai đoạn vận hành: triển khai và quản lý ứng dụng LLM. Chúng ta sẽ đề cập đến chiến lược triển khai như CI/CD, kỹ thuật mở rộng, thực hành giám sát, chiến lược quản lý chi phí, cùng các cân nhắc về quản trị và bảo mật. Nắm vững các khái niệm này sẽ giúp bạn quản lý hiệu quả ứng dụng LLM trong môi trường vận hành.

Triển khai

Sự cần thiết của CI/CD

Tùy chọn

Mở rộng theo chiều ngang

Mở rộng theo chiều dọc

Chiến lược mở rộng phù hợp

Giám sát và khả năng quan sát

Giám sát đầu vào

Giám sát chức năng

Giám sát đầu ra

Giám sát ứng dụng của bạn

Xử lý cảnh báo

Quản lý chi phí

ChatGPT

Nén prompt

Lập dự báo chi phí

Quản trị và bảo mật

Prompt injection

Data poisoning

Denial of service

Chiến lược giảm thiểu rủi ro

Tính toàn vẹn dữ liệu và tấn công đầu độc dữ liệu

Chúc mừng

Giai đoạn vận hành

Bắt đầu hành trình tìm hiểu về vận hành Mô hình Ngôn ngữ Lớn (LLMOps). Khóa học này, dành cho cả người đam mê và chuyên gia, sẽ hướng dẫn bạn từ những ý tưởng ban đầu đến triển khai vận hành.

Đi sâu vào vòng đời ứng dụng LLM sẽ cho thấy vai trò then chốt của chúng trong tổ chức. Bạn sẽ nắm được các thách thức và cân nhắc ở từng giai đoạn, cách tinh chỉnh quá trình phát triển và đảm bảo triển khai trơn tru, đồng thời tuân thủ quản trị dữ liệu và bảo mật. Kết thúc khóa học, bạn sẽ nắm vững các khái niệm LLMOps và biết cách áp dụng chúng vào ứng dụng của mình.

Large Language Models (LLMs) Concepts

Tìm hiểu LLMOps từ ý tưởng đến triển khai, khám phá vòng đời, thách thức và áp dụng vào ứng dụng.

Các khái niệm về LLMOps

Tìm hiểu về LLMOps từ ý tưởng đến triển khai, nắm bắt các thông tin về vòng đời và thách thức, và học cách áp dụng các khái niệm này vào ứng dụng của bạn.

Kỹ sư Trợ lý Trí tuệ Nhân tạo (AI) cho Lập trình viên

Phát triển các mô hình ngôn ngữ quy mô lớn

Bạn muốn biết người dùng thường đặt câu hỏi dài và chi tiết hay thiên về các câu hỏi ngắn gọn, đơn giản

Bạn muốn biết liệu người dùng có nhập nội dung độc hại hoặc gây hại nào không

Bạn muốn biết thời gian phản hồi trung bình của LLM để tối đa hóa khả năng giữ chân người dùng

Bạn muốn phát hiện xem LLM có ngừng hoạt động, ngoại tuyến hoặc không xử lý được yêu cầu hay không

Bạn muốn theo dõi độ dài trung bình của phản hồi từ chatbot để tối ưu mức độ tương tác

Bạn muốn đo lường liệu đầu ra của chatbot có chứa nội dung độc hại hoặc gây tổn hại nào không để tối ưu sự hài lòng của người dùng

Giám sát ứng dụng của bạn

Các khái niệm về LLMOps

Bài tập tương tác thực hành