Bab ini memperkenalkan LLMOps dan fase ideasi dalam pengembangan aplikasi LLM. Bab ini menjelaskan dasar-dasar LLMOps, menyoroti tahapan siklus hidup LLM, serta membahas aktivitas kunci pada fase ideasi, seperti pencarian data dan pemilihan antara LLM open-source dan proprietari.

Gambaran Umum LLMOps

LLMOps versus MLOps

Relevansi LLMOps

Siklus Hidup LLM

Tujuan fase-fase siklus hidup

Siklus hidup aplikasi

Fase ideasi

Sumber data

Model proprietari versus open-source

Memilih model dasar yang tepat

Pengantar LLMOps & Fase Ideasi

Bab ini berfokus pada fase pengembangan pembuatan aplikasi LLM. Materi mencakup prompt engineering, agen dan rantai (chains), teknik RAG versus fine-tuning, serta metode pengujian.

Prompt engineering

Pentingnya prompt engineering

Mencoba prompt engineering

Melacak prompt

Rangkaian dan agen

Perbedaan antara agen dan chain

Memilih arsitektur yang tepat

RAG versus fine-tuning

Alur kerja RAG

Bandingkan RAG dengan fine-tuning

Pengujian

Memilih metrik yang tepat

Pentingnya pengujian

Fase Pengembangan

Bab ini berfokus pada fase operasional untuk penerapan dan pengelolaan aplikasi LLM. Kami akan membahas strategi penerapan seperti CI/CD, teknik penskalaan, praktik pemantauan, strategi pengelolaan biaya, serta pertimbangan tata kelola dan keamanan. Menguasai konsep-konsep ini akan membantu Anda mengelola aplikasi LLM secara efisien di lingkungan operasional.

Penerapan

Kebutuhan akan CI/CD

Opsi

Penskalaan horizontal

Penskalaan vertikal

Strategi penskalaan yang tepat

Pemantauan dan keteramatan

Pemantauan input

Pemantauan fungsional

Pemantauan output

Memantau aplikasi Anda

Penanganan peringatan

Manajemen biaya

ChatGPT

Kompresi prompt

Membuat proyeksi biaya

Tata kelola dan keamanan

Prompt injection

Data poisoning

Denial of service

Strategi mitigasi

Integritas data dan poisoning

Selamat

Fase Operasional

Mulailah perjalanan Anda ke Large Language Model Operations (LLMOps). Kursus ini, dirancang untuk penggemar maupun profesional, memandu Anda melalui dasar-dasarnya, dari ideasi hingga penerapan operasional.

Mendalami siklus hidup aplikasi LLM akan menunjukkan peran krusialnya dalam organisasi. Anda akan memperoleh wawasan tentang tantangan dan pertimbangan di setiap tahap serta cara menyempurnakan pengembangan dan memastikan penerapan berjalan lancar sambil menerapkan tata kelola data dan keamanan. Pada akhir kursus, Anda akan memiliki pemahaman yang kuat tentang konsep LLMOps dan mengetahui cara menerapkannya pada aplikasi Anda.

<h2> Pengantar LLMOps </h2>

Mulailah perjalanan ke Operasi Model Bahasa Besar (LLMOps). Kursus ini, dirancang untuk para penggemar maupun profesional, memandu Anda melalui dasar-dasarnya, mulai dari ideasi hingga penerapan operasional.

<h2> Buka Esensialnya </h2>

Mulailah eksplorasi Anda dengan mengungkap dasar-dasar LLMOps. Pahami peran pentingnya dalam lanskap organisasi dan kuasai konsep inti LLM serta LLMOps. Fokus utama kursus ini bukan pada membangun LLM dasar Anda sendiri. Sebaliknya, ini dirancang untuk memanfaatkan kemampuan model dasar untuk penerapan di organisasi Anda.

<h2> Menavigasi Siklus Hidup </h2>

Menyelami siklus hidup aplikasi LLM akan mengungkap peran pentingnya dalam organisasi. Anda akan memperoleh wawasan tentang tantangan dan pertimbangan di setiap tahap serta cara menyempurnakan pengembangan dan memastikan penerapan yang lancar sambil menerapkan tata kelola data dan keamanan. 

Setelah menyelesaikan kursus ini, Anda tidak hanya akan memperoleh pemahaman yang kuat tentang LLMOps, tetapi juga mampu menerapkan konsep-konsep ini dengan percaya diri dalam pekerjaan Anda. Baik Anda baru memulai atau ingin memperdalam pemahaman Anda, kursus ini akan meningkatkan keterampilan Anda dan membimbing Anda menuju penguasaan LLMOps.

Large Language Models (LLMs) Concepts

Pelajari LLMOps dari ide hingga penerapan, pahami siklus hidup dan tantangan, serta terapkan konsep ini.

Konsep LLMOps

Insinyur Kecerdasan Buatan (AI) untuk Pengembang

Pengembangan Model Bahasa Besar

Antara pukul 5 dan 6 sore terjadi lonjakan trafik sepuluh kali lipat ke model Anda yang perlu diantisipasi

Anda memperkirakan basis pengguna model akan berlipat ganda setiap bulan tahun ini, bahkan mungkin lebih lama, sehingga aplikasi harus mampu menangani pertumbuhan ini

Untuk meningkatkan kemampuan real-time aplikasi, Anda harus mempercepat waktu respons untuk setiap permintaan individual

Anda melihat bahwa untuk beberapa permintaan tertentu, aplikasi kehabisan memori, bahkan saat periode trafik rendah

Strategi penskalaan yang tepat

Konsep LLMOps

Latihan interaktif langsung