This chapter provides an introduction to LLMOps and the ideation phase of LLM application development. It explains the basics of LLMOps, highlights the lifecycle stages of LLMs, and covers key activities in the ideation phase, such as data sourcing and selecting between open-source and proprietary LLMs.

Overview of LLMOps

LLMOps versus MLOps

Relevancy of LLMOps

Lifecycle of LLMs

The purpose of lifecycle phases

The application lifecycle

Ideation phase

Data sourcing

Proprietary versus open-source models

Selecting the right base model

Introduction to LLMOps & Ideation Phase

This chapter focuses on the development phase of LLM application creation. It covers prompt engineering, agents and chains, RAG versus fine-tuning techniques, and testing methods. 

Prompt engineering

The importance of prompt engineering

Trying out prompt engineering

Keeping track of prompts

Chains and agents

The difference between agents and chains

Choosing the right architecture

RAG versus fine-tuning

The RAG workflow

Compare RAG with fine-tuning

Testing

Choosing the right metric

The importance of testing

Development Phase

This chapter focuses on the operational phase of LLM application deployment and management. We will cover deployment strategies like CI/CD, scaling techniques, monitoring practices, cost management strategies, and governance and security considerations. Mastering these concepts will help you efficiently manage LLM applications in operational environments.

Dağıtım

CI/CD ihtiyacı

Seçenekler

Yatay ölçekleme

Dikey ölçekleme

Doğru ölçekleme stratejisi

İzleme ve gözlemlenebilirlik

Girdi izleme

İşlevsel izleme

Çıktı izleme

Uygulamanı izlemek

Uyarı yönetimi

Maliyet yönetimi

ChatGPT

İstem sıkıştırma

Maliyet öngörüsü yapmak

Yönetişim ve güvenlik

Prompt injection

Data poisoning

Denial of service

Azaltma stratejileri

Veri bütünlüğü ve zehirleme

Tebrikler

Operational Phase

Büyük Dil Modeli Operasyonlarına (LLMOps) bir yolculuğa çık. Meraklılar ve profesyoneller için tasarlanan bu kurs, fikir aşamasından operasyonel dağıtıma kadar temellerde sana rehberlik eder.

LLM uygulama yaşam döngüsüne dalarak, bunun kurumlar için neden kritik olduğunu göreceksin. Her aşamadaki zorlukları ve dikkat edilmesi gereken noktaları anlayacak, geliştirmeyi nasıl iyileştireceğini ve veri yönetişimi ile güvenliği benimserken sorunsuz bir dağıtım nasıl sağlayacağını öğreneceksin. Kursun sonunda LLMOps kavramlarını sağlam bir şekilde kavrayacak ve bunları uygulamalarına nasıl uygulayacağını bileceksin.

<h2> LLMOps'a Giriş </h2>

Büyük Dil Modeli Operasyonları (LLMOps) dünyasına bir yolculuğa çıkın. Hem meraklılar hem de profesyoneller için tasarlanan bu kurs, fikir oluşturmadan operasyonel uygulamaya kadar temel bilgileri size öğretir.

<h2> Temel Özelliklerin Kilidini Açın </h2>

LLMOps'un temellerini çözerek keşif yolculuğunuza başlayın. Organizasyonel ortamlarda oynadığı önemli rolü anlayın ve LLM'lerin ve LLMOps'un temel kavramlarını kavrayın. Bu dersin ana odak noktası, kendi temel LLM'nizi oluşturmak değildir. Bunun yerine, kuruluşunuzdaki uygulamalar için temel modelin yeteneklerinden yararlanmaya yöneliktir.

<h2> Yaşam Döngüsünde Gezinme </h2>

LLM uygulama yaşam döngüsünü inceleyerek, organizasyonlarda oynadığı önemli rol ortaya çıkacaktır. Her aşamadaki zorluklar ve dikkate alınması gereken hususlar hakkında bilgi edinecek, veri yönetimi ve güvenliğini benimserken geliştirmeyi nasıl iyileştirebileceğinizi ve sorunsuz bir dağıtım sağlayabileceğinizi öğreneceksiniz. 

Bu kursu tamamladıktan sonra, LLMOps hakkında sağlam bir bilgi birikimi edinmekle kalmayacak, aynı zamanda bu kavramları işinizde güvenle uygulayabileceksiniz. İster yeni başlıyor olun ister bilgilerinizi derinleştirmek istiyor olun, bu kurs becerilerinizi geliştirecek ve LLMOps konusunda uzmanlaşmanıza yardımcı olacaktır.

Large Language Models (LLMs) Concepts

LLMOps'u fikirden dağıtıma kadar öğrenin, yaşam döngüsü ve zorlukları keşfedin, uygulayın.

LLMOps Kavramları

Geliştiriciler için Yardımcı Yapay Zeka Mühendisi

Büyük Dil Modelleri Geliştirme

Saat 5 ile 6 arasında modele gelen trafikte on kat artış oluyor ve bunun karşılanması gerekiyor

Bu yıl modelin kullanıcı tabanının her ay ikiye katlanacağını, hatta daha da artabileceğini öngörüyorsun; uygulamanın bu büyümeyi kaldırabildiğinden emin olmalısın

Uygulamanın gerçek zamanlı yapısını güçlendirmek için tekil her isteğin yanıt süresini hızlandırman gerekiyor

Bazı belirli isteklerde, düşük trafik dönemlerinde bile uygulamanın bellek taşması yaşadığını fark ediyorsun

Doğru ölçekleme stratejisi

LLMOps Kavramları

Uygulamalı etkileşimli egzersiz