이 장에서는 LLMOps와 LLM 애플리케이션 개발의 아이디어 구상 단계를 소개합니다. LLMOps의 기본을 설명하고, LLM의 수명 주기 단계를 짚어 보며, 데이터 소싱, 오픈 소스와 상용 LLM 선택 등 아이디어 구상 단계의 핵심 활동을 다룹니다.

LLMOps 개요

LLMOps 대 MLOps

LLMOps의 중요성

LLM의 라이프사이클

라이프사이클 단계의 목적

애플리케이션 라이프사이클

아이디에이션 단계

데이터 소싱

독점 모델 vs 오픈 소스 모델

적합한 기반 모델 선택하기

LLMOps 소개와 아이디어 구상 단계

이 장은 LLM 애플리케이션 구축의 개발 단계에 집중합니다. 프롬프트 엔지니어링, 에이전트와 체인, RAG와 파인튜닝 기법의 비교, 그리고 테스트 방법을 다룹니다. 

프롬프트 엔지니어링

프롬프트 엔지니어링의 중요성

프롬프트 엔지니어링 체험하기

프롬프트 기록 관리

체인과 에이전트

에이전트와 체인의 차이

적절한 아키텍처 선택하기

RAG 대 Fine-tuning

RAG 워크플로

RAG와 Fine-tuning 비교하기

테스트하기

올바른 평가 지표 선택하기

테스트의 중요성

개발 단계

이 장은 LLM 애플리케이션의 배포와 운영 관리 단계에 초점을 맞춥니다. CI/CD 같은 배포 전략, 확장 기법, 모니터링 실무, 비용 관리 전략, 거버넌스와 보안 고려 사항을 살펴봅니다. 이러한 개념을 숙지하면 운영 환경에서 LLM 애플리케이션을 효율적으로 관리할 수 있습니다.

배포

왜 CI/CD가 필요할까요

옵션

수평 스케일링

수직 스케일링

올바른 스케일링 전략

모니터링과 가시성

Options

입력 모니터링

기능 모니터링

출력 모니터링

애플리케이션 모니터링

경보 처리

비용 관리

ChatGPT

프롬프트 압축

비용 예측 수립하기

거버넌스와 보안

프롬프트 인젝션

Prompt injection

Data poisoning

Denial of service

완화 전략

데이터 무결성과 중독(poisoning)

축하합니다

운영 단계

Large Language Model Operations(LLMOps)의 세계로 함께해 보세요. 이 강좌는 입문자부터 실무자까지 모두를 위해 기획되었으며, 아이디어 구상부터 운영 배포까지 기본기를 차근차근 안내합니다.

LLM 애플리케이션의 수명 주기를 살펴보면서 조직 내에서의 핵심 역할을 이해하게 됩니다. 각 단계에서의 과제와 고려 사항, 개발을 고도화하고 원활하게 배포하는 방법, 그리고 데이터 거버넌스와 보안을 준수하는 방법을 익히게 돼요. 수강을 마치면 LLMOps 개념을 탄탄히 이해하고, 이를 애플리케이션에 어떻게 적용할지 알게 됩니다.

<h2> LLMOps 소개 </h2>

대규모 언어 모델 운영(LLMOps)의 여정을 시작해 보세요. 이 강의는 열정적인 학습자와 전문가 모두를 위해 설계되었으며, 아이디어 구상부터 운영 배포까지 기초를 안내합니다.

<h2> 필수 요소를 익히세요 </h2>

LLMOps의 기본을 풀어가며 탐구를 시작하세요. 조직 환경에서 LLMOps의 핵심 역할을 이해하고 LLM과 LLMOps의 핵심 개념을 파악하세요. 이 강의의 주요 초점은 자체적인 기초 LLM을 구축하는 데 있지 않습니다. 대신, 이는 조직 내에서 활용하기 위해 기초 모델의 기능을 활용하는 데 초점을 맞추고 있습니다.

<h2> 라이프사이클 탐색 </h2>

LLM 애플리케이션 라이프사이클을 살펴보면 조직에서 그것이 얼마나 중요한 역할을 하는지 알 수 있습니다. 각 단계에서의 과제와 고려 사항에 대한 통찰을 얻고, 데이터 거버넌스와 보안을 준수하면서 개발을 개선하고 원활한 배포를 보장하는 방법을 배우게 됩니다. 

이 강의를 완료하면 LLMOps에 대한 탄탄한 이해를 얻는 것은 물론, 업무에서도 이 개념을 자신 있게 적용할 수 있게 됩니다. 초보자로 시작하든 더 깊이 이해하고 싶든, 이 강의는 여러분의 역량을 높이고 LLMOps를 마스터하는 데 도움을 줄 것입니다.

Large Language Models (LLMs) Concepts

LLMOps의 아이디어부터 배포까지 배우고, 수명 주기와 도전 과제를 이해하여 응용 프로그램에 적용하세요.

LLMOps 개념

아이디어부터 배포까지 LLMOps를 학습하고, 수명 주기와 과제를 이해하며, 개념을 실제 애플리케이션에 적용하는 방법을 익히십시오.

개발자를 위한 AI 엔지니어 보조

대형 언어 모델 개발

사용자들이 보통 길고 자세한 질문을 하는지, 아니면 더 간단하고 짧은 질문을 하는지 알고 싶어요

사용자가 악의적이거나 유해한 내용을 입력하는지 알고 싶어요

이탈을 최소화하기 위해 LLM의 평균 응답 시간을 알고 싶어요

LLM이 작동을 멈췄는지, 오프라인이 되었는지, 요청을 처리하지 못했는지 확인하고 싶어요

참여도를 최적화하기 위해 챗봇의 평균 응답 길이를 추적하고 싶어요

사용자 만족도를 높이기 위해 챗봇의 출력에 유해하거나 독성 있는 내용이 포함되는지 측정하고 싶어요

애플리케이션 모니터링

LLMOps 개념

실습형 인터랙티브 연습문제