처음부터 구축하기

여러분은 대형 언어 모델을 처음부터 직접 개발하려고 하는 데이터 과학자이며, 우리 조직이 앞으로 활용할 다양한 애플리케이션에 두루 활용할 수 있도록 범용 대형 모델을 구축해야 합니다.

또한 조직에서는 대량의 고객 문의를 처리하기 위한 고객 서비스 봇을 구축하려는 계획도 가지고 있습니다.

인터랙티브 애플리케이션을 사용하여 언어 모델 파이프라인 구축에 필요한 기법들을 올바른 순서로 나열해 보세요.

LLM을 처음부터 구축할 때 올바른 단계별 순서는 무엇인가요?

이 연습은 강의의 일부입니다

대형 언어 모델(LLM)의 개념

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

대형 언어 모델(LLM)의 개념

SkillTag.level.beginnerSkillTag.label

4.8+

무료로 강의 시작하기

AI 분야는 빠르게 발전하고 있으며, 대형 언어 모델(LLM)은 이러한 변화의 최전선에 있습니다. 이 챕터에서는 LLM이 인간과 유사한 인공지능의 발전을 어떻게 앞당기고 있는지, 그리고 다양한 응용 분야를 통해 어떻게 여러 산업을 변화시키고 있는지 살펴봅니다. 또한 언어 모델링과 관련된 과제와 복잡성에 대해서도 탐구하게 됩니다.

Exercise 1: AI 분야에서 LLM의 부상 Exercise 2: LLM의 정의 Exercise 3: AI 환경에서의 LLM Exercise 4: AI vs. LLM 애플리케이션 Exercise 5: 현실 세계에서의 응용 Exercise 6: 비즈니스 활용 사례 Exercise 7: 멀티모달 애플리케이션 Exercise 8: 데이터 기반 작업 자동화 Exercise 9: 언어 모델링의 과제 Exercise 10: 언어 모델은 무엇을 할 수 있을까?Exercise 11: 단일 작업 학습 vs. 다중 작업 학습

이번 챕터에서는 LLM의 혁신성과 새롭게 등장하는 역량을 강조하고, 데이터 준비를 위한 다양한 NLP 기법들을 소개합니다. LLM 훈련을 시킬 때 마주하는 과제들과 파인튜닝이 이를 효과적으로 해결하는 방법을 학습합니다. 또한 라벨링된 데이터가 부족한 상황에서 N-샷 학습 기법을 통해 사전 훈련된 모델을 효율적으로 적응시키는 방법도 이해하게 될 것입니다.

Exercise 1: LLM의 혁신성 Exercise 2: LLM을 활용한 문제 해결 Exercise 3: 기존 모델 vs. LLM Exercise 4: NLP의 일반적 개요 Exercise 5: 데이터 준비 Exercise 6: 텍스트 전처리와 표현 Exercise 7: 단어 주머니 보다 우수한 단어 임베딩 Exercise 8: 파인튜닝 Exercise 9: LLM 개발의 도전 과제 Exercise 10: 사전 학습된 모델 적용하기 Exercise 11: 사전 학습인가 파인튜닝인가?Exercise 12: 학습 기법 Exercise 13: 모델 파인튜닝하기 Exercise 14: N-샷 학습

이 챕터에서는 사전 학습 기법 등 LLM 훈련의 핵심 구성 요소를 학습합니다. 또한 어텐션 메커니즘을 포함한 트랜스포머 아키텍처와 같은 복잡한 개념을 직관적으로 이해하게 됩니다. 고급 파인튜닝 기법을 살펴보고, LLM을 완성하기 위한 훈련 과정 전반을 정리합니다.

Exercise 1: LLM 훈련의 기본 구성 요소 Exercise 2: 마스킹 언어 Exercise 3: 다음 단어 예측하기 Exercise 4: 처음부터 구축하기

현재 연습

Exercise 5: 트랜스포머 소개 Exercise 6: 멀리 떨어진 단어들 사이의 관계 Exercise 7: 트랜스포머 구성 요소 Exercise 8: 어텐션 메커니즘 Exercise 9: 멀티 헤드 어텐션의 집중 요소 Exercise 10: 셀프 어텐션 vs. 멀티 헤드 어텐션 Exercise 11: 고급 파인튜닝 Exercise 12: 엔드투엔드 학습 Exercise 13: 학습, 튜닝 및 피드백 Exercise 14: LLM 구축하기

이번 챕터에서는 LLM 훈련 시 고려해야 할 주요 사항, 즉 대규모 데이터의 가용성, 데이터 품질, 정확한 라벨링, 편향된 데이터의 영향 등을 깊이 있게 살펴봅니다. 데이터 프라이버시, 윤리적 문제, 환경적 영향 등 다양한 LLM 위험도 검토합니다. 마지막으로 새롭게 떠오르는 연구 분야와 계속해서 LLM의 변화하는 환경을 논의하며 챕터를 마무리합니다.

Exercise 1: 데이터 우려 사항 및 고려 사항 Exercise 2: 여러분의 모델은 공정한가요?Exercise 3: 편향되지 않고 관련성 있는 Exercise 4: 은행 고객 서비스 Exercise 5: 윤리적 그리고 환경적 우려 사항 Exercise 6: 책임감 있는 활용 Exercise 7: 윤리와 환경 Exercise 8: LLM의 미래는 어디로 향하고 있을까?Exercise 9: 창의성 vs. 효율성 Exercise 10: 문학 작품 분석하기 Exercise 11: 마무리 시간