모델 복잡도와 과적합

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

이 연습은 강의의 일부입니다

Python으로 설계하는 Machine Learning 워크플로

SkillTag.level.advancedSkillTag.label

4.8+

이 장에서는 모델 학습, 튜닝과 선택, 특성 공학과 선택, 데이터 분할 기법까지 포함한 지도 학습 워크플로의 기본을 다시 짚습니다. 워크플로의 각 단계가 서로 어떻게 의존하는지 이해하고, 데이터 사이언티스트의 최대 적인 과적합을 어떻게 유발하거나 방지할 수 있는지 파악하게 됩니다. 이 장이 끝나면 지도 학습 전반에 이미 능숙해지고, 이후 장에서 더 고급 주제로 나아갈 준비를 마치게 될 거예요.

Exercise 1: Supervised learning 파이프라인 Exercise 2: Feature engineering Exercise 3: 첫 번째 파이프라인 Exercise 4: 모델 복잡도와 과적합

현재 연습

Exercise 5: 모델 복잡도를 위한 Grid search CV Exercise 6: 트리 수와 추정기 수 Exercise 7: 피처 엔지니어링과 과적합 Exercise 8: 범주형 인코딩 Exercise 9: 특성 변환 Exercise 10: 모든 것을 하나로 묶기

이전 장에서 표준 지도 학습 워크플로에 대한 이해를 완성하셨습니다. 이번 장에서는 전문가 지식이 지도 학습에 통합되는 방식을 비판적으로 살펴봅니다. 이는 적절한 분석 단위를 식별하는 과정(때로는 여러 데이터 소스를 아우르는 특성 공학이 필요할 수 있음), 때로는 불완전할 수 있는 예시 라벨링 과정, 그리고 Machine Learning 모델이 범하는 오류의 실제 비즈니스 가치를 반영하는 손실 함수를 정의하는 과정을 통해 이루어집니다.

Exercise 1: 데이터 융합 Exercise 2: 문제가 있는 쪽은 소스인가요, 목적지인가요?Exercise 3: 그룹화된 데이터에서의 특성 엔지니어링 Exercise 4: 불완전한 레이블 Exercise 5: 휴리스틱을 분류기로 바꾸기 Exercise 6: 휴리스틱 결합하기 Exercise 7: 레이블 노이즈 다루기 Exercise 8: 손실 함수 Part I Exercise 9: 성능 지표 다시 살펴보기 Exercise 10: 현실적인 비용 분석 Exercise 11: 혼동 행렬 계산 Exercise 12: 손실 함수 Part II Exercise 13: 기본 임계값 확인 Exercise 14: 임계값 최적화하기 Exercise 15: 모든 것을 종합해 보기

이전 장에서는 전문가의 피드백을 워크플로에 반영하는 다양한 방법과, 이를 비즈니스 가치에 맞게 평가하는 방법을 살펴보았습니다. 이제 모델을 제품화하고 이후에도 성능을 유지하도록 반복적으로 개선하는 데 필요한 기술을 연습할 차례입니다. 또한 데이터셋 시프트를 진단하고, 환경 변화가 모델 정확도에 미치는 영향을 완화하는 방법도 배우게 됩니다.

Exercise 1: 워크플로에서 파이프라인으로 Exercise 2: 첫 번째 파이프라인 - 다시 한 번!Exercise 3: 파이프라인에서 커스텀 스코어러 사용하기 Exercise 4: 모델 배포 Exercise 5: Pickle Exercise 6: 파이프라인에서 사용자 정의 함수 변환기 사용하기 Exercise 7: 과적합 없이 반복 개선하기 Exercise 8: 챔피언에 도전하기 Exercise 9: 교차 검증 통계 Exercise 10: 데이터셋 시프트 Exercise 11: 윈도 크기 튜닝하기 Exercise 12: 모든 것을 하나로 묶기

이전 장들에서 지도 학습의 탄탄한 기초를 다지고, 프로덕션 배포에 대한 이해도 갖추셨지만, 분석에 사용할 라벨이 항상 있다고 가정했습니다. 이번 장에서는 라벨이 전혀 없거나 매우 적은 데이터를 모델링하는 도전에 나섭니다. 이는 비지도 학습의 한 형태인 이상치 탐지와, 두 예시 간 유사성에 대한 가정을 라벨 대신 활용하여 지도 학습에 필적하는 정확도를 달성할 수 있는 거리 기반 학습으로 이어집니다. 이 장을 마치면, 현실 세계의 흔한 과제를 극복하기 위해 워크플로를 어떻게 수정해야 하는지 자신 있게 도구를 선택할 수 있어, 데이터 사이언티스트들 사이에서 분명히 두각을 나타내실 거예요.

Exercise 1: 이상 탐지 Exercise 2: 간단한 이상치 Exercise 3: LoF contamination Exercise 4: 새로움 탐지 Exercise 5: 간단한 Novelty Exercise 6: 세 가지 신규성 검출기 Exercise 7: 오염도 다시 살펴보기 Exercise 8: 거리 기반 학습 Exercise 9: 가장 가까운 이웃 찾기 Exercise 10: 모든 메트릭이 항상 일치하진 않아요 Exercise 11: 비정형 데이터 Exercise 12: Restricted Levenshtein Exercise 13: 모두 종합해 보기 Exercise 14: 마무리 발언