이번 장에서는 사기 탐지와 관련된 전형적인 과제를 살펴보고, 불균형 데이터 문제를 해결하기 위해 데이터를 현명하게 재표본추출(resampling)하는 방법을 배웁니다.

사기 탐지 소개

사기와 정상 거래 비율 확인하기

데이터 시각화하기

데이터 리샘플링으로 적발 성공률 높이기

불균형 데이터의 리샘플링 방법

SMOTE 적용하기

SMOTE와 원본 데이터 비교

사기 탐지 알고리즘 실습

전통적인 방식으로 사기 탐지 살펴보기

ML 분류로 사기 거래 잡아내기

SMOTE와 결합한 로지스틱 회귀

파이프라인 사용하기

소개와 데이터 준비

사기 탐지의 주요 과제에 익숙해졌다면, 이제 지도 학습을 사용해 사기 거래에 플래그를 다는 방법을 배웁니다. 분류기를 사용하고 조정하며 비교하여 가장 효율적인 사기 탐지 모델을 찾아봅니다.

분류 기법 복습

자연 적중률

Random Forest Classifier - 1부

Random Forest Classifier - part 2

성능 평가

RF 모델의 성능 지표

Precision-Recall 곡선 그리기

알고리즘 가중치 조정하기

모델 조정

사기 탐지를 위한 Random Forest 조정하기

최적 하이퍼파라미터를 찾는 GridSearchCV

GridSearchCV로 모델 결과 확인

앙상블 방법

로지스틱 회귀

Voting Classifier

Voting Classifier에서 가중치 조정하기

레이블된 데이터를 활용한 사기 탐지

이 장에서는 비지도 학습 기법을 사용해 사기를 탐지하는 데 집중합니다. 고객을 세분화하고, K-means 클러스터링과 다른 클러스터링 알고리즘을 사용하여 데이터에서 의심스러운 징후를 찾아냅니다.

정상 행동과 비정상 행동

데이터 탐색하기

고객 세분화

통계를 활용해 정상 행동 정의하기

사기 탐지를 위한 클러스터링 방법

데이터 스케일링

K-means 클러스터링

Elbow method

사기와 비사기 구분하기

이상치 탐지

모델 결과 확인하기

기타 클러스터링 기반 사기 탐지 방법

DBSCAN

가장 작은 클러스터 평가하기

결과 확인

레이블이 없는 데이터를 활용한 사기 탐지

마지막 장에서는 텍스트 데이터, 텍스트 마이닝, 토픽 모델링을 활용해 사기 행동을 탐지합니다.

텍스트 데이터 활용하기

데이터프레임으로 단어 검색하기

용어 리스트 사용하기

플래그 만들기

사기 탐지를 위한 텍스트 마이닝

불용어 제거

텍스트 데이터 정제

사기 탐지에 토픽 모델링 적용

사전과 코퍼스 생성하기

LDA 모델

토픽 기반 사기 탐지 표시하기

토픽 모델 해석하기

토픽을 기반으로 사기 행위자 찾기

요약

텍스트를 활용한 사기 탐지

Chapter 1 datasets

Chapter 4 datasets

Chapter 3 datasets

Chapter 2 datasets

일반적인 조직은 매년 매출의 약 5%를 사기로 잃는 것으로 추정됩니다. 이 강의에서는 데이터를 활용해 사기를 대응하는 방법을 배웁니다. 예를 들어, 과거와 유사한 사기 행위를 탐지하기 위해 지도 학습 알고리즘을 적용하는 법과, 새로운 유형의 사기 활동을 발견하기 위한 비지도 학습 방법을 학습합니다. 또한 사기 분석에서는 사기와 비사기를 분류할 때 극도로 불균형한 데이터셋을 자주 다루게 되며, 강의를 통해 이를 처리하는 기법들도 익히게 됩니다. 이 강의는 기술적 내용과 이론적 인사이트를 함께 제공하며, 사기 탐지 모델을 실무에서 구현하는 방법을 직접 다뤄 봅니다. 더불어 실제 경험에서 비롯된 팁과 조언을 제공해, 사기 분석에서 흔히 하는 실수를 피할 수 있도록 도와드립니다.

Unsupervised Learning in Python

Supervised Learning with scikit-learn

Python으로 불균형 데이터 재샘플링, 지도 학습, 세분화, K-평균, 데이터 마이닝, 주제 모델링으로 사기 탐지 배우기.

Python으로 배우는 사기 탐지

파이썬을 사용하여 사기를 탐지하는 방법을 배우세요.

Data Scientist

데이터 리샘플링으로 탐지 성공률 높이기

언더샘플링

오버샘플링

Python에서의 오버샘플링

SMOTE (합성 소수 클래스 오버샘플링)

어떤 리샘플링 방법을 쓸까?

리샘플링을 사용할 때

연습해 봅시다!

소개와 데이터 준비 - 데이터 리샘플링으로 적발 성공률 높이기

데이터 리샘플링으로 적발 성공률 높이기

Create Your Free Account