실행 불가능한 변수 식별하기

Rosie의 Machine Learning 팀은 보험사 웹사이트에 Machine Learning 모델을 배포했어요. 이 모델은 각 고객별로 특정 보험 유형의 구매 확률을 예측합니다. 그런 다음, 각 고객에게 확률이 가장 높은 맞춤형 추천 상품을 홈페이지에 보여줍니다.

웹사이트 팀이 AB 테스트를 진행한 결과, 메인 페이지에 일반적인 문구만 보여 준 그룹과 비교했을 때 Machine Learning 추천을 받은 고객 그룹에서 매출 증가가 관찰되지 않았습니다. Rosie는 모델을 재검토하고, 주요 결정 변수와 모델 설계 방식에 대한 인사이트를 제공해 달라고 요청했습니다.

추론(inferential) 모델에서는 비즈니스가 영향을 줄 수 있고 실제로 효과가 있는 변수를 사용하는 것이 중요합니다. 단순히 상관관계만 있고 실질적으로는 쓸모가 없는 변수는 제외해야 합니다.