연습 문제

좋은 데이터 vs. 나쁜 데이터

다음은 여행자 리뷰에서 엔터티 유형 TOURIST_DESTINATION을 라벨링한 학습 데이터의 일부입니다.

undefined XP

왜 이 데이터와 라벨 체계가 문제가 될까요?

어떤 장소가 관광지인지 여부는 주관적인 판단이며 확정적인 범주가 아닙니다. 엔터티 인식기가 학습하기 매우 어렵습니다.

일관성을 위해 "Paris"와 "Arkansas"도 관광지로 라벨링해야 합니다. 그렇지 않으면 모델이 혼란스러워집니다.

"amsterdem"처럼 철자가 틀린 희귀 OOV(어휘에 없는) 단어는 엔터티로 라벨링하지 않아야 합니다.