매치하고 분리하기

데이터셋에 있는 일부 트윗이 잘못 다운로드되었어요. 단어 사이가 공백이 아니라 이상한 문자로 구분되어 있습니다. 이 상황을 처리하기 위해 정규식을 사용하기로 했어요. 어떤 패턴을 매치해야 하는지 파악하려고 이런 트윗 몇 개를 출력해 봅니다.

살펴보니, 문장은 항상 특수문자 하나, 숫자 하나, break라는 단어, 그리고 다시 특수문자 하나의 순서로 구분되어 있어요. 예: &4break!. 단어는 항상 특수문자 하나, new라는 단어, 그리고 일반 문자 하나의 조합으로 구분돼요. 예: #newH.

한 개 트윗의 텍스트를 담은 변수 sentiment_analysis와 re 모듈이 이미 세션에 로드되어 있어요. IPython Shell에서 print(sentiment_analysis)로 내용을 확인할 수 있어요.