1. 학습
    2. /
  2. 강의
    3. /
  3. Hugging Face로 배우는 멀티모달 모델
Connected

연습 문제

Vision Language Model(VLM) 프롬프트 만들기

다음 두 개의 연습 문제에서는 Hugging Face의 BBC News 데이터셋을 사용해 멀티모달 모델로 뉴스 기사와 해당 헤드라인 이미지를 함께 분석해 감성을 파악해 볼 거예요.

BBC News dataset card

먼저, 이미지와 뉴스 기사를 모두 포함하는 모델용 채팅 템플릿을 준비하겠습니다. 데이터셋(dataset)과 헤드라인 이미지(image)는 이미 로드되어 있어요.

지침

100 XP
  • dataset에서 인덱스 6에 있는 데이터 포인트로부터 뉴스 기사 본문(content)을 불러오세요.
  • f-string을 사용해 content를 text_query에 삽입하도록 텍스트 쿼리를 완성하세요.
  • image와 text_query를 채팅 템플릿에 추가하고, text_query의 콘텐츠 타입을 "text"로 지정하세요.