Суммаризация длинного текста
Суммаризация позволяет сжать большой текст до удобного для чтения объёма — это помогает быстро понять ключевые мысли из объёмных статей и документов.
Существует два основных подхода: экстрактивный — выбор ключевых предложений из исходного текста, и абстрактивный — генерация новых предложений, передающих главные идеи.
В этом упражнении вы создадите конвейер абстрактивной суммаризации с помощью функции pipeline() из Hugging Face и модели cnicu/t5-small-booksum. Вы сократите текст со страницы Википедии о Греции и сравните переформулированный вывод модели с оригиналом.
Функция pipeline из библиотеки transformers и переменная original_text уже загружены.
Это упражнение является частью курса
Работа с Hugging Face
Инструкции к упражнению
- Создайте конвейер суммаризации
pipeline, указав задачу "summarization", и сохраните его в переменнуюsummarizer. - Используйте новый конвейер, чтобы создать краткое изложение текста, и сохраните результат в переменную
summary_text. - Сравните длину исходного текста и полученного краткого изложения.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create the summarization pipeline
summarizer = ____(____="____", model="cnicu/t5-small-booksum")
# Summarize the text
summary_text = ____(original_text)
# Compare the length
print(f"Original text length: {len(original_text)}")
print(f"Summary length: {len(____[0]['____'])}")