Zero-shot класифікація зображень

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Ця вправа є частиною курсу

Багатомодальні моделі з Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

173 reviews

Почніть курс безкоштовно

Опануйте навігацію в хабі моделей Hugging Face та перетворюйте сирий текст, аудіо й візуальні дані у формати, зручні для ШІ. Дізнайтеся, як знаходити найновіші й найпопулярніші моделі для задач на кшталт генерації тексту та як ефективно використовувати готові конвеєри (pipelines).

Exercise 1: Навігація моделями Hugging Face Exercise 2: Скільки ж моделей!?Exercise 3: Пошук найпопулярнішої моделі text-to-image Exercise 4: Попереднє опрацювання різних модальностей Exercise 5: Токенізація тексту Exercise 6: Попередня обробка зображень Exercise 7: Попередня обробка аудіо Exercise 8: Завдання конвеєра та оцінювання Exercise 9: Генерація підпису за допомогою pipeline Exercise 10: Передавання іменованих аргументів Exercise 11: Оцінювання моделі на власному наборі даних

Навчіться впевнено працювати з окремими модальностями за допомогою найсучасніших моделей. Пориньте у комп'ютерний зір для класифікації та сегментації зображень, дослідіть розпізнавання мовлення й синтез текст-у-мову та опануйте ефективні підходи до тонкого налаштування. Розвивайте практичні навички з попередньо навченими моделями з бібліотеки transformers від Hugging Face.

Exercise 1: Комп'ютерний зір Exercise 2: Класифікація зображень Exercise 3: Виявлення об'єктів Exercise 4: Видалення фону на зображенні Exercise 5: Тонке налаштування моделей комп'ютерного бачення Exercise 6: Тонке налаштування CV: підготовка набору даних Exercise 7: Тонке налаштування CV: класи моделі Exercise 8: Тонке налаштування CV: конфігурація тренера Exercise 9: Розпізнавання мовлення та генерування аудіо Exercise 10: Автоматичне розпізнавання мовлення Exercise 11: Створення мовних вкладень Exercise 12: Знешумлення аудіо Exercise 13: Тонке налаштування моделей перетворення тексту на мовлення Exercise 14: Тонке налаштування моделі перетворення тексту на мовлення Exercise 15: Генерування нових мовленнєвих фрагментів

Навчіться об'єднувати візуальну, текстову та аудіоінформацію для потужніших застосунків ШІ. Опануйте техніки на кшталт CLIP для zero-shot класифікації, створіть аналізатори тональності, що «бачать» і «читають», і побудуйте детектори емоцій, які поєднують міміку з голосом. Виведіть свої моделі за межі мислення однією модальністю.

Exercise 1: Zero-shot класифікація зображень

Поточна вправа

Exercise 2: Zero-shot навчання з CLIP Exercise 3: Автоматизоване оцінювання якості підписів Exercise 4: Мультимодальний аналіз тональності Exercise 5: Підказування для Vision Language Models (VLMs)Exercise 6: Багатомодальна класифікація сентименту з Qwen Exercise 7: Zero-shot класифікація відео Exercise 8: Розділення відео на аудіо Exercise 9: Аналіз настроїв у відео за допомогою CLIP і CLAP

Втілюйте ідеї в реальність! Опануйте передові техніки ШІ для генерації та редагування візуального контенту за допомогою текстових підказок. Створюйте вражаючі зображення, розумно редагуйте фото та будуйте потужні системи запитань-відповідей для зображень і документів. Перетворіть своє творче бачення на цифрову реальність завдяки багатомодальному ШІ.

Exercise 1: Відповіді на запитання за зображеннями (VQA)Exercise 2: VQA за допомогою Vision Language Transformers (ViLT)Exercise 3: VQA для документів із LayoutLM Exercise 4: Редагування зображень за допомогою дифузійних моделей Exercise 5: Кастомне редагування зображень Exercise 6: Домальовування зображення (inpainting)Exercise 7: Генерація відео Exercise 8: Створіть відео!Exercise 9: Оцінювання якості генерації відео Exercise 10: Вітаємо!