Токенізація тексту за допомогою AutoTokenizer

AutoTokenizer спрощує підготовку тексту, автоматично виконуючи очищення, нормалізацію та токенізацію. Він гарантує, що текст обробляється саме так, як очікує модель.

У цій вправі ви дослідите, як AutoTokenizer перетворює текст на токени, готові для задач машинного навчання.