Ви попрактикуєте визначення мови на невеликому наборі даних non_english_reviews. Це вибірка неангломовних відгуків з Amazon product reviews.

Ви будете проходити по рядках набору даних, визначати мову кожного рядка та додавати її до порожнього списку. Список потрібно очистити так, щоб він містив лише код мови відгуку, наприклад 'en' для англійської, замість звичайного виводу en:0.9987654. Пам'ятайте, що функція визначення мови може знаходити більше ніж одну мову, і перший елемент у поверненому списку — найімовірніший кандидат. Нарешті, ви присвоїте цей список новій колонці.

Логіка така сама, як у слайдах і попередній вправі, але замість застосування функції до списку ви працюєте з набором даних.

Деталізуємо за допомогою n-грам

Create Your Free Account