Tokenizasyon: cümleler
Animal Farm, ortaokul İngilizce öğretmenlerinin öğrencilerine sıkça verdiği popüler bir kitaptır. Metin üzerinde biraz keşif yapıp öğretmenlerin bu kitabı ödev verirken kullanabileceği özet istatistikler sunmaya karar verdin. 10 bölüm olduğunu zaten biliyorsun, ayrıca cümle, kelime ve hatta paragraf sayılarını saymana yardımcı olması için tokenizasyon kullanabileceğini de biliyorsun. Bu egzersizde, videoda öğrendiğin tokenizasyon tekniklerini kullanarak Animal Farm’ı cümlelere bölecek ve bölüm bazında sayacaksın.
Bu egzersiz, kursun bir parçasıdır
R ile Doğal Dil İşlemeye Giriş
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Split the text_column into sentences
animal_farm %>%
___(output = "sentences", input = text_column, token = ___)