Às vezes, os dados que precisamos processar atingem um tamanho muito grande para a memória do computador. Esse é um problema comum enfrentado pelos cientistas de dados. Uma solução para isso é processar uma fonte de dados inteira, parte por parte, em vez de tudo de uma vez só.

Neste exercício, você fará exatamente isso. Você processará um grande arquivo csv de dados do Twitter da mesma forma que processou 'tweets.csv' em Reunindo tudo do curso de introdução, mas, desta vez, trabalhará nele em partes de 10 entradas por vez.

Se você tiver interesse em aprender como acessar os dados do Twitter para trabalhar com eles no seu próprio sistema, consulte a Parte 2 do curso sobre Importação de dados em Python do DataCamp.

O pacote pandas foi importado como pd e o arquivo 'tweets.csv' está no diretório atual para você usar.

Esteja ciente de que esses são dados reais do Twitter e, portanto, há sempre o risco de que eles contenham palavrões ou outros conteúdos ofensivos (neste exercício e em quaisquer exercícios seguintes que também usem dados reais do Twitter).

Usando iteradores para carregar arquivos grandes na memória

Create Your Free Account