Inicio
Cursos
Introdução ao processamento de linguagem natural em Python

Introdução à tokenização

Este exercício faz parte do curso

Introdução ao processamento de linguagem natural em Python

IntermediárioNível de habilidade

4.7+

Este capítulo apresentará alguns conceitos básicos do NLP, como tokenização de palavras e expressões regulares para ajudar a analisar o texto. Você também aprenderá a lidar com textos que não estejam em inglês e com a tokenização mais difícil que possa encontrar.

Exercise 1: Introdução às expressões regulares Exercise 2: Qual padrão?Exercise 3: Praticando expressões regulares: re.split() e re.findall()Exercise 4: Introdução à tokenização

Exercício atual

Exercise 5: Tokenização de palavras com NLTK Exercise 6: Mais regex com re.search()Exercise 7: Tokenização avançada com NLTK e regex Exercise 8: Escolha de um tokenizador Exercise 9: Regex com tokenização NLTK Exercise 10: Tokenização não-ascii Exercise 11: Gráfico de comprimento de palavras com NLTK Exercise 12: Prática de gráficos

Este capítulo apresentará a identificação de tópicos, que você pode aplicar a qualquer texto que encontrar na natureza. Usando modelos básicos do NLP, você identificará tópicos de textos com base em frequências de termos. Você fará experimentos e comparará dois métodos simples: bag-of-words e Tf-idf usando NLTK e uma nova biblioteca Gensim.

Exercise 1: Contagens de palavras com saco de palavras Exercise 2: Selecionador de saco de palavras Exercise 3: Criando um contador com um conjunto de palavras Exercise 4: Pré-processamento de texto simples Exercise 5: Etapas de pré-processamento de texto Exercise 6: Prática de pré-processamento de texto Exercise 7: Introdução ao gensim Exercise 8: O que são vetores de palavras?Exercise 9: Criando e consultando um corpus com o gensim Exercise 10: Saco de palavras Gensim Exercise 11: Tf-idf com gensim Exercise 12: O que é tf-idf?Exercise 13: Tf-idf com a Wikipédia

Este capítulo apresentará um tópico um pouco mais avançado: reconhecimento de entidades nomeadas. Você aprenderá a identificar quem, o quê e onde dos seus textos usando modelos pré-treinados em textos em inglês e em outros idiomas. Você também aprenderá a usar algumas novas bibliotecas, polyglot e spaCy, para adicionar à sua caixa de ferramentas NLP.

Exercise 1: Reconhecimento de entidades nomeadas Exercise 2: NER com NLTK Exercise 3: Prática de gráficos Exercise 4: Biblioteca de Stanford com NLTK Exercise 5: Introdução ao SpaCy Exercise 6: Comparando NLTK com spaCy NER Exercise 7: spaCy NER Categorias Exercise 8: Multilíngue NER com poliglota Exercise 9: Francês NER com poliglota I Exercise 10: Francês NER com poliglota II Exercise 11: Espanhol NER com poliglota

Você aplicará os conceitos básicos do que aprendeu, juntamente com um pouco de aprendizado de máquina supervisionado, para criar um detector de "notícias falsas". Você começará aprendendo os fundamentos do aprendizado de máquina supervisionado e, em seguida, avançará escolhendo alguns recursos importantes e testando ideias para identificar e classificar artigos de notícias falsas.

Exercise 1: Classificação de notícias falsas usando aprendizado supervisionado com NLP Exercise 2: Quais são os recursos possíveis?Exercise 3: Treinamento e testes Exercise 4: Criando vetores de contagem de palavras com o scikit-learn Exercise 5: CountVectorizer para classificação de texto Exercise 6: TfidfVectorizer para classificação de texto Exercise 7: Inspecionar os vetores Exercise 8: Treinamento e teste de um modelo de classificação com o scikit-learn Exercise 9: Modelos de classificação de texto Exercise 10: Treinamento e teste do modelo de "notícias falsas" com o CountVectorizer Exercise 11: Treinamento e teste do modelo de "notícias falsas" com o TfidfVectorizer Exercise 12: Simples NLP, problemas complexos Exercise 13: Aprimorando o modelo Exercise 14: Aprimorando seu modelo Exercise 15: Inspecionando seu modelo