Ordfrekvensanalys

Grattis! Du har precis börjat på PyBooks. PyBooks håller på att utveckla ett bokrekommendationssystem och vill hitta mönster och trender i text för att förbättra sina rekommendationer.

Först behöver du förstå hur ofta olika ord förekommer i en given text och ta bort sällsynta ord.

Observera att verkliga datamängder vanligtvis är större än det här exemplet.

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

Övningsinstruktioner

Importera get_tokenizer från torchtext och FreqDist från biblioteket nltk.
Initiera tokeniseraren för engelska och tokenisera den givna variabeln text.
Beräkna frekvensfördelningen för tokens och ta bort sällsynta ord med hjälp av listomfattning.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import the necessary functions
from torchtext.data.utils import ____
from nltk.probability import ____

text = "In the city of Dataville, a data analyst named Alex explores hidden insights within vast data. With determination, Alex uncovers patterns, cleanses the data, and unlocks innovation. Join this adventure to unleash the power of data-driven decisions."

# Initialize the tokenizer and tokenize the text
tokenizer = ____("basic_english")
tokens = tokenizer(____)

threshold = 1
# Remove rare words and print common tokens
freq_dist = ____(____)
common_tokens = [token for token in tokens if ____[token] > ____]
print(common_tokens)

Redigera och kör kod

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar dig till djupinlärning för text och dess tillämpningar. Du lär dig använda PyTorch för textbearbetning och får praktisk erfarenhet av tekniker som tokenisering, stemming, borttagning av stoppord och mer. Du förstår varför kodning av textdata är viktigt och implementerar kodningstekniker med PyTorch. Avslutningsvis befäster du dina kunskaper genom att bygga en textbearbetningspipeline som kombinerar dessa tekniker.

Exercise 1: Introduktion till förbehandling av text Exercise 2: Ordfrekvensanalys

Aktuell övning

Exercise 3: Förbehandling av text Exercise 4: Kodning av textdata Exercise 5: One-hot-kodade boktitlar Exercise 6: Bag-of-words för boktitlar Exercise 7: Tillämpa TF-IDF på bokbeskrivningar Exercise 8: Introduktion till att bygga en pipeline för textbehandling Exercise 9: Förbehandlingspipeline för shakespearianskt språk Exercise 10: Shakespeansk språkenkodare

Utforska textklassificering och dess roll inom naturlig språkbehandling (NLP). Använd dina kunskaper för att implementera ordinbäddningar och utveckla både CNN:er (Convolutional Neural Networks) och RNN:er (Recurrent Neural Networks) för textklassificering med PyTorch, och lär dig utvärdera dina modeller med lämpliga mätvärden.

Exercise 1: Översikt över textklassificering Exercise 2: Inbäddning i PyTorch Exercise 3: Kategorisera textklassificeringsuppgifter Exercise 4: Konvolutionella neurala nätverk för textklassificering Exercise 5: Bygg en CNN-modell för text Exercise 6: Träna en CNN-modell för text Exercise 7: Testa CNN-modellen för sentimentanalys Exercise 8: Återkommande neurala nätverk för textklassificering Exercise 9: Bygg en RNN-modell för text Exercise 10: Bygga en LSTM-modell för text Exercise 11: Bygga en GRU-modell för text Exercise 12: Utvärderingsmått för textklassificering Exercise 13: Utvärdering av RNN-klassificeringsmodeller Exercise 14: Utvärdera modellens prestanda Exercise 15: Jämföra modeller

Ge dig in i textgenerering och dess tillämpningar inom NLP. Lär dig utnyttja RNN:er (Recurrent Neural Networks), GAN:er (Generative Adversarial Networks) och förtränade modeller för textgenereringsuppgifter med PyTorch. Du lär dig även att utvärdera dina modellers prestanda med relevanta mätvärden.

Exercise 1: Introduktion till textgenerering Exercise 2: Skapa en RNN-modell för textgenerering Exercise 3: Textgenerering med RNN – träning och generering Exercise 4: Generativa motstridiga nätverk för textgenerering Exercise 5: Bygga en generator och diskriminator Exercise 6: Träna en GAN-modell Exercise 7: Förtränade modeller för textgenerering Exercise 8: Textkomplettering med förtränade GPT-2-modeller Exercise 9: Språköversättning med en förtränad PyTorch-modell Exercise 10: Utvärderingsmått för textgenerering Exercise 11: Utvärdera en förtränad textgenereringsmodell Exercise 12: Förstå utvärderingsmått för textgenerering

Förstå konceptet transferinlärning och hur det tillämpas vid textklassificering. Utforska transformers, deras arkitektur och hur du använder dem för textklassificering och textgenerering. Du går också igenom uppmärksamhetsmekanismer och deras roll i textbearbetning. Slutligen lär du dig om de potentiella konsekvenserna av adversariella attacker på textklassificeringsmodeller och hur du skyddar dina modeller.

Exercise 1: Transferinlärning för textklassificering Exercise 2: Transferinlärning med BERT Exercise 3: Utvärdera BERT-modellen Exercise 4: Transformers för textbearbetning Exercise 5: Skapa en transformermodell Exercise 6: Träna och testa Transformer-modellen Exercise 7: Uppmärksamhetsmekanismer för textbearbetning Exercise 8: Skapa en RNN-modell med attention Exercise 9: Träna och testa RNN-modellen med uppmärksamhetsmekanism Exercise 10: Adversariella attacker mot textklassificeringsmodeller Exercise 11: Klassificering av adversariella attacker Exercise 12: Skydda AI på PyBooks Exercise 13: Avslutning