學習計算基本特徵，如單字數、字元數、平均單字長度，以及特殊字元數（例如 Twitter 的主題標籤與提及）。你也會學習計算可讀性分數，並判斷理解一段文字所需的教育程度。

NLP 特徵工程導論

ML 演算法可用的資料格式

One-hot encoding

基本特徵擷取

俄羅斯推文的字元數

TED 演講的字數統計

俄文推文中的 Hashtag 與提及

可讀性測試

〈薛西弗斯的神話〉的可讀性

不同出版物的可讀性

基本特徵與可讀性分數

在本章中，你將學到斷詞（tokenization）與詞形還原（lemmatization）。接著你會學習如何使用 spaCy 函式庫進行文字清理、詞性標註與命名實體辨識。掌握這些觀念後，你將把蓋茨堡演說轉為適合機器處理的格式、分析假新聞中的名詞用法，並找出 TechCrunch 文章中被提及的人物。

Tokenization 與 Lemmatization

辨識詞彙的基本詞形（lemma）

為蓋茨堡演說進行斷詞（Tokenization）

對葛底斯堡演說進行詞形還原（lemmatization）

文字清理

清理一篇部落格文章

清理資料框中的 TED 演講

詞性標註（Part-of-speech tagging）

在《蠅王》中進行 POS 標註

統計一段文字中的名詞數量

假新聞中的名詞用法

命名實體辨識

句子中的命名實體

找出新聞文章中提到的人名

文字前處理、POS 標註與 NER

學習 n-gram 建模，並用它來對電影評論進行情緒分析。

建立 bag-of-words 模型

使用指定詞彙表的詞向量

電影標語的 BoW 模型

分析維度與前處理

以特徵名稱對應特徵索引

建立 BoW 朴素貝葉斯分類器

電影評論的 BoW 向量

預測電影評論的情感極性

建立 n-gram 模型

電影標語的 n-gram 模型

用更高階的 n-gram 做情緒分析

比較 n-gram 模型的效能

N-Gram 模型

學習如何計算 tf-idf 權重，以及兩個向量之間的餘弦相似度分數。你將運用這些概念建立電影與 TED Talk 推薦系統。最後，你也會認識詞嵌入，並使用詞向量表示法來計算多首 Pink Floyd 歌曲之間的相似度。

建立 tf-idf 文件向量

高頻詞的 tf-idf 權重

為 TED Talks 建立 tf-idf 向量

Cosine 相似度

Cosine 分數的範圍

計算內積（dot product）

語料庫的餘弦相似度矩陣

建立以劇情摘要為基礎的推薦系統

比較 linear_kernel 與 cosine_similarity

劇情推薦引擎

TED Talk 推薦器

超越 n-grams：詞嵌入（word embeddings）

產生詞向量

計算 Pink Floyd 歌曲的相似度

恭喜！

TF-IDF 與相似度分數

Movie Overviews and Taglines

Preprocessed Movie Reviews

Real and Fake News Headlines

TED Talk Transcripts

Russian Troll Tweets

在本課程中，你將學習如何從文字中擷取有用資訊，並將其處理為適合套用 ML 模型的格式。更具體地說，你會學到詞性（POS）標註、命名實體辨識、可讀性分數、n-gram 與 tf-idf 模型，以及如何使用 scikit-learn 與 spaCy 來實作它們。你也會學會計算兩份文件彼此的相似程度。在此過程中，你將預測電影評論的情緒，並建立電影與 TED Talk 推薦系統。完成課程後，你將能從任何文字中打造關鍵特徵，解決資料科學中一些最具挑戰性的問題！

Introduction to Natural Language Processing in Python

Supervised Learning with scikit-learn

學習Python技術，從文本中提取有用信息並處理成適合機器學習模型的格式。

Python 中文本特徵工程

掌握從文本中提取有用資訊並轉換為適合機器學習格式的技巧。

機器學習科學家 使用 Python

自然語言處理 使用 Python

Data Scientist

建立以劇情為基礎的推薦系統

電影推薦器

步驟

產生 tf-idf 向量

建立 cosine 相似度矩陣

`linear_kernel` 函式

`get_recommendations` 函式

一起來練習吧！

TF-IDF 與相似度分數 - 建立以劇情摘要為基礎的推薦系統

建立以劇情摘要為基礎的推薦系統

Create Your Free Account