質問の類似性と文法的正しさ

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

この演習はコースの一部です

Pythonで学ぶ自然言語処理（NLP）

SkillTag.level.intermediateSkillTag.label

4.9+

無料でコースを始める

自然言語処理（NLP）におけるテキスト前処理の基本を学びます。トークン化、ストップワードや句読点の除去、そして小文字化、ステミング、レンマ化による正規化を身につけ、後続の分析や洞察抽出に向けてテキストデータを整えます。

Exercise 1: 自然言語処理入門 Exercise 2: 文と単語のトークン化 Exercise 3: NLP のワークフロー Exercise 4: ストップワードと句読点の扱い Exercise 5: ストップワードの除去 Exercise 6: 句読点の除去 Exercise 7: テキスト正規化の手法 Exercise 8: 小文字化（Lowercasing）Exercise 9: ステミング Exercise 10: レンマ化（Lemmatization）

生テキストを強力な数値特徴へと変換します。Bag-of-Words と TF-IDF で文書間の語の重要度を表現し、さらに Word2Vec や GloVe などの単語埋め込みで深い意味的パターンを明らかにします。頻度、関連度、類似度を可視化して、テキストデータの姿を直感的に理解しましょう。

Exercise 1: Bag-of-Words 表現 Exercise 2: 顧客レビューからの語彙の構築 Exercise 3: BoW でテキストを数値に変換する Exercise 4: 商品のレビューの頻度分析 Exercise 5: 単語頻度の可視化 Exercise 6: TF-IDF ベクトル化 Exercise 7: 製品フィードバックのTF-IDF表現 Exercise 8: BoW と TF-IDF 表現を比較する Exercise 9: 埋め込み表現 Exercise 10: 埋め込みで単語の関係を探る Exercise 11: 単語埋め込みの可視化と比較

学習済みモデルの力を活用して高度なテキスト分類に取り組みます。Hugging Face のパイプラインを用いて感情分析、トピック分類、自然言語推論を実行します。最新モデルで意味的類似度や文法的正しさを評価し、ゼロから実装することなく高精度な分析を行います。

Exercise 1: センチメント分析のためのHugging Faceパイプライン Exercise 2: レビューの感情を分析する Exercise 3: 複数レビューの一括分類 Exercise 4: ラベル付きレビューデータでモデルを比較する Exercise 5: ゼロショット分類とQNLI Exercise 6: サポートチケットのゼロショット分類 Exercise 7: 文章は質問に答えていますか？Exercise 8: 質問の類似性と文法的正しさ

現在の演習

Exercise 9: 重複質問の検出 Exercise 10: 文法の正確性をチェックする

トークン分類とテキスト生成を通じて、現代NLPアプリケーションの核に踏み込みます。NER と品詞タグ付けで重要なエンティティや文法構造を抽出します。抽出型・要約型の質問応答を習得し、Hugging Face のパイプラインで要約、翻訳、言語モデルなど高度な生成タスクも探究します。

Exercise 1: トークン分類 Exercise 2: ニュース見出しの固有表現を特定する Exercise 3: テキスト分析のための品詞タグ付け Exercise 4: Question answering（質問応答）Exercise 5: 商品説明から質問に答える Exercise 6: 抽出的QAで自然な回答を生成する Exercise 7: 系列生成タスク Exercise 8: ニュース記事を素早く把握するための要約 Exercise 9: カスタマーレビューをフランス語に翻訳する Exercise 10: 検索補完システムを作る Exercise 11: おめでとうございます