始める無料で始める

コンテンツ抽出器

前の演習では、与えられた URLs ベクトルのすべての要素が 200 のステータスコードを返すことを確認しました。アクセス可能だと分かったので、ここからは Web スクレイピングを一歩進めて、実際にコンテンツを抽出していきます。

これには rvest パッケージの関数を使い、partial() で引数をあらかじめ設定します。この演習で作成する関数は、ページから H2 の HTML ノードをすべて抽出します。ウェブページでは、H2 ノードはレベル 2 の見出しに相当します。タイトルを抽出したら、html_text() 関数で生の HTML からテキストだけを取り出します。

purrr と rvest は読み込まれており、urls ベクトルはワークスペースで利用可能です。

この演習はコースの一部です

purrr で学ぶ中級関数型プログラミング

コースを見る

演習の手順

  • まず、html_nodes() に css = "h2" をあらかじめ設定します。

  • この新しく作った関数を、read_html と html_text の間に組み合わせて、H2 見出し用のテキスト抽出器を作成します。

  • この関数を urls ベクトルに対して実行し、結果に名前を付けます。

  • 仕上がりを確認するために結果を表示します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Prefill html_nodes() with the css param set to h2
get_h2 <- ___(html_nodes, ___)

# Combine the html_text, get_h2 and read_html functions
get_content <- ___(___, ___, ___)

# Map get_content to the urls list
res <- ___(urls, ___) %>%
  set_names(___)

# Print the results to the console
___
コードを編集して実行