Poznaj strukturę HTML. Zaczynamy od wyjaśnienia, dlaczego web scraping jest cennym uzupełnieniem zestawu narzędzi data science, a następnie omawiamy podstawy HTML. Rozdział kończy krótkie wprowadzenie do notacji XPath, która służy do nawigowania po elementach kodu HTML.

Omówienie web scrapingu

Web scraping ma sens!

HyperText Markup Language

Nawigacja po drzewie HTML – opis słowny

Od drzewa do HTML

Atrybuty

Klasy w HTML

Znajdowanie href

Ekspresowe wprowadzenie do XPath

Gdzie jestem?

Czas na P

Span z klasą

Wprowadzenie do HTML

Wykorzystaj składnię XPath do eksploracji selektorów scrapy. Oba te zagadnienia przybliżą cię do samodzielnego scrapowania dokumentów HTML.

XPathologia

Zliczanie elementów w praktyce

Elementy potomne elementu body

Wybierz DataCamp!

Nieszablonowe XPath

Gdzie jest @

Sprawdź klasę

Hiper(łącze) w akcji

Ukryte linki

Obiekty selektora

Łączenie XPath

Podziel to ćwiczenie

Źródło źródeł

Klasa kursu na podstawie inspekcji

Tworzenie obiektu Selector

XPath i selektory

Poznaj składnię lokatorów CSS i zacznij łączyć je z XPath. Przedstawiamy też obiekty Response, które działają podobnie jak selektory, ale oferują dodatkowe narzędzia ułatwiające scrapowanie wielu stron jednocześnie.

Od XPath do CSS

Od XPath do lokatorów CSS

Zdobądź "a" w tym kursie

Wieloznacznik w CSS

Atrybuty CSS i wybieranie tekstu

Czas na `href`

Tekst najwyższego poziomu

Tekst ze wszystkich poziomów

Odpowiedz, proszę!

Odkryj za pomocą Response

Odpowiedź z selektorami

Wybieranie z zaznaczenia

Ankieta

Tytuły kursów

Scrapowanie z elementami potomnymi

Lokatory CSS, łączenie i odpowiedzi

Naucz się tworzyć web crawlery przy użyciu scrapy. Te pająki scrapy będą przeszukiwać sieć, przechodząc przez kolejne strony i automatycznie scrapując każdą z nich zgodnie z technikami poznanymi w poprzednich rozdziałach.

Twój pierwszy pająk

Dziedziczenie po Spider

Podaj adresy URL

Pierwsze żądania

Odwoływanie się do siebie to klasa

Zaczynamy z metodą Start Requests

Parsowanie i przechodzenie po stronach

Pseudonimy

Czas na crawler

Podsumowanie

Czas na uruchomienie

Opisy kursów DataCamp

Pająk – projekt końcowy

Wielki Finał

Pająki

DataCamp webpage HTML

Umiejętność tworzenia narzędzi do pobierania i przetwarzania informacji dostępnych w internecie jest i pozostaje cenną kompetencją w wielu obszarach data science. W tym kursie nauczysz się nawigować po kodzie HTML i go analizować, a także budować narzędzia do automatycznego przeszukiwania stron internetowych. Choć nasze scrapowanie będzie oparte na wszechstronnej bibliotece Pythona scrapy, wiele poznanych technik można zastosować również w innych popularnych bibliotekach, takich jak BeautifulSoup i Selenium. Po ukończeniu kursu będziesz dobrze rozumieć strukturę HTML, potrafisz budować narzędzia do parsowania kodu HTML i wydobywania potrzebnych informacji oraz tworzyć proste pająki scrapy do przeszukiwania sieci na dużą skalę.

Intermediate Python

Naucz się pobierać i analizować dane z internetu za pomocą biblioteki Python scrapy.

Web Scraping w Pythonie

Naucz się pobierać i analizować informacje z internetu za pomocą biblioteki Python scrapy.

Omówienie web scrapingu

Create Your Free Account