Підсумковий краулер
У цій вправі ви зможете продемонструвати, що ви засвоїли! Ви напишете функцію parse для павука, а потім заповните кілька пропусків, щоб завершити його. На сторінці каталогу курсів DataCamp кожен курс має назву та короткий опис. Цей павук збиратиме дані з каталогу курсів, щоб витягти назви курсів і короткі описи. Цього разу не потрібно переходити за жодними посиланнями. Усе, що вам потрібно знати:
- Назви курсів задані текстом у елементі
h4, клас якого містить рядокblock__title(подвійне підкреслення). - Короткі описи курсів задані текстом у параграфі
p, клас якого містить рядокblock__description(подвійне підкреслення).
Ця вправа є частиною курсу
Вебскрапінг у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# parse method
def parse(self, response):
# Extracted course titles
crs_titles = response.xpath(____).extract()
# Extracted course descriptions
crs_descrs = response.xpath(____).extract()
# Fill in the dictionary: it is the spider output
for crs_title, crs_descr in zip(crs_titles, crs_descrs):
dc_dict[crs_title] = crs_descr