Веб-скрапинг с помощью rvest

Я экспериментировал с python и обнаружил, что это зависит от парсера. Если бы я использовал lxml, это не удалось. Это я использовал html.parser, это сработало. Это часто происходит, когда документ не идеально сформирован. Другой парсер == другой результат. Например, некоторые элементы в конечном итоге игнорируются.

Чтобы подтвердить это, я поместил URL в

https://validator.w3.org/

то есть

https://validator.w3.org/nu/?doc=https%3A%2F%2Fwww.superu.ad%2Foli-de-girasol_c360259%2F

На этой странице есть ряд ошибок, которые могут быть замешаны.

Может быть, это вам как-то пригодится? Не знаете, какие варианты у вас есть для разных парсеров/пакетов, которые могли бы лучше справиться с этой ситуацией, будьте более снисходительны.

Пример с python (извинения)

Работает:

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.superu.ad/oli-de-girasol_c360259/')
soup = bs(r.content, 'html.parser')
products = [item.text for item in soup.select('.product-name')]
print(products)

Не удается

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.superu.ad/oli-de-girasol_c360259/')
soup = bs(r.content, 'lxml')
products = [item.text for item in soup.select('.product-name')]
print(products)

Это должно сделать работу:

library(rvest)
library(dplyr) # to use the pipes %>%
webpage = read_html('https://www.superu.ad/oli-de-girasol_c360259/')
product_names = webpage %>% 
html_nodes(xpath= '//*[contains(concat( " ", @class, " " ), concat( " ", "product-name", " " ))]') %>%
html_text()

product_names

Вы должны использовать Xpath с rvest, он работает лучше, чем селекторы CSS.

Чтобы получить Xpath, вы можете использовать расширение SelectorGadget для Chrome (вы можете переключиться на Xpath).