Rvest парсинг веб-страниц с помощью javascript

Там диаграмма почти наверняка построена с использованием d3.js или оболочки поверх него. d3 отлично подходит для создания визуализаций данных на основе svg, потому что он помогает вам создавать шкалы для сопоставления значений (например, 40%) с местами размещения на экране (например, то, что вы видите, что-то вроде cx=100). Проблема в том, что вам нужно знать, что это за шкалы, чтобы вернуть базовые данные, и шкалы, вероятно, будут динамическими и изменяются в зависимости от размера экрана и т. д.

Вместо этого, поскольку данные находятся в таблице ниже, вы можете легко очистить их. Таблица находится внутри элемента div с идентификатором latest-polls и имеет класс t-polls.

Я использую html_node с селекторами CSS, html_table для преобразования таблицы в фрейм данных, очистки имен и превращения числовых столбцов в фактические числовые столбцы. Далее вы можете сделать еще кое-что, например отформатировать даты, но, надеюсь, это поможет вам начать.

library(tidyverse)
library(rvest)

url <- "https://projects.fivethirtyeight.com/election-2016/national-primary-polls/democratic/"

polls_df <- url %>% 
  read_html() %>%
  html_node("#latest-polls table.t-polls") %>%
  html_table() %>%
  setNames(c("new", "date", "pollster", "sample_n", "sample_type", names(.)[6:10]) %>% str_remove_all("\\W")) %>%
  mutate_at(vars(sample_n, Clinton, Sanders, OMalley), 
      function(x) str_remove_all(x, "\\D") %>% as.numeric())

head(polls_df)
#>   new           date                     pollster sample_n sample_type
#> 1   •     Jun. 10-13                 Selzer & Co.      486          LV
#> 2   •     Jun. 26-28                     Fox News      432          RV
#> 3   •     Jun. 18-20                       YouGov      390          LV
#> 4   •     Jun. 15-20              Morning Consult     1733          RV
#> 5   • Jun. 27-Jul. 1                Ipsos, online      142          LV
#> 6   •     Jun. 16-19 Opinion Research Corporation      435          RV
#>   weight      leader Clinton Sanders OMalley
#> 1   1.05  Clinton +2      45      43      NA
#> 2   0.91 Clinton +21      58      37      NA
#> 3   0.79 Clinton +13      55      42      NA
#> 4   0.79 Clinton +18      53      35      NA
#> 5   0.67 Clinton +41      70      29      NA
#> 6   0.66 Clinton +12      55      43      NA

Другой способ - получить ресурс напрямую.

В браузере откройте Инструменты разработчика (F12 в Chrome / Chromium), перейдите в «Сеть», обновите (F5) и найдите то, что выглядит как красиво отформатированный JSON. Найдя его, мы копируем адрес ссылки (щелкните правой кнопкой мыши ресурс> Копировать адрес ссылки).

library(httr)
library(tidyr)
library(purrr)
library(dplyr)
library(ggplot2)

url <- "https://projects.fivethirtyeight.com/election-2016/national-primary-polls/USA.json"

r <- GET(url)

Там есть все данные. Веса тоже, так что вы, вероятно, можете пересчитать эти средние значения. Данные, представленные на графике, находятся в "model":

dat <- 
  jsonlite::fromJSON(content(r, as = "text")) %>% 
  map(purrr::pluck, "model") %>% 
  bind_rows(.id = "party") %>% 
  mutate_all(readr::parse_guess)

# # A tibble: 5,288 x 5
#    party candidate_name state forecastdate poll_avg
#    <chr> <chr>          <chr> <date>          <dbl>
#  1 D     Sanders        USA   2016-07-01       36.5
#  2 D     Clinton        USA   2016-07-01       55.4
#  3 D     Sanders        USA   2016-06-30       37.0
#  4 D     Clinton        USA   2016-06-30       54.6
#  5 D     Sanders        USA   2016-06-29       37.0
#  6 D     Clinton        USA   2016-06-29       54.9
#  7 D     Sanders        USA   2016-06-28       37.2
#  8 D     Clinton        USA   2016-06-28       54.4
#  9 D     Sanders        USA   2016-06-27       37.4
# 10 D     Clinton        USA   2016-06-27       53.9
# # ... with 5,278 more rows

Воспроизвести графики:

dat %>% 
  filter(candidate_name %in% c("Clinton", "Kasich", "Sanders", "Trump")) %>% 
  ggplot(aes(forecastdate, poll_avg)) +
  geom_line(aes(col = candidate_name)) +
  facet_wrap(~party)

Если вы хотите интерактивности:

library(dygraphs)
library(htmltools)

foo <- dat %>% 
  filter(candidate_name %in% c("Clinton", "Kasich", "Sanders", "Trump")) %>% 
  split(.$party) %>% 
  map(~ {
    select(.x, forecastdate, candidate_name, poll_avg) %>% 
      spread(candidate_name, poll_avg) %>% 
      {xts(.[-1], .[[1]])} %>%
      dygraph(group = "poll-model") %>% 
      dyRangeSelector()
  })

browsable(tagList(foo))