Извлечение данных с веб-страницы с параметрами выбора

Этот пакет предназначен для статического парсинга HTML. но данные об осадках отображаются в отдельном окне или загружаются динамически в зависимости от выбора пользователя. Поэтому вам придется использовать другой подход.

• Используйте инструменты разработчика браузера для проверки сетевых запросов, выполняемых при выборе станции и даты. Найдите запрос, который получает данные об осадках. Это может быть конечная точка API или отправка формы, которую вы можете реплицировать в R.
• Если вы найдете конкретный URL-адрес, который извлекает данные, вы можете использовать пакет httr в R для выполнения запросов GET. Это позволяет программно указать параметры для получения желаемых данных.

library(httr)
library(jsonlite)

url <- "https://example.com/api"  
params <- list(station = "DTBR", month = 8, day = 2) 
response <- GET(url, query = params)
data <- content(response, "parsed") 

Чтобы получить диапазон данных об осадках без вызова каждого дня по отдельности, вы можете просмотреть желаемый диапазон дат и сделать запросы программно.

library(httr)
library(lubridate)  
library(dplyr)   


url <- "https://www.deos.udel.edu/odd-divas/station_daily.php?network=DEOS"
station <- "DSMY"
start_date <- as.Date("2024-07-01")
end_date <- as.Date("2024-07-31")
all_data <- list()
for (date in seq.Date(start_date, end_date, by = "day")) {
  day <- day(date)
  month <- month(date)
  year <- year(date)  
  params <- list(station = station, month = month, day = day, year = year)
  response <- GET(url, query = params)
  if (status_code(response) == 200) {
    data <- content(response, as = "text")
    all_data[[as.character(date)]] <- data
  } else {
    message(paste("Failed to retrieve data for", date))
  }
}
print(all_data)

Отказ от ответственности:

Вероятно, вам не нужно это использовать. У DEOS есть способы загрузки исторических данных в формате CSV. Кроме того, убедитесь, что при очистке сайта вы оставляете некоторое время между каждым запросом, иначе вы будете раздражать владельцев, и они, скорее всего, заблокируют вас или замедлят ваши ответы.

Отвечать:

Хитрость в том, что параметры включены в URL-адрес. Поэтому нам нужно только настроить их, чтобы получить новый результат, как показано ниже:

pacman::p_load(glue, rvest) # glue makes adding parameters to a string easier/cleaner

url <- "https://deos.udel.edu/odd-divas/station_daily.php?network = {network}&station = {station}&month = {m}&day = {d}&year = {y}"

network <- "DEOS"
station <- "DTBR"
m <- 8
d <- 3
y <- 2024

url <- glue(url)
glue(url) |>
  read_html() |>
  html_table()

Выход:

[[1]]
# A tibble: 3 × 4
  X1         X2            X3        X4       
  <chr>      <chr>         <chr>     <chr>    
1 ID         DTBR          Network   DEOS     
2 City/State Adamsville/DE Elevation 51 ft.   
3 Latitude   38° 52' N     Longitude 75° 42' W

[[2]]
# A tibble: 24 × 20
    Hour Temp                  \…¹ Temp                …² Dew Point           …³
   <int>                     <dbl>                  <dbl>                  <dbl>
 1     0                      77.2                   25.1                   73.7
 2     1                      76.7                   24.8                   74  
 3     2                      77.1                   25                     72.2
 4     3                      76.8                   24.9                   71.5
 5     4                      76                     24.5                   72.3
 6     5                      75.3                   24.1                   71.9
 7     6                      74.8                   23.8                   72.2
 8     7                      76.3                   24.6                   73.4
 9     8                      79.2                   26.2                   74.4
10     9                      82.6                   28.1                   74.6
# ℹ 14 more rows
# ℹ abbreviated names: ¹​`Temp                  \n(°F)`,
#   ²​`Temp                  \n(°C)`, ³​`Dew Point                  \n(°F)`
# ℹ 16 more variables: `Dew Point                  \n(°C)` <dbl>,
#   `Rel Hum.                  \n(%)` <int>,
#   `Wind Spd.                  \n(MPH)` <dbl>,
#   `Wind Spd.                  \n(m/s)` <dbl>, …
# ℹ Use `print(n = ...)` to see more rows

[[3]]
# A tibble: 1 × 11
  High Temp.                  \n…¹ Low Temp.           …² Avg. Temp.          …³
                             <dbl>                  <dbl>                  <dbl>
1                             88.7                   71.1                   80.1
# ℹ abbreviated names: ¹​`High Temp.                  \n(°F)`,
#   ²​`Low Temp.                  \n(°F)`, ³​`Avg. Temp.                  \n(°F)`
# ℹ 8 more variables: `Avg. Dew Point                  \n(°F)` <dbl>,
#   `Avg. Rel Hum                  \n(%)` <int>,
#   `Avg. Wind Spd                  \n(MPH)` <dbl>,
#   `Avg. Wind Dir                  \n(°)` <chr>,
#   `Peak Gust                  \n(MPH)` <dbl>, …

[[4]]
# A tibble: 1 × 1
  X1                                                                            
  <chr>                                                                         
1 Note: All observations were obtained from the Delaware Environmental Observin…

[[5]]
# A tibble: 3 × 1
  X1                                                                          
  <chr>                                                                       
1 "Copyright © 2004-2024 DEOS"                                                
2 "Please read the                   Data Disclaimer\n before using any data."
3 "Questions or comments about this page? Click                   here\n."    

Чтобы расширить это число до нескольких дней, вы можете использовать цикл for или map() или любое количество других функций, которые делают примерно то же самое. Но не зная наверняка, какую информацию вы хотите получить на этом сайте, я бы сказал, что весьма вероятно, что вы можете получить ее от них другими способами.