Извлечение данных из API с помощью R

Вы были очень близки! pluck('routes', 1, 1) указывал на первый набор данных в списке. Итак, если бы вы выполнили pluck('routes,1,2)` и т. д., вы бы получили то, что получил элемент и т. д. и того же стоит. Я обернул то, что вы сделали, в функцию, и вам остается только перебирать каждый элемент! Возможно, потребуется небольшая доработка, но, надеюсь, это поможет вам приблизиться!

library(tidyverse)
library(httr2)

septaURL <- 'https://www3.septa.org/api/TransitViewAll'

## okay this is just getting them to the point where we have a slightly more tenable list to work with


response <- request(septaURL) |> 
  req_perform() |> 
  resp_body_json()


get_route_names = response |> 
  pluck('routes', 1) |> 
  names()



get_route_info = \(your_list , index_position) {
  
route_extract =  your_list |> 
  pluck('routes', 1, index_position) |> 
  map_dfr(
  \(x) {
    tibble(
      Route = x  |>  pluck('route_id'),
      Trip = x |> pluck('trip'),
      Late = x |> pluck('late'),
      seatsAvailable = x |> pluck('estimated_seat_availability')
    )
  }
)

  return(route_extract)
}




extracted_routes = map(get_route_names, \(x) get_route_info(your_list = response, index_position = x))

cleaning_up = extracted_routes |> 
  list_rbind()

^{Created on 2024-05-15 with reprex v2.1.0}

Есть много способов сделать это:

1. Свяжите все вместе и выберите столбцы

Я думаю, что это самое простое решение. Это не слишком большой набор данных, поэтому облегчите себе жизнь: создайте большой фрейм данных и выберите столбцы.

response %>% 
  resp_body_json() %>% 
  pluck('routes', 1) %>%
  map_dfr(bind_rows) %>% 
  select(Route = route_id, Trip = trip, Late = late, seatsAvailable = estimated_seat_availability)

2. Повторите, используя правильный вариант map_*.

response %>% 
  resp_body_json() %>% 
  pluck('routes', 1) %>%
  map_dfr(
  \(x) {
      tibble(
        Route = map_chr(x, "route_id"),
        Trip = map_chr(x, "trip"),
        Late = map_int(x, "late"),
        seatsAvailable = map_chr(x, "estimated_seat_availability")
      )
  }
  )

_chr вернет вектор символов, _int вернет целочисленный вектор и т. д. map функции часто используются для применения функции к списку/вектору, но их также можно использовать в качестве селекторов, как в данном случае.

3. Выполните итерацию на указанной глубине, используя Map_Deep()

Если вам нужно выполнить итерацию на глубине, отличной от 1, вы можете использовать это:

response %>% 
  resp_body_json() %>% 
  pluck('routes', 1) %>%
  map_dfr(
  \(x) {
      tibble(
        Route = unlist(map_depth(x, 1, "route_id")),
        Trip = unlist(map_depth(x, 1, "trip")),
        Late = unlist(map_depth(x, 1, "late")),
        seatsAvailable = unlist(map_depth(x, 1, "estimated_seat_availability"))
      )
  }
  )

Поскольку map_depth() вернет список, мы используем unlist() для получения вектора (технически это будет именованный вектор, но вы можете удалить имена, указав unlist(map_depth(...), use.names = F)).

Кроме того, поскольку мы говорим о септе, я могу сэкономить вам время, потянув за столбец Late. Просто всегда предполагайте, что уже поздно :D.

Выход

   Route Trip    Late seatsAvailable      
   <chr> <chr>  <int> <chr>               
 1 1     719611    10 NOT_AVAILABLE       
 2 1     719643     0 NOT_AVAILABLE       
 3 1     719622     7 NOT_AVAILABLE       
 4 1     719642     7 NOT_AVAILABLE       
 5 1     719645    16 MANY_SEATS_AVAILABLE
 6 1     719624    -1 MANY_SEATS_AVAILABLE
 7 1     719612   998 NOT_AVAILABLE       
 8 1     719607     0 NOT_AVAILABLE       
 9 10    777333    -1 NOT_AVAILABLE       
10 10    777498   998 NOT_AVAILABLE       
# ℹ 888 more rows