Рвест для очистки изображений

Взглянув на сетевой трафик, можно увидеть, что данные возвращаются из API, где функция поиска страницы генерирует запрос POST с полезной нагрузкой JSON. Мы можем использовать httr2, чтобы отправлять эти запросы и возвращать 100 записей за раз, хотя для иллюстрации я запрашиваю только 3 записи для каждого запроса ниже.

URL-адрес и полезная нагрузка:

library(httr2)
library(jsonlite)
library(tidyverse)

# API address
url <- "https://app-elastic-prod-eus2-001.azurewebsites.net/search"

# JSON payload  
payload_string <- r"({
    "index": "bioguideprofiles",
    "aggregations": [
        {
            "field": "jobPositions.congressAffiliation.congress.name",
            "subFields": [
                "jobPositions.congressAffiliation.congress.startDate",
                "jobPositions.congressAffiliation.congress.endDate"
            ]
        },
        {
            "field": "jobPositions.congressAffiliation.partyAffiliation.party.name"
        },
        {
            "field": "jobPositions.job.name"
        },
        {
            "field": "jobPositions.congressAffiliation.represents.regionCode"
        }
    ],
    "size": 12,
    "from": 0,
    "sort": [
        {
            "_score": true
        },
        {
            "field": "unaccentedFamilyName",
            "order": "asc"
        },
        {
            "field": "unaccentedGivenName",
            "order": "asc"
        },
        {
            "field": "unaccentedMiddleName",
            "order": "asc"
        }
    ],
    "keyword": "",
    "filters": {

    },
    "matches": [

    ],
    "searchType": "OR",
    "applicationName": "bioguide.house.gov"
}
)"

Нам нужно преобразовать полезную нагрузку в список R, чтобы мы могли изменить аргумент from в запросе с помощью req_body_json_modify():

# Convert to R list
payload_list <- fromJSON(payload_string)

# Get n records of first x records
request_size <- 3L         # 100 max per request
total_records <- 15L       # 12953 records in database
from <- seq(1L, total_records, request_size) - 1L  # Sequence of starting positions

# Generate base request
req <- request(url) |>
    req_method("POST") |>
    req_body_json(payload_list) 

# Generate list of requests (5 requests of 3 records each)
requests <- from |> 
   lapply(\(n) req |> req_body_json_modify(from = n, size = request_size))

# Execute requests
responses <- req_perform_sequential(requests, on_error = "return")

# Parse responses and extract image URL
results <- resps_data(
  responses,
  \(r) r |>
    resp_body_json(simplifyDataFrame = TRUE) |>
    pluck("filteredHits")  |>
    select(starts_with("unaccented"), any_of("image"))
  ) |>
  bind_rows() |>
  hoist("image", "contentUrl") |> 
  select(-image) |> 
  mutate(image_url = ifelse(is.na(contentUrl), NA, paste0("https://bioguide.congress.gov/photo/", basename(contentUrl))), .keep = "unused") |> 
  as_tibble()

Где results содержит URL-адреса производных изображений:

# A tibble: 15 × 4
   unaccentedFamilyName unaccentedGivenName unaccentedMiddleName image_url                                       
   <chr>                <chr>               <chr>                <chr>                                           
 1 Aandahl              Fred                George               https://bioguide.congress.gov/photo/66c88d1d740…
 2 Abbitt               Watkins             Moorman              https://bioguide.congress.gov/photo/ad79716f164…
 3 Abbot                Joel                NA                   NA                                              
 4 Abbott               Amos                NA                   NA                                              
 5 Abbott               Joseph              Carter               https://bioguide.congress.gov/photo/39253c461f2…
 6 Abbott               Joseph              NA                   https://bioguide.congress.gov/photo/43ba0fd5299…
 7 Abbott               Josiah              Gardner              https://bioguide.congress.gov/photo/470dc5df4ba…
 8 Abbott               Nehemiah            NA                   NA                                              
 9 Abdnor               James               NA                   https://bioguide.congress.gov/photo/a32ba2ea44f…
10 Abel                 Hazel               Hempel               https://bioguide.congress.gov/photo/07f3a896ce1…
11 Abele                Homer               E.                   https://bioguide.congress.gov/photo/a58aa67c32f…
12 Abercrombie          James               NA                   NA                                              
13 Abercrombie          John                William              https://bioguide.congress.gov/photo/76a90e5795f…
14 Abercrombie          Neil                NA                   https://bioguide.congress.gov/photo/66cbb14989f…
15 Abernethy            Charles             Laban                https://bioguide.congress.gov/photo/00ff9ca93d0…

С каждым запросом возвращается куча других данных, но вам останется разобраться со всеми ними.