Муррр и карта: как сохранить промежуточные вычисления?

Оказывается, для этого есть пакет currr («КПП» + purrr). Он не сохраняется именно в указанной вами форме (но см. ниже, как получить доступ к промежуточным результатам), но эти функции (cp_map() например)

создайте секретную папку в текущем рабочем каталоге и сохраните результаты, если они достигнут заданной контрольной точки. Таким образом, если вы перезапустите код, он прочитает результат из папки кэша и начнет оценивать, где вы закончили. [немного отредактировано из оригинала]

cp_map() имеет аргумент cp_option=, который позволяет вам указать, как часто проверять точки (т. е. сколько точек проверки на задание) и где хранить результаты.

library(currr)
options(currr.n_checkpoint = 10, currr.folder = "checkpoints")
cc <- cp_map(1:1000, name = "cos_results", cos)
list.files("checkpoints/cos_results")

Если вы хотите просмотреть эти промежуточные выходные данные напрямую (а не использовать их через пакет в качестве автоматизированной системы контрольных точек), вам придется выяснить, что это за файлы: похоже, что файлы out* хранят фрагменты вывода (например, out_301.rds есть результаты для cos(301:400)).

 [1] "et_1.rds"    "et_101.rds"  "et_201.rds"  "et_301.rds"  "et_401.rds" 
 [6] "et_501.rds"  "et_601.rds"  "et_701.rds"  "et_801.rds"  "et_901.rds" 
[11] "f.rds"       "id_1.rds"    "id_101.rds"  "id_201.rds"  "id_301.rds" 
[16] "id_401.rds"  "id_501.rds"  "id_601.rds"  "id_701.rds"  "id_801.rds" 
[21] "id_901.rds"  "meta.rds"    "out_1.rds"   "out_101.rds" "out_201.rds"
[26] "out_301.rds" "out_401.rds" "out_501.rds" "out_601.rds" "out_701.rds"
[31] "out_801.rds" "out_901.rds" "st_1.rds"    "st_101.rds"  "st_201.rds" 
[36] "st_301.rds"  "st_401.rds"  "st_501.rds"  "st_601.rds"  "st_701.rds" 
[41] "st_801.rds"  "st_901.rds"  "x.rds"      

Другой вариант — создать функциональный оператор и сохранить выходные данные в среде функции. Затем вы можете получить эту информацию после (или сохранить ее, используя readRDS()):

library(purrr)

funop <- function(f, niter, update_every = 0.10) {
  force(f)
  force(niter)
  i <- 0
  i_update <- floor(quantile(seq(niter), seq(update_every, 1, by = update_every)))
  output <- vector("list", length = niter)
  function(...) {
    i <<- i + 1
    val <- f(...)
    if (i %in% i_update) {
      output[[i]] <<- val # saveRDS() call here
    }
    return(val)
  }
}

mycos <- funop(cos, length(ll))
res <- map(ll, mycos)

compact(environment(mycos)$output) |> head(3)
# [[1]]
# [1] -0.8390715
# 
# [[2]]
# [1] 0.4080821
# 
# [[3]]
# [1] 0.1542514

## OR saveRDS() after
saveRDS("results", compact(environment(mycos)$output))

При этом вывод просто сохраняется в объекте списка в среде функции, но вы можете легко заменить его вызовом saveRDS(). Тогда вам не нужно будет создавать объект списка output.

library(tidyverse)
ll <- 1:1000

split_ll <- split(ll, (-1 + ll) %/% 100)

res <- imap(
  split_ll,
  \(ll_chunk, name){
    interim_res <- map(ll_chunk, \(x) cos(x))
    saveRDS(interim_res, file = paste0("ch_", name, ".RDS"))
    interim_res
  }
)

res_vec <- unlist(res)

# you also have 10 ch_*.RDS files with the partial results