Безопасная параллельная запись файлов RDS

Я предлагаю это как немного более сложный вариант предложения @KonradRudolph (имена файлов предварительной последовательности для каждой параллельной задачи), который намного проще и может быть предпочтительнее в большинстве ситуаций.

Это предложение ориентировано на общие файловые системы, в которых имена файлов не могут быть легко определены заранее. Проблемы с общими файловыми системами начинаются с того, что использование существующих файлов для обеспечения уникальности теоретически является гарантированным состоянием гонки, несколько воспроизводимо плохим в локальной файловой системе, а в NFS и других общих файловых системах задержка может вызвать серьезные проблемы. Поэтому нам нужно создать имя файла «в реальном времени», которое имеет очень низкую вероятность коллизий. (В моем примере я пишу в файловую систему Lustre, где задержка создания файла может составлять более 5-10 секунд на всех узлах HPC.)

Вот функция, которая создаст такое имя файла:

#' Create a "guaranteed-unique" filename
#'
#' @param path character, the directory in which the new file will be
#'   created
#' @param fileext optional character, appended to the new filename
#' @param create logical, whether to "touch" the file
#' @return character, the filename, optionally created
#' @export
unique_filename <- local({
  .host <- gsub("[/:]", "_", Sys.info()["nodename"])
  .count <- 0L

  function(path = character(0), fileext = "", create = FALSE) {
    now <- as.numeric(Sys.time())
    # if we put this up with `.host`, I suspect the `future` is
    # transferring the old PID to new processes
    .pid <- Sys.getpid()
    # we look within all subdirs to make sure we won't have a "future"
    # collision (though highly unlikely) and then discard the
    # subdirectory component
    filename <- sprintf(
      "%0.06f.P%i.Q%i.%s%s",
      now, .pid, .count, .host, fileext)
    .count <<- .count + 1L
    out <- if (length(path) && nzchar(path)) file.path(path, filename) else filename
    if (create) fs::file_touch(out)
    out
  }
})

Он в значительной степени основан на соглашении об именах файлов, используемом в почтовом хранилище Maildir, где нужно было максимально экономично избегать конфликтов файлов на основе NFS. Я не использую все предложенные компоненты, поэтому данная реализация несколько ослаблена. При тысячах одновременных операций записи я не видел никаких коллизий.

Оно использует:

• эпоха микросекунды
• имя хоста
• идентификатор процесса (pid)
• внутренний счетчик для каждого процесса

Одним из побочных эффектов имени файла, начинающегося с компонента «время», является то, что файлы естественным образом сортируются в хронологическом порядке, если это привлекательно. Использование случайных имен файлов (uuid или других) не позволяет сделать это так просто.