Обработка 500 тыс. записей приводит к сбою сервера. Как это пакетировать?

У меня есть таблица базы данных, содержащая 500 тыс. записей. Мне нужно загрузить эти записи, выполнить вызов API, получить данные из этой конечной точки API и сохранить новые данные обратно в базу данных.

Я пытался сделать это так (упрощенный код):

task get_new_data: :environment do
  data = Model.where('column IS NOT NULL).order('id DESC')
  data.each do |d|
    puts '...info print...'
    api_call = API::Call(...)
    d.assign_attributes(attr1: api_call.data1,
                        attr2: api_call.data2,
                        ...)
    d.save!(validate: false)
    put 'another info print...'
    sleep(0.5)
  end
end

Итак, когда я запустил этот код, произошло то, что, возможно, в течение первых 3-4 минут я ничего не видел в окне терминала, когда запускал эту команду rake на сервере. После этого я начал видеть утверждения puts. Еще через несколько минут (может быть, 5) окно терминала зависло. В таблице базы данных я увидел, что записи обновились, поэтому подумал, что «сломалось» только окно терминала.

Еще через 15-20 минут процессор и оперативная память сервера были загружены до 100%, и я не смог подключиться к серверу по SSH (чего и следовало ожидать из-за 100% использования процессора и ОЗУ). Точно так же приложение Rails было недоступно — синий экран ошибки (тоже ожидалось).

В этот момент я просто ждал, когда сервер полностью рухнет. Еще через 30 минут или около того память ЦП/ОЗУ освободилась, приложение Rails снова стало доступным – задача рейка завершилась. Но он не завершился полностью, обработал «всего» около 350 тысяч записей, поэтому мне пришлось снова запустить задачу rake, чтобы завершить оставшиеся 150 тысяч записей. Теперь второй запуск завершился успешно.

Дело в том, что мне нужно будет запустить аналогичную задачу и перебрать 500 тысяч записей как минимум еще 6 раз, и я не хочу проходить через опыт, аналогичный описанному выше.

Как правильно обрабатывать такие наборы данных, не убивая сервер? Должен ли я каким-то образом группировать записи, скажем, по 10 тысяч кусков? Или есть лучший способ справиться с этим по-другому? В настоящее время я не использую Sidekiq в проекте.