Как присоединиться к нескольким потокам, которые не останавливаются в С++

What is the correct way of joining those threads?

Ваш способ прекрасен, в зависимости от того, что вы пытаетесь сделать.

And is it actually necessary to join them?

Да. И нет.

Видите ли, основная проблема с std::thread заключается в том, что вам нужно очистить их, иначе они «делают плохие вещи» (ТМ), но присоединение к ним — это только один из способов их очистки. Другой способ - просто отделить их от ваших реальных потоков, если вы больше не хотите их контролировать (что, кажется, имеет место?).

Вам нужно спросить себя, имеет ли смысл ваша настройка, когда вы создаете целую кучу потоков, которые не заканчиваются чисто, а вместо этого случайным образом прерываются из-за того, что весь ваш процесс умирает. Что происходит с работой, которую они должны были делать? Если они куда-то записывают свой вывод, и он прерывается на полпути, согласны ли вы, ваши работодатели и ваши клиенты с повреждением файлов?

Если потоки не могут быть объединены, потому что они никогда не выходят, вы можете использовать std::thread::detach (https://en.cppreference.com/w/cpp/thread/thread/detach). В любом случае, прежде чем присоединиться, вы всегда должны проверять std::thread::joinable (https://en.cppreference.com/w/cpp/thread/thread/joinable).

std::terminate действительно, скорее всего, из-за того, что работающий поток был уничтожен, а не был отсоединен или присоединен до этого. Однако обратите внимание, что то, что происходит с отсоединенными потоками при выходе из приложения, определяется реализацией. Если возможно, вам, вероятно, следует изменить логику в этих потоках, чтобы обеспечить плавный выход (std::jthread или std::atomic могут помочь сделать потоки останавливаемыми):

Обновлено: Полуполный "правильный" код С++ 17:

std::atomic stop{false};
std::vector<std::thread> threads;
threads.emplace_back(std::thread{[&] { while (!stop.load()) { /* */ }}});
threads.emplace_back(std::thread{[&] { while (!stop.load()) { /* */ }}});

//...

stop.store(true);

for (auto& thread : threads) 
{
    if (thread.joinable())
    {
        thread.join();
    }
}

Полуполный "правильный" код С++ 20:

std::vector<std::jthread> threads;
threads.emplace_back(std::jthread{[] (std::stop_token stopToken) { while (!stopToken.stop_requested()) { /* */ }}});
threads.emplace_back(std::jthread{[] (std::stop_token stopToken) { while (!stopToken.stop_requested()) { /* */ }}});

C++20 std::jthread позволяет функциям, которые принимают std::stop_token, получать сигнал об остановке. Деструктор std::~jthread() сначала запрашивает остановку через токен, а затем присоединяется, поэтому в приведенной выше настройке в основном не требуется ручная очистка. К сожалению, в настоящее время его поддерживают только MSVC STL и libstdc++, а libc++ Clang — нет. Но достаточно легко реализовать себя поверх std::thread, если вы хотите немного потренироваться.