Есть ли способ получить доступ к n-му элементу структуры?

Это единственный способ, не придумывая кучу метаданных.

void* get(ptrs const& data, int n)
{
    // TODO: add checks
    return ((void**)&data)[n];
}

Следует отметить, что стандарт не гарантирует, что все указатели данных имеют одинаковый размер. Однако на большинстве архитектур они есть. Поэтому обратитесь к документации вашего компилятора или используйте static_assert для подтверждения.

Да, это может быть сделано. Часть кода написать немного сложно, но Boost PFR уже проделал тяжелую работу, поэтому вы можете сделать что-то вроде:

ptrs p;

float * f = boost::pfr::get<3>(p); // get the `float *` member
*f = 123.4f;                       // and write via the pointer

[Обратите внимание, что я разбил это только на две строки, чтобы я мог прокомментировать каждый шаг — что-то вроде *boost::pfr::get<3>(p) = 123.4f; тоже должно подойти.]

Для всех, кому небезразлично, основная идея того, как это сделать, довольно проста — только детали становятся хитрыми.

Основной подход заключается в использовании структурированного связывания для получения интересующего вас элемента. Хитрость возникает из нескольких источников: вы не знаете, с каким типом (типами) вы имеете дело, и типы различаются, поэтому это не так просто, как создание массива элементов и индексирование в массив.

Но все же, немного упростив, мы можем сделать что-то вроде этого:

template <std::size_t index>
constexpr auto& get(auto& your_struct)
{
    auto& [zero, one, two, three] = your_struct;

    if constexpr (index == 0)
        return zero;
    if constexpr (index == 1)
        return one;
    if constexpr (index == 2)
        return two;
    return three;
}

Я повторю: я сильно упрощаю (например, я только что использовал фиксированное количество членов), но это, по крайней мере, общая идея — использовать структурированное связывание для захвата членов и условие constexpr для выбора. какой из них вас интересует, с параметрами шаблона (в виде auto) практически для всех частей, поэтому вы можете иметь дело с любыми типами, которые там есть.

О, есть еще одна деталь, с которой немного сложно разобраться: в нынешнем виде эта реализация может работать только для одного типа. То есть, если вы попытаетесь использовать get<0> и get<3>, вы получите ошибку о несоответствии в выведенном возвращаемом типе. Итак, на данный момент вы можете использовать get<0> или get<2> (или что-то еще), но не оба, так что это чисто ограниченное доказательство концепции, а не практическая реализация (вообще).

Вот рабочая демонстрационная программа:

#include <cstddef>
#include <iostream>

struct ptrs {
    int* a;
    const char** b;
    int* c;
    float* d;
};

template <std::size_t index>
constexpr auto& get(auto& your_struct)
{
    auto& [zero, one, two, three] = your_struct;

    if constexpr (index == 0)
        return zero;
    if constexpr (index == 1)
        return one;
    if constexpr (index == 2)
        return two;
    return three;
}

int main() {
    ptrs p;
    p.d = new float; // `get<3>(p) = new float;` works fine too.

    *get<3>(p) = 123.4;
    
    // show we're accessing the same data either way:
    std::cout << *get<3>(p) << "\t" << *(p.d) << "\n";

    // type information is retained. For example, if we try to do this:
    // get<3>(p) = new int;  // <-- note int instead of float
    // g++ 10 gives the error: "cannot convert ‘int*’ to ‘float*’ in assignment"
}