Ограничение размера ключа Crypto++ RSA

How to define the limit of 256 bits only for the RSA pair keys?

Из вашей тестовой программы в связь:

int main(int, char **) {
  auto keys = RsaGenerateHexKeyPair(3072);
  std::cout << "Private key: " << std::endl << keys.privateKey << "\n" << std::endl;

  std::cout << "Public key: " << std::endl << keys.publicKey << "\n" << std::endl;
  ...
}

Вы должны изменить RsaGenerateHexKeyPair(3072) на:

auto keys = RsaGenerateHexKeyPair(256);

Если вы хотите изменить его в библиотеке Crypto++, измените GenerateRandom, чтобы генерировать исключение InvalidArgument, если bits больше 256.

GenerateRandomWithKeySize является частью базового класса глубоко в недрах Crypto++. Он реализован в cryptlib.cpp, и его тело:

void GeneratableCryptoMaterial::GenerateRandomWithKeySize(RandomNumberGenerator &rng, unsigned int keySize)
{
    GenerateRandom(rng, MakeParameters("KeySize", (int)keySize));
}

Итак, вам нужно изменить GenerateRandom в rsa.cpp:

void InvertibleRSAFunction::GenerateRandom(RandomNumberGenerator &rng, const NameValuePairs &alg)
{
    int modulusSize = 2048;
    alg.GetIntValue(Name::ModulusSize(), modulusSize) || alg.GetIntValue(Name::KeySize(), modulusSize);

    CRYPTOPP_ASSERT(modulusSize >= 16);
    if (modulusSize < 16)
        throw InvalidArgument("InvertibleRSAFunction: specified modulus size is too small");

    m_e = alg.GetValueWithDefault(Name::PublicExponent(), Integer(17));

    CRYPTOPP_ASSERT(m_e >= 3); CRYPTOPP_ASSERT(!m_e.IsEven());
    if (m_e < 3 || m_e.IsEven())
        throw InvalidArgument("InvertibleRSAFunction: invalid public exponent");

    RSAPrimeSelector selector(m_e);
    AlgorithmParameters primeParam = MakeParametersForTwoPrimesOfEqualSize(modulusSize)
        (Name::PointerToPrimeSelector(), selector.GetSelectorPointer());
    m_p.GenerateRandom(rng, primeParam);
    m_q.GenerateRandom(rng, primeParam);

    m_d = m_e.InverseMod(LCM(m_p-1, m_q-1));
    CRYPTOPP_ASSERT(m_d.IsPositive());

    m_dp = m_d % (m_p-1);
    m_dq = m_d % (m_q-1);
    m_n = m_p * m_q;
    m_u = m_q.InverseMod(m_p);   
}

but the keys still so big ... (From an earlier comment)

256-битный RSA обычно считается слишком маленьким. Он находится в пределах досягаемости обычных людей.

Вам следует подумать о переходе на эллиптические кривые. Если исправить кривую и использовать сжатую публичную точку, то можно получить довольно маленький ключ, порядка 32 байт для secp256.