Как рассчитать отпечаток пальца из открытого ключа SSH RSA в Java?

Ваша основная проблема заключается в том, что Кодирование в стиле XDR, используемый SSH для открытого ключа, который OpenSSH использует для вычисления отпечатка пальца, не совпадает с кодировкой, используемой криптографией Java, которая представляет собой формат DER ASN.1, определенный X.509, формально называемый SubjectPublicKeyInfo. На самом деле я очень удивлен, что вы смогли прочитать файл OpenSSH .pub на Java; нет прямого способа сделать это. См. Многочисленные существующие Q по этому поводу на ssh-keygen и openssl предоставляют два разных открытых ключа (раскрытие: мое), но при быстрой проверке я не думаю, что кто-то из них является Java, поэтому вам нужно сделать что-то вроде:

byte[] n = rsapubkey.getModulus().toByteArray(); // Java is 2sC bigendian
byte[] e = rsapubkey.getPublicExponent().toByteArray(); // and so is SSH
byte[] tag = "ssh-rsa".getBytes(); // charset very rarely matters here
ByteArrayOutputStream os = new ByteArrayOutputStream();
DataOutputStream do = new DataOutputStream(os);
do.writeInt(tag.length); do.write(tag);
do.writeInt(e.length); do.write(e);
do.writeInt(n.length); do.write(n);
byte[] encoded = os.toByteArray();
// now hash that (you don't really need Apache) 
// assuming SHA256-base64 (see below)
MessageDigest digest = MessageDigest.getInstance("SHA256");
byte[] result = digest.digest(encoded);
String output = Base64.getEncoder().encodeToString(result);

(Кроме того: спасибо linc01n за обнаружение ошибки - я стараюсь всегда компилировать перед публикацией, и я не уверен, как я это пропустил.)

Вторая проблема заключается в том, что OpenSSH никогда не отображал отпечатки SHA256 в шестнадцатеричном формате. Первоначально он использовал отпечатки пальцев MD5 в шестнадцатеричном формате с двоеточиями; в 6.8 он по умолчанию переключился на SHA256 в base64 (с использованием традиционного алфавита, а не «URLsafe», предпочитаемого JSON), хотя вы все еще можете получить старую форму (в ssh используйте -oFingerprintHash=md5 или эквивалентную настройку; в ssh-keygen -l используйте -E md5). Определите, какие из них вы хотите, и запрограммируйте соответственно.

Или, если у вас есть файл .pub, просто прочтите второе поле одной строки, разделенное пробелами, преобразуйте из base64 в byte[], хешируйте его и отобразите.

Используйте это для вычисления отпечатка пальца из вашего открытого ключа:

    /**
     * Calculate fingerprint
     *
     * @param publicKey public key
     * @return fingerprint
     */
    public static String calculateFingerprint(String publicKey) {
        String derFormat = publicKey.split(" ")[1].trim();
        MessageDigest messageDigest = null;
        try {
            messageDigest = MessageDigest.getInstance("MD5");
        } catch (NoSuchAlgorithmException e) {
            log.error(e.getMessage(), e);
            throw new RuntimeException("Could not get fingerprint", e);
        }
        byte[] digest = messageDigest.digest(Base64.getDecoder().decode(derFormat));
        final StringBuilder toRet = new StringBuilder();
        for (int i = 0; i < digest.length; i++) {
            if (i != 0) toRet.append(":");
            int b = digest[i] & 0xff;
            String hex = Integer.toHexString(b);
            if (hex.length() == 1) toRet.append("0");
            toRet.append(hex);
        }
        return toRet.toString();
    }

Это даст вам тот же результат, что и:

ssh-keygen -E md5 -l -f id_rsa.pub