Я использую следующий код в Python + Pycryptodome (вилка Pycrypto) для шифрования сообщения с помощью RSA PKCS # 1 OAEP SHA256 (RSA/ECB/OAEPWithSHA-256AndMGF1Padding):
from Crypto.Cipher import PKCS1_OAEP
from Cryptodome.Hash import SHA256
cipher = PKCS1_OAEP.new(key=self.key, hashAlgo=SHA256))
ciphertext = cipher.encrypt(cek)
и следующий код на Java для его расшифровки:
Cipher cipher = Cipher.getInstance("RSA/ECB/OAEPWithSHA-256AndMGF1Padding");
cipher.init(Cipher.DECRYPT_MODE, privateKey);
byte[] cek = cipher.doFinal(ciphertext);
Однако я получаю:
Exception in thread "main" javax.crypto.BadPaddingException: Decryption error
at sun.security.rsa.RSAPadding.unpadOAEP(RSAPadding.java:499)
at sun.security.rsa.RSAPadding.unpad(RSAPadding.java:293)
at com.sun.crypto.provider.RSACipher.doFinal(RSACipher.java:363)
at com.sun.crypto.provider.RSACipher.engineDoFinal(RSACipher.java:389)
at javax.crypto.Cipher.doFinal(Cipher.java:2165)




В Sun JCE RSA/ECB/OAEPWithSHA-256AndMGF1Padding фактически означает:
Pycrypto (включая Pycryptodome), с другой стороны, предполагает следующее при использовании PKCS1_OAEP.new(hashAlgo=SHA256):
Чтобы Pycrypto был совместим с Sun JCE, вам необходимо настроить функцию Pycrypto OAEP MGF1 на использование SHA1, передав аргумент mgfunc:
from Cryptodome.Cipher import PKCS1_OAEP
from Cryptodome.Hash import SHA256, SHA1
from Cryptodome.Signature import pss
cipher = PKCS1_OAEP.new(key=self.key, hashAlgo=SHA256, mgfunc=lambda x,y: pss.MGF1(x,y, SHA1))
ciphertext = cipher.encrypt(cek)
Стоит отметить, что согласно выход из строя RSA / ECB / OAEPWITHSHA-256ANDMGF1PADDING, BouncyCastle использует SHA256 как для хэша, так и для MGF1 так же, как и Pycrypto.