InvertableRSAFunction не работает при шифровании ключей Диффи-Хеллмана как константного байта *

Я фактически решил все свои проблемы, просто закодировав все в Base64 перед отправкой по сети. Я также добавил получение после каждой отправки и отправку после каждого приема, чтобы убедиться, что сервер и клиент правильно синхронизированы вместе, чтобы избежать проблем с синхронизацией. Нет необходимости во всей этой чепухе о HexEncoding. Просто превратите его в строку, как хотите, отправьте в эти функции, и вот так.

string RecoverMsg( struct ThreadData * tdata )
{
   try
   {
      Integer c = 0, r = 0, m = 0;
      size_t req = 0, bytes = 0;
      AutoSeededRandomPool rng;
      string recovered = "", ack = "", decodedCipher = "";
      byte byteBuf[ 2000 ];
      memset(byteBuf, 0, sizeof(byteBuf));

      // Retrieve message from socket
      cout << "Waiting to receive a message from client " << tdata->tid << endl;

      bytes = tdata->sockSource.Receive(byteBuf, sizeof(byteBuf));
      cout << "Bytes Read: " << bytes << endl;

      cout << "Encoded Cipher Received: " << byteBuf << endl;

      decodedCipher;
      StringSource(byteBuf, sizeof(byteBuf), true,
               new Base64Decoder(new StringSink(decodedCipher)));

      c = Integer(decodedCipher.c_str());

      // Decrypt
      r = tdata->privateKey.CalculateInverse(rng, c);
      cout << "r: " << r << endl;

      // Round trip the message
      req = r.MinEncodedSize();
      recovered.resize(req);
      r.Encode((byte *) recovered.data(), recovered.size());

      cout << "Recovered: " << recovered << endl;

      ack = "ACK";
      bytes = tdata->sockSource.Send((const byte*) ack.c_str(), ack.size());

      return recovered;
   }
   catch ( Exception& e )
   {
      cerr << "caught Exception..." << endl;
      cerr << e.what() << endl;
      tdata->sockSource.ShutDown(SHUT_RDWR);
   }
}

void SendMsg( string sendBuf, struct ThreadData * tdata )
{
   try
   {
      AutoSeededRandomPool rng;
      stringstream ss("");
      string cipher = "", encodedCipher = "";
      Integer m = 0, c = 0, r = 0;
      size_t bytes = 0;
      byte ack[ 10 ];
      memset(ack, 0, sizeof(ack));

      // Treat the message as a big endian array
      m = Integer((const byte *) sendBuf.c_str(), sendBuf.size());
      cout << "m: " << m << endl;

      // Encrypt
      c = tdata->privateKey.CalculateInverse(rng, m);

      ss << c;
      cipher = ss.str();
      ss.str("");
      ss.clear();

      // Base64 encode the cipher
      encodedCipher;
      StringSource(cipher, cipher.size(),
               new Base64Encoder(new StringSink(encodedCipher)));

      cout << "Encoded Cipher Sent: " << encodedCipher << endl;

      // Send the cipher
      bytes = tdata->sockSource.Send((const byte*) encodedCipher.c_str(),
               encodedCipher.size());
      cout << "Bytes Written: " << bytes << endl;

      bytes = tdata->sockSource.Receive(ack, sizeof(ack));
   }
   catch ( Exception& e )
   {
      cerr << "caught Exception..." << endl;
      cerr << e.what() << endl;
      tdata->sockSource.ShutDown(SHUT_RDWR);
   }
}

Что ж, что касается недостающих данных после HexEncoding, это наверняка вызвано nn(spubA), потому что sizeof() возвращает размер указателя на spubA вместо размера вашей строки. Чтобы получить длину строки, вы можете использовать функцию spubA.length() или просто использовать лучший способ сделать это с помощью CryptoPP, IMHO, как вы делаете с клиентом, просто без указания размера:

StringSource saSource(spubA, true,
      new HexEncoder(new StringSink(saEncoded)));

Что касается остальной части вашего кода, похоже, вы пытаетесь выполнить свой собственный учебник RSA, поскольку вы начинаете с преобразования буфера в целое число, пожалуйста, не готовьте свой собственный RSA! Обречено на провал, Учебник ОГА слабоват!

Так что используйте возможности CryptoPP и выполните шифрование RSA с использованием хорошей схемы заполнения, такой как OAEP, с использованием шифратора и фильтра, как показано на вики-странице CryptoPP:

RSAES_OAEP_SHA_Encryptor enc(key);
StringSource(inputString, true,
    new PK_EncryptorFilter(rng, enc,
        new HexEncoder(
            new StringSink(output), false)));

cout << output << endl;

Теперь нужно быть осторожным с тем, чтобы использовать правильный ключ, поскольку вы хотите зашифровать с помощью закрытого ключа, вам необходимо инициализировать свой ключ следующим образом:

RSA::PublicKey key;
key.Initialize(privateKey.GetModulus(), privateKey.GetPrivateExponent();

И все, он уже должен работать. Для расшифровки используйте просто:

RSA::PrivateKey clientkey;
clientkey.SetModulus(publicKey.GetModulus());
clientkey.SetPrivateExponent(publicKey.GetPublicExponent());

RSAES_OAEP_SHA_Decryptor d(privateKey);
StringSource(decodedInput, true,
    new PK_DecryptorFilter(rng, d,
        new HexEncoder(
            new StringSink(output), false //lowercase
        )));

cout << output << endl;

Но есть одно но: не используйте Initialize с закрытым ключом для дешифрования, когда вы зашифровали закрытым ключом, потому что Initialize попытается факторизовать модуль, чего он не может сделать, не зная, по крайней мере, общедоступную и частную экспоненты.

Теперь я должен признаться, что я не тестировал шифрование / дешифрование с использованием закрытого ключа и RSA OAEP, если мой последний фрагмент кода выйдет из строя (возможно, RSAES_OAEP_SHA_Decryptor не будет в порядке с закрытым ключом, простые числа которого не определены ... Я печатаю вслепую, без компилятора), тогда вам придется сварить свой собственный RSA, как вы, кажется, пытаетесь сейчас. Если вам нужна дополнительная помощь в этом вопросе, прокомментируйте его ниже, и я постараюсь завтра создать свой компилятор и посмотреть, как он работает.

Но имейте в виду, что учебник RSA очень слаб, поэтому вы должны дополнять свои данные с помощью OAEP.