Как сжать или закодировать открытый ключ эллиптической кривой и передать его по сети?

Точки эллиптических кривых почти всегда кодируются с использованием кодировки, указанной в X9.62.

Использование точечного сжатия необязательно. Кодирование с использованием точечного сжатия тривиально, но для декодирования сжатой точки требуется немного больше работы, поэтому, если вам действительно не нужно сохранять лишние байты, я бы не стал беспокоиться. Дайте мне знать, если вам это нужно, и я добавлю детали. Вы можете распознать точки в кодировке X9.62 со сжатием точки по первому байту, который будет 0x02 или 0x03.

Кодирование без точечного сжатия действительно просто: начните с 0x04 (чтобы указать отсутствие сжатия). Затем следует сначала координата x, затем координата y, обе слева заполнены нулями до размера в байтах поля:

int qLength = (q.bitLength()+7)/8;
byte[] xArr = toUnsignedByteArray(x);
byte[] yArr = toUnsignedByteArray(y);
byte[] res = new byte[1+2*qLength];
res[0] = 0x04;
System.arraycopy(xArr, 0, res, qLength - xArr.length, xArr.length);
System.arraycopy(yArr, 0, res, 2* qLength - yArr.length, nLength);

Расшифровка, конечно, тривиальная.

Я почти уверен, что реализация BC использует кодировку X9.63, так что это будут скорее стандартизованные кодировки. Вам нужно будет добавить поставщика Bouncy Castle в JRE (Security.addProvider(new BouncyCastleProvider()), см. Документацию bouncy.

public static void showECKeyEncodings() {

    try {
        KeyPairGenerator kp = KeyPairGenerator.getInstance("ECDSA");
        ECNamedCurveParameterSpec ecSpec = ECNamedCurveTable
                .getParameterSpec("prime192v1");
        kp.initialize(ecSpec);
        KeyPair keyPair = kp.generateKeyPair();

        PrivateKey privKey = keyPair.getPrivate();
        byte[] encodedPrivKey = privKey.getEncoded();
        System.out.println(toHex(encodedPrivKey));

        PublicKey pubKey = keyPair.getPublic();
        byte[] encodedPubKey = pubKey.getEncoded();
        System.out.println(toHex(encodedPubKey));

        KeyFactory kf = KeyFactory.getInstance("ECDSA");
        PublicKey pubKey2 = kf.generatePublic(new X509EncodedKeySpec(encodedPubKey));
        if (Arrays.equals(pubKey2.getEncoded(), encodedPubKey)) {
            System.out.println("That worked for the public key");
        }

        PrivateKey privKey2 = kf.generatePrivate(new PKCS8EncodedKeySpec(encodedPrivKey));
        if (Arrays.equals(privKey2.getEncoded(), encodedPrivKey)) {
            System.out.println("That worked for the private key");
        }

    } catch (GeneralSecurityException e) {
        throw new IllegalStateException(e);
    }

}