Используя этот ключ (sym.key), я зашифровал файл с помощью следующей команды.
openssl enc -aes-256-cbc -in temp.txt -out temp.enc -kfile sym.key

Не совсем. openssl enc -kfile читает первую и только первую строку файла и использует ее в качестве пароля, который отличается от ключа. enc имеет три варианта ввода пароля, после чего он запускает пароль со случайной солью через процесс получения ключа для получения фактического ключа и IV (для шифров, использующих IV, и AES-CBC делает ). Затем он записывает заголовок, содержащий соль, за которым следует зашифрованный текст, в выходной файл. Это называется шифрованием на основе пароля (PBE), а иногда и функцией вывода ключа на основе пароля (PBKDF).

В зависимости от того, что вы действительно хотите сделать, есть два подхода.

Чтобы расшифровать имеющийся у вас файл

Прочтите первую строку из sym.key (исключая терминатор строки) как символы, НЕ base64, и добавьте в нее соль с temp.enc по EVP_BytesToKey примерно так:

FILE * pwfile = fopen (key_file, "r"); 
if(!pwfile) error_handling 
char pwline [70]; 
fgets (pwline, sizeof pwline, pwfile);
int pwlen = strlen (pwline); 
if(pwlen==0 || pwline[pwlen-1]!='\n') error_handling
pwline[--pwlen] = '\0';

// Open file_name and read into inbuff for flen as you have now 
// Optionally confirm the first 8 bytes are "Salted__"
// If on Windows must fopen with mode "rb" to get all bytes correctly;
// on Unix it is clearer to specify this but not actually needed
// because on Unix binary files and text files are treated the same

unsigned char key [256/8]; // AES-256 key is 32 bytes
unsigned char iv [128/8]; // AES IV is 16 bytes (regardless of key)
EVP_BytesToKey(EVP_aes_256_cbc(), EVP_md5(), inbuff+8, /* the salt! */
    (unsigned char*)pwline, pwlen, 1, key, iv);

// Now continue as you have with EVP_Encrypt{Init,Update,Final}
// using key,iv except use buffer inbuff+16 for length flen-16 .
// (And do something with the output, which you don't now!)

Чтобы создать файл, который вам явно нужен

Чтобы использовать enc для создания файла, зашифрованного прямым ключом, вы должны передать его с параметром -K (верхний регистр K) в командной строке в шестнадцатеричном формате. Однако обрабатывать шестнадцатеричный код в вашей программе на C неудобно, поэтому я бы обработал его на стороне шифрования примерно так:

openssl rand 32 >sym.key # AES-256 key must be exactly 32 bytes, not more
openssl enc -aes-256-cbc -in temp.txt -out temp.enc \
  -K $(od -An -tx1 sym.key | sed 's/ //g') -iv 00000000000000000000000000000000

затем в вашей программе на C прочтите sym.key (по крайней мере, как двоичный в Windows) и используйте его как есть, с IV равным 16 0, как у вас сейчас.

В качестве альтернативы можно rand записать шестнадцатеричный код и использовать его как есть

openssl rand -hex 32 >sym.key
openssl enc -aes-256-cbc -in temp.txt -out temp.enc -K $(cat sym.key) -iv (same)

затем в вашей программе на C прочтите sym.key (как текстовую строку) и преобразуйте его из 64 шестнадцатеричных символов в unsigned char key [32].

Прочие моменты

Если вам действительно нужно было декодировать файл base64, вам не нужно сначала читать его в память, а затем вставлять b64BIO в memBIO; вы можете нажать b64BIO на fileBIO, который читает файл.

Вам не нужно выделять flen*2 для outbuff. Расшифрованный открытый текст никогда не будет длиннее зашифрованного текста. (Что для соленой формы PBE на самом деле flen-16, как указано выше). Это шифрование, которое может расширить данные, а затем только один блок (для AES, 16 байт).

Перед использованием рекомендуется проверять, malloc не возвращал ли NULL. Это редко случается в современных системах, но это может произойти, если даже такой простой код, как этот, вызывается из более крупной программы, и в какой-либо другой части программы есть ошибка, которая приводит к нехватке памяти, или, возможно, уязвимость, используемая с помощью атаки типа «отказ в обслуживании». .

Если вы хотите поддерживать большие файлы, которые не умещаются в доступной памяти или могут не поместиться, итеративно считайте фрагменты, загрузите каждый в DecryptUpdate, запишите результаты (которые будут отставать примерно на один блок), а при EOF вызовите DecryptFinal и выведите любой последний частичный блок.