как я могу определить план и выполнить его в Kiss FFT

Вы видите какую-либо ошибку в следующем?

cfg = kiss_fftr_alloc(dim,1,NULL,NULL);
kiss_fftr(cfg,in,out);

равно: ?

cfg = fftw_plan_dft_c2r_1d(dim, in , out, FFTW_ESTIMATE);
fftw_execute(cfg);