Проблема со структурой C# P/Invoke

Все ответы, данные до сих пор, содержат немного ответа, но являются неполными. Вам нужен MarshalAs - ByValArray, а также новый, ваши MSTrackDatas уже являются ссылками, поэтому вам не нужно передавать их по ссылке, и вы должны проверить, какое соглашение о вызовах представляет ICEAPI, если это StdCall, вам не нужно ничего менять, кроме если это cdecl, вам нужно будет добавить CallingConvention в свой атрибут DllImport. Кроме того, вам может потребоваться добавить атрибут MarshalAs к возвращаемому логическому значению, чтобы убедиться, что оно маршалируется как 4-байтовое логическое значение в стиле WinApi. Вот объявления, которые вам (вероятно) понадобятся:

public const int MAX_ICE_MS_TRACK_LENGTH = 256;

[StructLayout(LayoutKind.Sequential)]
public class MSTrackData {
    public UInt32 nLength;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 256)]
    public Byte[] TrackData = new byte[MAX_ICE_MS_TRACK_LENGTH];
}

[DllImport("ICE_API.dll", CharSet = CharSet.Auto, SetLastError = true)]
[return: MarshalAs(UnmanagedType.Bool)]
public static extern bool EncodeMagstripe(IntPtr hDC,
                [In] MSTrackData pTrack1,
                [In] MSTrackData pTrack2,
                [In] MSTrackData pTrack3,
                [In] MSTrackData reserved);

Я бы определил массив BYTE не с помощью new, а вместо этого использовал следующий код для инициализации правильного размера:

[MarshalAs(UnmanagedType.byValTSt, SizeConst = 256)] открытый только для чтения Byte[] TrackData;

Я успешно использовал это в массивах символов в прошлом.

Мне кажется, проблема в том, что вы передаете ссылку по ссылке. Поскольку MSTrackData — это класс (т. е. ссылочный тип), передача его по ссылке аналогична передаче указателя на указатель.

Измените управляемый прототип на:

public static extern bool EncodeMagstripe(IntPtr hDC,
                    MSTrackData pTrack1,
                    MSTrackData pTrack2,
                    MSTrackData pTrack3,
                    MSTrackData reserved);

См. статью MSDN о передаче структур.

У меня была почти точно такая же проблема, но с ReadMagstripe. И решение, представленное здесь для EncodeMagstripe, не работает для ReadMagstripe! Я думаю, что причина, по которой это не сработало, заключалась в том, что ReadMagstripe должен возвращать данные в структуру/класс TRACKDATA, тогда как EncodeMagstripe передает данные только в dll, и данные в TRACKDATA не нужно изменять. Вот реализация, которая в конечном итоге сработала для меня — как с EncodeMagstripe, так и с ReadMagstripe:

    public const int MAX_ICE_MS_TRACK_LENGTH = 256;
    [StructLayout(LayoutKind.Sequential)]
    public struct TRACKDATA
    {  
        public UInt32 nLength;
        [MarshalAs(UnmanagedType.ByValTStr, SizeConst = 256)]
        public string szTrackData;
    }


    [DllImport("ICE_API.dll", EntryPoint="_ReadMagstripe@20", CharSet=CharSet.Auto, 
        CallingConvention=CallingConvention.Winapi, SetLastError=true)]
    [return: MarshalAs(UnmanagedType.Bool)]
    public static extern bool ReadMagstripe(int hdc, ref TRACKDATA ptrack1, ref TRACKDATA ptrack2,
         ref TRACKDATA ptrack3, ref TRACKDATA reserved);

    [DllImport("ICE_API.dll", EntryPoint="_EncodeMagstripe@20", CharSet=CharSet.Auto,
        CallingConvention = CallingConvention.Winapi, SetLastError=true)]
    public static extern bool EncodeMagstripe(int hdc, [In] ref TRACKDATA ptrack1, [In] ref TRACKDATA ptrack2,
        [In] ref TRACKDATA ptrack3, [In] ref TRACKDATA reserved);


/*
        ....
*/


    private void EncodeMagstripe()
    {
        ICE_API.TRACKDATA track1Data = new ICE_API.TRACKDATA();
        ICE_API.TRACKDATA track2Data = new ICE_API.TRACKDATA();
        ICE_API.TRACKDATA track3Data = new ICE_API.TRACKDATA();
        ICE_API.TRACKDATA reserved = new ICE_API.TRACKDATA();

        //if read magstripe
        bool bRes = ICE_API.ReadMagstripe(printer.Hdc, ref track1Data, ref track2Data,
            ref track3Data, ref reserved);

        //encode magstripe
        if (bRes)
        {
            track2Data.szTrackData = "1234567890";
            track2Data.nLength = 10;

            bRes = ICE_API.EncodeMagstripe(printer.Hdc, ref track1Data, ref track2Data, ref track3Data, ref reserved);
        }
    }