Как читать данные EBCDIC с нестандартной кодовой страницей и не перепутать числа?

Вы не можете прочитать что-то вроде дампа файла EBCDIC в виде потока. Класс StreamReader является типом TextReader и предназначен для чтения символов. Вы читаете запись — сложную структуру данных, содержащую смешанные двоичные и текстовые данные.

Вам нужно выполнять чтение с помощью FileStream и читать блоки октетов по мере необходимости. Вам понадобятся некоторые тривиальные вспомогательные методы, подобные этим:

private byte[] ReadOctets( Stream input , int size )
{
    if ( size < 0 ) throw new ArgumentOutOfRangeException() ;

    byte[] octets      = new byte[size] ;
    int    octets_read = input.Read( octets , 0 , size ) ;

    if ( octets_read != size ) throw new InvalidDataException() ;

    return octets ;
}

public string readCharVarying( Stream input )
{
    short    size        = readShort( input ) ;

    return readCharFixed( input , size ) ;
}

public string readCharFixed( Stream input , int size )
{
    Encoding e           = System.Text.Encoding.GetEncoding(20424) ;
    byte[]   octets      = ReadOctets( input , size ) ;
    string   value       = e.GetString( octets ) ;

    return value ;
}

private short readShort( Stream input )
{
    byte[] octets            = ReadOctets(input,2) ;
    short  bigEndianValue    = BitConverter.ToInt16(octets,0) ;
    short  littleEndianValue = System.Net.IPAddress.NetworkToHostOrder( bigEndianValue ) ;

    return littleEndianValue ;
}

private int readInt( Stream input )
{
    byte[] octets            = ReadOctets(input,4) ;
    int    bigEndianValue    = BitConverter.ToInt32(octets,0) ;
    int    littleEndianValue = System.Net.IPAddress.NetworkToHostOrder( bigEndianValue ) ;

    return littleEndianValue ;
}

private long readLong( Stream input )
{
    byte[] octets            = ReadOctets(input,8) ;
    long   bigEndianValue    = BitConverter.ToInt64(octets,0) ;
    long   littleEndianValue = System.Net.IPAddress.NetworkToHostOrder( bigEndianValue ) ;

    return littleEndianValue ;
}

Мейнфрейм IBM обычно имеет записи фиксированной или переменной длины в своей файловой системе. Фиксированная длина проста: вам просто нужно знать длину записи, и вы можете прочитать все байты для записи одним вызовом метода Read(), а затем преобразовать части по мере необходимости.

С записями переменной длины немного сложнее: они начинаются с 4-октетного слова описания записи, состоящего из 2-октетной (16-битной) логической длины записи, за которой следует 2-октетное (16-битное) значение 0. логическая длина записи не включает 4-байтовое слово дескриптора записи.

Вы также можете увидеть переменные составные записи. Они аналогичны записям переменной длины, за исключением того, что префикс из 4 октетов представляет собой слово дескриптора сегмента. первые 2 октета содержат длину сегмента, следующий октет определяет тип сегмента, а последний октет имеет значение NUL (0x00). Типы сегментов следующие:

• 0x00 указывает на полную логическую запись
• 0x01 указывает, что это первый сегмент составной записи.
• 0x10 указывает, что это последний сегмент составной записи.
• 0x11 указывает, что это «внутренний» сегмент составной записи, то есть «сегмент многосегментной записи, отличный от первого или последнего сегмента».

Вы можете рассматривать записи переменной длины и составные записи переменных как идентичные. Чтобы прочитать один из них, вам сначала нужно разобрать слово сегмента/записи/дескриптора и прочитать/собрать полную запись в байт [] из составляющих ее сегментов, а затем сделать все, что нужно сделать, чтобы преобразовать этот байт. [] в форму, которую вы можете использовать.

не используйте StreamReader для чтения этого файла. Он будет интерпретировать двоичные числа в файле, как если бы они были символами, и это исказит их значение. Используйте FileStream и BinaryReader. Только используйте Encoding.GetString() при переводе группы байтов из файла, представляющего строку.

@ Ханс Пассант прав. Если вы читаете файл, содержащий двоичные данные (как указано в вашем описании), то неправильно читать файл, как будто это текст.

К счастью, класс BinaryReader включает конструктор, который принимает кодировку символов в качестве одного из параметров. Вы можете использовать это для автоматического преобразования любых строк EBCDIC на иврите в файле в обычные строки Unicode, не влияя на интерпретацию нетекстовой (двоичной) части.

Кроме того, вам, вероятно, следует использовать двухбайтовое поле длины VARCHAR для чтения ваших строк, а не просто выбрасывать его!

Метод ReadString() в этом случае работать не будет, так как файл не был закодирован с помощью класса .NET BinaryWriter. Вместо этого вы должны получить длину VARCHAR (или жестко заданную длину поля CHAR) и передать ее методу ReadChars(int). Затем создайте результирующую строку из возвращаемого массива символов.