Как сопоставить структуру C с заполнением более 32 байтов, используя serde и bincode?

Я отображаю двоичную структуру, используя serde и bincode.

#[macro_use]
extern crate serde_derive;
extern crate serde;
extern crate bincode;

#[derive(Serialize, Deserialize)]
struct Superblock {
    magic: [u8; 16],
    //reserved: [u8; 492],
    crc: u32,
}

Все работает, как ожидалось, но я не могу отобразить зарезервированное поле. Очевидно, массивы фиксированного размера определены только для размеров до 32 байтов.

Как зарегистрировать массив нестандартного размера, чтобы заполнение десериализовалось?

Serde + bincode - правильный подход? Мне нужен контроль над порядком байтов (который обеспечивает bincode), и мне нравится декларативный стиль.


person Gabriel    schedule 10.06.2017    source источник


Ответы (3)


Я бы рекомендовал реализовать Serialize и реализация Deserialize для настраиваемого типа.

Важно отметить, что вы вообще не заботитесь о данных. Это означает, что незачем занимать память! Мы можем определить тип Reserved, который будет сериализован в группу байтов и десериализован из байтов, но на самом деле не требует места в нашей структуре в памяти.

Затем остается лишь заполнить реализацию трейта:

#[macro_use]
extern crate serde_derive;
extern crate serde;
extern crate bincode;

use std::fmt;
use serde::ser::SerializeTuple;

#[derive(Debug, Serialize, Deserialize, PartialEq)]
struct Superblock {
    magic: [u8; 16],
    reserved: Reserved,
    crc: u32,
}

#[derive(Debug, PartialEq)]
struct Reserved;
const RESERVED_LENGTH: usize = 492;

impl serde::Serialize for Reserved {
    fn serialize<S>(&self, serializer: S) -> Result<S::Ok, S::Error>
        where S: serde::Serializer
    {
        let mut tuple = serializer.serialize_tuple(RESERVED_LENGTH)?;
        for _ in 0..RESERVED_LENGTH {
            tuple.serialize_element(&0xA0_u8)?; // Just to see it easily in the output
        }
        tuple.end()
    }
}

impl<'de> serde::Deserialize<'de> for Reserved {
    fn deserialize<D>(deserializer: D) -> Result<Self, D::Error>
        where D: serde::Deserializer<'de>
    {
        struct Visitor;
        impl<'de> serde::de::Visitor<'de> for Visitor {
            type Value = Reserved;

            fn expecting(&self, f: &mut fmt::Formatter) -> fmt::Result {
                write!(f, "{} bytes", RESERVED_LENGTH)
            }

            fn visit_seq<A>(self, mut tuple: A) -> Result<Self::Value, A::Error>
                where A: serde::de::SeqAccess<'de>,
            {
                for _ in 0..RESERVED_LENGTH {
                    tuple.next_element::<u8>()?;
                }
                Ok(Reserved)
            }
        }

        deserializer.deserialize_tuple(RESERVED_LENGTH, Visitor)
    }
}

fn main() {
    let block = Superblock {
        magic: [
            0x00, 0x01, 0x02, 0x03,
            0x04, 0x05, 0x06, 0x07,
            0x08, 0x09, 0x0a, 0x0b,
            0x0c, 0x0d, 0x0e, 0x0f,
        ],
        reserved: Reserved,
        crc: 0xffffffff,
    };

    let ser = bincode::serialize(&block, bincode::Infinite).expect("Couldn't serialize");
    println!("length: {}", ser.len());
    println!("{:?}", ser);

    let block2: Superblock = bincode::deserialize(&ser).expect("Couldn't deserialize");
    assert_eq!(block, block2);
    println!("{:?}", block2);

    println!("Takes: {} bytes", std::mem::size_of::<Superblock>());
    // prints "Takes: 20 bytes"
}
person Shepmaster    schedule 11.06.2017
comment
Спасибо! Если длина является универсальным параметром, это может быть достойным дополнением к двоичному коду. - person Gabriel; 11.06.2017
comment
@Gabriel, к сожалению, числовых значений уровня типа не существует (пока), поэтому вам придется использовать что-то вроде typenum, что добавляет немного неэлегантности. Однако, когда они приземляются, я думаю, что это то, что идеально подходит для bincode! - person Shepmaster; 11.06.2017

serde_derive поддерживает атрибуты поля #[serde(serialize_with="func")], #[serde(deserialize_with="func")] и #[serde(with="module")], что позволяет обеспечить настраиваемую сериализацию / десериализацию рутина:

#[derive(Serialize, Deserialize)]
struct Superblock {
    magic: [u8; 16],
    #[serde(with="array_492")]   // <--
    reserved: [u8; 492],
    crc: u32,
}

mod array_492 {
    use serde::*;

    pub fn serialize<S, T>(array: &[T; 492], ser: S) -> Result<S::Ok, S::Error> 
        where S: Serializer, T: Serialize
    {
        unimplemented!() // fill in yourself.
    }

    pub fn deserialize<'de, D, T>(de: D) -> Result<[T; 492], D::Error> { 
        where D: Deserializer<'de>, T: Deserialize<'de>
    {
        unimplemented!() // fill in yourself.
    }
}

Фактическая реализация приведена в следующем: https://gist.github.com/kennytm/21403667b5a17172cfcd11 >. Обратите внимание, что это не оптимизировано для одновременной десериализации всего массива байтов.

person kennytm    schedule 10.06.2017
comment
Спасибо! Поскольку это просто заполнение, почти пустая реализация вполне подойдет. - person Gabriel; 11.06.2017

В качестве обходного пути вы можете создать другой объект нужного размера и вместо этого проигнорировать его. Например:

reserved: ([u64; 32], [u64; 29], u32) // 492 bytes
person Peter Hall    schedule 10.06.2017