SharpZipLib для сжатия строки

Мне нужно сжать строку, чтобы уменьшить размер ответа веб-службы. Я вижу модульные тесты в примерах SharpZipLib, но не пример того, что мне нужно.

В следующем коде конструктор для ZipOutputStream возвращает исключение: «Нет открытой записи».

        byte[] buffer = Encoding.UTF8.GetBytes(SomeLargeString);
        Debug.WriteLine(string.Format("Original byes of string: {0}", buffer.Length));

        MemoryStream ms = new MemoryStream();
        using (ZipOutputStream zipStream = new ZipOutputStream(ms))
        {
            zipStream.Write(buffer, 0, buffer.Length);
            Debug.WriteLine(string.Format("Compressed byes: {0}", ms.Length));
        }

        ms.Position = 0;
        MemoryStream outStream = new MemoryStream();

        byte[] compressed = new byte[ms.Length];
        ms.Read(compressed, 0, compressed.Length);

        byte[] gzBuffer = new byte[compressed.Length + 4];
        System.Buffer.BlockCopy(compressed, 0, gzBuffer, 4, compressed.Length);
        System.Buffer.BlockCopy(BitConverter.GetBytes(buffer.Length), 0, gzBuffer, 0, 4);
        string compressedString = Convert.ToBase64String (gzBuffer);

Где я сбился с пути? Я делаю это более сложным, чем должно быть?


person Roger    schedule 22.03.2012    source источник


Ответы (5)


Вы уверены, что после преобразования в Base 64 данных станет намного меньше? Это значительно раздует двоичные данные (zip). Вы не можете решить проблему на транспортном уровне с помощью HTTP-сжатия?

Вот сообщение с полным исходным кодом, в котором показано, как выполнить zip / unzip туда и обратно.

http://paultechguy.blogspot.com/2008/09/zip-xml-in-memory-for-web-service.html

person Eric J.    schedule 22.03.2012

Для данных сжатия связи веб-службы из Silverlight я использую этот фрагмент:

private byte[] zipText(string text)
{
    if (text == null)
        return null;

    using(Stream memOutput = new MemoryStream())
    {
        using (GZipOutputStream zipOut = new GZipOutputStream(memOutput))
        {
            using (StreamWriter writer = new StreamWriter(zipOut))
            {
                writer.Write(text);

                writer.Flush();
                zipOut.Finish();

                byte[] bytes = new byte[memOutput.Length];
                memOutput.Seek(0, SeekOrigin.Begin);
                memOutput.Read(bytes, 0, bytes.Length);

                return bytes;
            }
        }
    }
}

private string unzipText(byte[] bytes)
{
    if (bytes == null)
        return null;

    using(Stream memInput = new MemoryStream(bytes))
    using(GZipInputStream zipInput = new GZipInputStream(memInput))
    using(StreamReader reader = new StreamReader(zipInput))
    {
        string text = reader.ReadToEnd();

        return text;
    }
}
  1. Я использовал GZip вместо сжатия Zip
  2. Ожидал, что текст будет читаться/записываться из аналогичной среды, поэтому я не делал никакого дополнительного кодирования/декодирования.

В моем случае было сжатие данных json. По моим наблюдениям, в некоторых случаях текстовые данные размером около 95Кб сжимались до 1,5Кб. Так что даже данные будут сериализованы в базу 64, в любом случае это хорошая экономия трафика.

Опубликовал мой ответ, который может кому-то сэкономить время.

person kikea    schedule 31.12.2014

Несколько проблем с вашим кодом:

  1. Всегда очищайте данные при работе с потоками.

  2. Чтобы прочитать данные из MemoryStream, просто используйте:

    байт[] данные = ms.ToArray();

  3. Zip-файлы — это контейнеры, которые могут содержать несколько записей (файлов), комментариев... вам может потребоваться вызвать PutNextEntry(), чтобы добавить новую запись, прежде чем начать запись в нее данных.

  4. Если вам нужно сжать только один поток данных (как в вашем случае), лучшим выбором будет просто использовать сжатие deflate (или gzip), которое предназначено для сжатия одного потока данных (фактически формат zip использует gzip внутри для сжатия его записи...) .Net предлагает 2 очень удобных класса для сжатия данных: GZipStream и DeflateStream. Хороший пример можно найти здесь

person Lotfi    schedule 22.03.2012

Вам нужно вызвать PutNextEntry, чтобы добавить заголовок перед записью данных.

Ответ скопирован с: http://community.sharpdevelop.net/forums/p/5910/16947.aspx

person surfen    schedule 22.03.2012

Самый упрощенный ответ, который я нашел, - это иметь дело с байтами при распаковке/архивировании данных и использовать буфер заданного размера для копирования данных в объект Stream, который можно использовать по своему усмотрению:

    /// <summary>
    /// Unzips (inflates) zipped data.
    /// </summary>
    /// <param name="zippedData">The zipped data.</param>
    /// <returns>The inflated data.</returns>
    public Byte[] GUnzip(Byte[] zippedData)
    {
        using (MemoryStream unzippedData = new MemoryStream())
        {
            using (GZipInputStream zippedDataStream = new GZipInputStream(new MemoryStream(zippedData)))
            {
                CopyStream(zippedDataStream, unzippedData);
            }

            return unzippedData.ToArray();
        }
    }

    /// <summary>
    /// zips data.
    /// </summary>
    /// <param name="unzippedData">The unzipped data.</param>
    /// <returns>The zipped data.</returns>
    public Byte[] GZip(Byte[] unzippedData)
    {
        using (MemoryStream zippedData = new MemoryStream())
        {
            using (GZipOutputStream unzippedDataStream = new GZipOutputStream(new MemoryStream(unzippedData)))
            {
                CopyStream(unzippedDataStream, zippedData);
            }

            return zippedData.ToArray();
        }
    }

    /// <summary>
    /// Accepts an inStream, writes it to a buffer and goes out the outStream
    /// </summary>
    /// <param name="inStream">The input Stream</param>
    /// <param name="outStream">The output Stream</param>
    private static void CopyStream(Stream inStream, Stream outStream)
    {
        int nRead = 0;
        // Using a 2k buffer
        Byte[] theBuffer = new Byte[2048];

        while ((nRead = inStream.Read(theBuffer, 0, theBuffer.Length)) > 0)
        {
            outStream.Write(theBuffer, 0, nRead);
        }
    }
person user7459668    schedule 29.03.2018