Ускорение преобразования формата пикселей - BGR упакован в планарный RGB

Из SDK я получаю изображения, упакованные в формате пикселей BGR, то есть BGRBGRBGR. Для другого приложения мне нужно преобразовать этот формат в планарный RGB RRRGGGBBB. Я не хочу использовать дополнительную библиотеку только для этой задачи, поэтому мне приходится использовать свой собственный код для преобразования между форматами.

Я использую 32-битный C # .NET 4.5, и данные находятся в байтовых массивах одинакового размера.

Прямо сейчас я просматриваю источник массива и присваиваю значения BGR их соответствующим местам в целевом массиве, но это занимает слишком много времени (250 мс для 1,3-мегапиксельного изображения). Код работает на процессоре Intel Atom E680 и имеет доступ к MMX, SSE, SSE2, SSE3, SSSE3.

К сожалению, у меня нет знаний о встроенных функциях, и я не могу преобразовать код для подобной проблемы, например Быстрый способ копирования памяти с переводом - ARGB в BGR в соответствии с моими потребностями.

Код, который я сейчас использую для преобразования между форматами пикселей:

// the array with the BGRBGRBGR pixel data
byte[] source;
// the array with the RRRGGGBBB pixel data
byte[] result;
// the amount of pixels in one channel, width*height
int imageSize;

for (int i = 0; i < source.Length; i += 3)
{
    result[i/3] = source[i + 2]; // R
    result[i/3 + imageSize] = source[i + 1]; // G
    result[i/3 + imageSize * 2] = source[i]; // B
}

Я попытался разделить доступ к исходному массиву на три цикла, по одному для каждого канала, но это не помогло. Так что я открыт для предложений.

for (int i = 0; i < source.Length; i += 3)
{
    result[i/3] = source[i + 2]; // R
}

for (int i = 0; i < source.Length; i += 3)
{
    result[i/3 + imageSize] = source[i + 1]; // G
}

for (int i = 0; i < source.Length; i += 3)
{
    result[i/3 + imageSize * 2] = source[i]; // B
}

edit: Я уменьшил его до 180 мс, удалив такое деление и умножение, но есть ли способ сделать это еще быстрее? Это все еще очень медленно, что, я думаю, связано с тем, что чтение / запись в память не очень оптимальны.

int targetPosition = 0;
int imageSize2 = imageSize * 2;
for (int i = 0; i < source.Length; i += 3)
{
    result[targetPosition] = source[i + 2]; // R
    targetPosition++;
}

targetPosition = 0;

for (int i = 0; i < source.Length; i += 3)
{
    result[targetPosition + imageSize] = source[i + 1]; // G
    targetPosition++;
}

targetPosition = 0;

for (int i = 0; i < source.Length; i += 3)
{
    result[targetPosition + imageSize2] = source[i]; // B
    targetPosition++;
}

Благодаря ответу MBo мне удалось сократить время со 180 мс до 90 мс! Вот код:

Converter.cpp:

#include "stdafx.h"

BOOL __stdcall DllMain(HINSTANCE hInst, DWORD dwReason, LPVOID lpReserved) {
return  TRUE;
}

const unsigned char Mask[] = { 0, 3, 6, 9, 
                           1, 4, 7, 10, 
                           2, 5, 8, 11, 
                           12, 13, 14, 15};

extern "C" __declspec(dllexport) char* __stdcall ConvertPixelFormat(unsigned char* source, unsigned char *target, int imgSize) {

_asm {
    //interleave r1g1b1 r2g2b2 r3g3b3 r4b4g4 r5b5g5 r6... to planar
    //           r1r2r3r4r5..... g1g2g3g4g5... b1b2b3b4b5...
        push edi
        push esi
        mov eax, source      //A address
        mov edx, target      //B address
        mov ecx, imgSize
        movdqu xmm5, Mask    //load shuffling mask
        mov edi, imgSize     //load interleave step
        mov esi, eax
        add esi, edi
        add esi, edi
        add esi, edi
        shr ecx, 2           //divide count by 4
        dec ecx              //exclude last array chunk
        jle Rest

    Cycle:
        movdqu xmm0, [eax]        //load 16 bytes
        pshufb xmm0, xmm5         //shuffle bytes, we are interested in 12 ones
        movd [edx], xmm0          //store 4 bytes of R
        psrldq xmm0, 4            //shift right register, now G is on the end
        movd [edx + edi], xmm0    //store 4 bytes of G to proper place
        psrldq xmm0, 4            //do the same for B
        movd [edx + 2 * edi], xmm0
        add eax, 12               //shift source index to the next portion
        add edx, 4                //shift destination index
        loop Cycle

    Rest:                       //treat the rest of array
        cmp eax, esi
        jae Finish
        mov ecx, [eax]
        mov [edx], cl           //R
        mov [edx + edi], ch     //G
        shr ecx, 16
        mov [edx + 2 * edi], cl //B
        add eax, 3
        add edx, 1
        jmp Rest

    Finish:
        pop esi
        pop edi
    }
}

Файл C #:

// Code to define the method
[DllImport("Converter.dll")]
unsafe static extern void ConvertPixelFormat(byte* source, byte* target, int imgSize);

// Code to execute the conversion
unsafe
{
    fixed (byte* sourcePointer = &source[0])
    {
        fixed (byte* resultPointer = &result[0])
        {
            ConvertPixelFormat(sourcePointer, resultPointer, imageSize);
        }
    }
}

person RBS    schedule 18.12.2014    source источник
comment
Просто протестируйте несколько способов, распечатайте время и выберите самый быстрый. Предлагаю убрать деления и умножения внутри цикла.   -  person Ivan Kuckir    schedule 18.12.2014
comment
Спасибо, мне удалось сделать это быстрее, но интересно, есть ли еще способ улучшить его.   -  person RBS    schedule 18.12.2014
comment
Я думаю, вы приближаетесь к максимальной скорости. Вы можете улучшить его, изменив подход - например, с использованием нескольких процессоров (потоков).   -  person Ivan Kuckir    schedule 18.12.2014
comment
Вам это нужно, чтобы быть в безопасности? Небезопасный код (с указателями) в порядке?   -  person Jcl    schedule 18.12.2014
comment
Не нужно быть в безопасности. Но я уже получил отличный ответ с указателями и кодом asm, который меня удовлетворяет.   -  person RBS    schedule 19.12.2014


Ответы (4)


Я реализовал эту проблему чередования в Delphi и исследовал встроенный asm. У меня нет встроенных функций, поэтому я использовал простой ассемблер.
pshufb равно _mm_shuffle_epi8 (SSSE3 внутренняя)

На каждом шаге цикла я загружаю 16 байтов (r1g1b1 r2g2b2 r3g3b3 r4b4g4 r5b5g5 r6) в 128-битный регистр XMM, перемешиваю их в порядке (r1r2r3r4 g1g2g3g4 b1b2b3b4 xxxx) и сохраняю блоки r, g, b в целевую память (игнорируя последние 4 байта). На следующем шаге загружается (r5b5g5 r6g6b6 r7g7b7 ...) и так далее.

Обратите внимание, что для упрощения кода я неправильно обработал сам хвост массива в первой версии кода. Поскольку вы можете использовать этот код, я внес необходимые исправления.

Пример проблемы с первой версией:
imgSize = 32
размер массива = 96 байтов
32/4 = 8 циклов
последний цикл начинается с 84-го байта и читается от 16 байтов до 99-го байта, поэтому мы вышли за пределы диапазона массива!
Я только что добавил сюда защитные байты: GetMem(A, Size * 3 + 15);, но для реальной задачи это может быть неприменимым, поэтому стоит иметь специальную обработку последнего фрагмента массива.

Этот код занимает 967 мс для варианта паскаль и 140 мс для варианта asm для преобразования двухсот 1,3-мегапиксельных кадров на машине i5-4670 (сам процессор в 6-8 раз быстрее для одного потока, чем Atom 680). Скорость около 0,75 ГБ / с (пас) и 5,4 ГБ / с (asm)

const
  Mask: array[0..15] of Byte = ( 0, 3, 6, 9,
                                 1, 4, 7, 10,
                                 2, 5, 8, 11,
                                 12, 13, 14, 15);
var
  A, B: PByteArray;
  i, N, Size: Integer;
  t1, t2: DWord;
begin
  Size := 1280 * 960 * 200;
  GetMem(A, Size * 3);
  GetMem(B, Size * 3);

  for i := 0 to Size - 1 do begin
    A[3 * i] := 1;
    A[3 * i + 1] := 2;
    A[3 * i + 2] := 3;
  end;

  t1 := GetTickCount;
  for i := 0 to Size - 1 do begin
    B[i] := A[3 * i];
    B[i + Size] := A[3 * i + 1];
    B[i + 2 * Size] := A[3 * i + 2];
  end;
  t2:= GetTickCount;

    //interleave r1g1b1 r2g2b2 r3g3b3 r4b4g4 r5b5g5 r6... to planar
    //r1r2r3r4r5..... g1g2g3g4g5... b1b2b3b4b5...
  asm
    push edi
    push esi
    mov eax, A      //A address
    mov edx, B      //B address
    mov ecx, Size
    movdqu xmm5, Mask   //load shuffling mask
    mov edi, Size       //load interleave step
    mov esi, eax
    add esi, edi
    add esi, edi
    add esi, edi
    shr ecx, 2      //divide count by 4
    dec ecx         //exclude last array chunk
    jle @@Rest

  @@Cycle:
    movdqu xmm0, [eax]   //load 16 bytes
    pshufb xmm0, xmm5    //shuffle bytes, we are interested in 12 ones
    movd [edx], xmm0     //store 4 bytes of R
    psrldq xmm0, 4        //shift right register, now G is on the end
    movd [edx + edi], xmm0   //store 4 bytes of G to proper place
    psrldq xmm0, 4            //do the same for B
    movd [edx + 2 * edi], xmm0
    add eax, 12               //shift source index to the next portion
    add edx, 4                //shift destination index
    loop @@Cycle

   @@Rest:       //treat the rest of array
    cmp eax, esi
    jae @@Finish
    mov ecx, [eax]
    mov [edx], cl   //R
    mov [edx + edi], ch  //G
    shr ecx, 16
    mov [edx + 2 * edi], cl //B
    add eax, 3
    add edx, 1
    jmp @@Rest
  @@Finish:

    pop esi
    pop edi
  end;

  Memo1.Lines.Add(Format('pas %d asm %d', [t2-t1, GetTickCount - t2]));
  FreeMem(A);
  FreeMem(B);
person MBo    schedule 18.12.2014
comment
Очень полезно! Это сократило необходимое время в 2 раза. Спасибо. - person RBS; 19.12.2014
comment
Поскольку ширина моего изображения должна делиться на 8, мне не нужно беспокоиться о хвосте массива, потому что размер шага 4 означает, что он всегда будет обрабатывать весь массив, верно? - person RBS; 19.12.2014
comment
Нет, я добавил объяснение и внес исправления, чтобы избежать потенциальных проблем (нарушение прав доступа). См. Исправленный код (как до, так и после основного цикла) - person MBo; 19.12.2014

Вы можете попробовать считать в обратном порядке, то есть int i = source.Length - 1; i >=0 ; i -= 3, поэтому свойство source.Length читается только один раз за цикл, а не на каждой итерации.

person ris8_allo_zen0    schedule 18.12.2014

Я последовал совету Ивана и придумал это улучшение, которое избавляет от деления (реализовано на C):

    int offset = 0;
    for (int i = 0; i < ARRAYSIZE(source); i += 3) {
        offset++;
        result[offset] = source[i + 2];  // R
        result[offset + imageSize] = source[i + 1];  // G
        result[offset + imageSize * 2] = source[i];  // B
    }

это экономит около 40% времени выполнения на моей машине.

person 0x6d64    schedule 18.12.2014
comment
Спасибо, но я был быстрее, см. Правку :) Он немного улучшился. - person RBS; 18.12.2014

Первый шаг: избегайте многократного чтения исходного кода (см. Ответ https://stackoverflow.com/a/27542680/949044). Это также хорошо работает с кешем процессора, который в настоящее время используется недостаточно: вы читаете 1 байт из 3, поэтому 2/3 строки кеша выбрасываются. Так могло получиться так:

int targetPositionR = 0;
int targetPositionG = imageSize;
int targetPositionB = imageSize * 2;
for (int i = 0; i < source.Length; i += 3)
{
    result[targetPositionB] = source[i]; // B
    result[targetPositionG] = source[i + 1]; // G
    result[targetPositionR] = source[i + 2]; // R
    targetPositionB++;
    targetPositionG++;
    targetPositionR++;
}

Второй шаг: записывает 4 байта за раз, а не 1 байт. Однако для этого требуется дополнительный буфер и копия:

int[] dwPlanar = new int[imageSize*3/4];
int targetPositionR = 0;
int targetPositionG = imageSize / 4;
int targetPositionB = imageSize * 2 / 4;
for (int i = 0; i < source.Length; i += 12)
{
    int dwB = (source[i  ]) | (source[i+3] << 8) | (source[i+6] << 16) | (source[i+9]  << 24);
    int dwG = (source[i+1]) | (source[i+4] << 8) | (source[i+7] << 16) | (source[i+10] << 24);
    int dwR = (source[i+2]) | (source[i+5] << 8) | (source[i+8] << 16) | (source[i+11] << 24);
    dwPlanar[targetPositionB] = dwB; // B
    dwPlanar[targetPositionG] = dwG; // G
    dwPlanar[targetPositionR] = dwR; // R
    targetPositionB++;
    targetPositionG++;
    targetPositionR++;
}
Buffer.BlockCopy(dwPlanar,0,result,0,imageSize * 3);

Я полагаю, это поможет, потому что в C # будет меньше проверок границ массива, и, как правило, лучше писать большими кусками, когда это возможно.

(Отказ от ответственности: я не знаком с C # и не знаю, будет ли этот код компилироваться, это всего лишь алгоритм).

person Lyth    schedule 18.12.2014