Сбор значений половинного числа с помощью AVX

На самом деле нет инструкции по сбору для 16-битных значений, поэтому вам нужно собрать 32-битные значения и игнорировать половину из них (и убедиться, что вы случайно не прочитали из недействительной памяти). Кроме того, _mm256_cvtph_ps() требуются все входные значения в нижнем 128-битном полосе, и, к сожалению, нет 16-битного тасования, пересекающего полосу (до AVX512).

Однако, предполагая, что у вас есть только конечные входные значения, вы можете немного изменить бит (избегая _mm256_cvtph_ps()). Если вы загрузите значение половинной точности в верхнюю половину 32-битного регистра, вы можете выполнить следующие операции:

SEEEEEMM MMMMMMMM XXXXXXXX XXXXXXXX  // input Sign, Exponent, Mantissa, X=garbage

Сдвиг арифметически вправо на 3 (при этом бит знака остается там, где он должен быть):

SSSSEEEE EMMMMMMM MMMXXXXX XXXXXXXX 

Скрыть лишние биты знаков и мусор внизу (с 0b1000'11111'11111111111'0000000000000)

S000EEEE EMMMMMMM MMM00000 00000000

Это будет допустимое число с плавающей запятой одинарной точности, но показатель степени будет отключен на 112=127-15 (разница между смещениями), т.е. вам нужно умножить эти значения на 2**112 (это может быть объединено с любой последующей операцией, которую вы все равно собираетесь сделать позже) . Обратите внимание, что это также преобразует субнормальные значения float16 в соответствующие субнормальные значения float32 (которые также отключены с коэффициентом 2**112).

Непроверенная внутренняя версия:

__m256 gather_fp16(__fp16 const* fielddensity, __m256i indices){
  // subtract 2 bytes from base address to load data into high parts:
  int32_t const* base = (int32_t const*) ( fielddensity - 1);

  // Gather 32bit values.
  // Be aware that this reads two bytes before each desired value,
  // i.e., make sure that reading fielddensitiy[-1] is ok!
  __m256i d = _mm256_i32gather_epi32(base, indices, 2);

  // shift exponent bits to the right place and mask away excessive bits:
  d = _mm256_and_si256(_mm256_srai_epi32(d, 3), _mm256_set1_epi32(0x8fffe000));

  // scale values to compensate bias difference (could be combined with subsequent operations ...)
  __m256 two112 = _mm256_castsi256_ps(_mm256_set1_epi32(0x77800000)); // 2**112
  __m256 f = _mm256_mul_ps(_mm256_castsi256_ps(d), two112);

  return f;
}