Как использовать MPI для отправки правильного количества объектов производного типа?

Каждый тип данных MPI имеет, так сказать, два размера. Одним из них является истинный размер, то есть объем памяти, необходимый для хранения всех значимых данных, на которые ссылается тип данных. Можно думать об этом как о количестве места в фактическом сообщении, которое занимает элемент этого типа данных.

Другой размер - это так называемый экстент. Каждый тип данных в MPI представляет собой набор инструкций типа: «перейти к смещению disp_i от предоставленного места в буфере и прочитать/записать элемент базового типа введите_i". Набор всех пар (type_i, disp_i) называется картой типов типа данных. Минимальное смещение называется нижней границей, а максимальное смещение + размер базового типа при этом смещении + любое необходимое заполнение называется верхней границей. Экстент типа данных представляет собой разницу между верхней и нижней границами и дает размер самой короткой непрерывной области памяти, которая включает в себя все ячейки, к которым обращается тип данных.

Поскольку MPI предписывает, чтобы ни одна ячейка памяти не читалась и не записывалась в нее более одного раза во время любой операции связи, пары в карте типов должны ссылаться на непересекающиеся ячейки. Следовательно, истинный размер типа данных всегда больше или равен его размеру.

MPI использует экстент типа данных при доступе к последовательным элементам этого типа данных. Следующее утверждение:

MPI_SEND(buf, n, dtype, ...)

приводит к:

• MPI берет один элемент типа dtype из местоположения buf в соответствии с правилами, закодированными как карта типов dtype;
• MPI берет следующий элемент, начиная с позиции buf + extent(dtype);
• ...
• MPI берет n-й элемент, начиная с позиции buf + (n-1)*extent(dtype).

Примитивные типы данных, такие как MPI_INTEGER, MPI_REAL и т. д., имеют размер, соответствующий размеру базового типа (INTEGER, REAL и т. д.) + любое заполнение, предусмотренное архитектурой, что позволяет отправлять массивы базового типа, просто указав количество элементов.

Теперь вернемся к вашему делу. Вы создаете тип данных, который охватывает подмассив nx x ny x 2 из массива nx_glb x ny_glb x nz_glb. Размер этого типа данных действительно в nx * ny * 2 раз больше размера mpireal, но экстент на самом деле в nx_glb * ny_glb * nz_glb раз больше размера mpireal. Другими словами:

MPI_SEND(buf, 2, cell_zface, ...)

не будет извлекать два последовательных фрагмента nx x ny x 2 из большого массива по адресу buf. Вместо этого он будет извлекать по одной плите из каждого из двух последовательных массивов размером nx_glb x ny_glb x nz_glb, начиная с позиции (start_x, start_y, start_{z< /sub>)} в каждом массиве. Если ваша программа не выдает ошибки при запуске, считайте себя счастливчиком.

Теперь самое сложное. MPI позволяет дать каждому типу данных поддельный экстент (поэтому я назвал экстент, определенный ранее, «истинным»), искусственно устанавливая значения нижней и верхней границ. Это не влияет на размер типа данных или его карты типов (т. е. MPI по-прежнему использует те же смещения и манипулирует элементами тех же базовых типов), но влияет на шаги в памяти, которые MPI делает при доступе к последовательным элементам данного типа данных. Раньше установка экстента выполнялась путем «зажатия» типа данных в структуре между элементами специальных псевдотипов MPI_LB и MPI_UB. Начиная с MPI-2, MPI_TYPE_CREATE_RESIZED используется для достижения того же.

integer(kind=MPI_ADDRESS_KIND) :: lb, extent
integer :: newtype

! First obtain the extent of the old type used to construct cell_zface
call MPI_TYPE_GET_EXTENT(mpireal, lb, extent, errcode)
! Adjust the extent of cell_zface
extent = (nx_glb * ny_glb * subsizes(3)) * extent
call MPI_TYPE_CREATE_RESIZED(cell_zface, lb, extent, newtype, errcode)
call MPI_TYPE_COMMIT(newtype, errcode)
! Get rid of the previous type
call MPI_TYPE_FREE(cell_zface, errcode)
cell_zface = newtype

Теперь вы можете использовать cell_zface для отправки нескольких последовательных блоков.

Альтернативный и предположительно более простой подход — установить размер 3-го измерения массива равным размеру 3-го измерения подмассива при вызове MPI_TYPE_CREATE_SUBARRAY:

idir = 3
subsizes = (/nx, ny, 2/)
sizes = (/nx_glb, ny_glb, subsizes(3)/)   !These nums are the same for all procs.
mpitype = MPI_DATATYPE_NULL
CALL MPI_TYPE_CREATE_SUBARRAY(3, sizes, subsizes, starts, &
    MPI_ORDER_FORTRAN, mpireal, mpitype, errcode)
CALL MPI_TYPE_COMMIT(mpitype, errcode)
cell_zface = mpitype

В обоих случаях я предполагаю, что starts(3) равно 0.