В чем преимущества NumPy перед обычными списками Python?

Массивы NumPy более компактны, чем списки Python - список списков, который вы описываете в Python, займет не менее 20 МБ или около того, в то время как трехмерный массив NumPy с плавающими точками одинарной точности в ячейках уместится в 4 МБ. Доступ к чтению и записи также стал быстрее с NumPy.

Может быть, вас не слишком заботит всего миллион ячеек, но вы определенно хотели бы получить миллиард ячеек - ни один подход не подходит для 32-битной архитектуры, но с 64-битными сборками NumPy уйдет с 4 ГБ или около того. , Одному Python потребуется как минимум около 12 ГБ (много указателей, размер которых удваивается) - гораздо более дорогостоящее оборудование!

Разница в основном связана с «косвенностью» - список Python представляет собой массив указателей на объекты Python, по крайней мере, 4 байта на указатель плюс 16 байтов даже для самого маленького объекта Python (4 для указателя типа, 4 для счетчика ссылок, 4 для значения - и распределители памяти округляются до 16). Массив NumPy - это массив однородных значений: числа с одинарной точностью занимают 4 байта каждое, с двойной точностью - 8 байтов. Менее гибкий, но вы существенно платите за гибкость стандартных списков Python!

NumPy не только более эффективен; это тоже удобнее. Вы получаете бесплатно множество векторных и матричных операций, которые иногда позволяют избежать ненужной работы. И они тоже эффективно реализуются.

Например, вы можете прочитать свой куб прямо из файла в массив:

x = numpy.fromfile(file=open("data"), dtype=float).reshape((100, 100, 100))

Сумма по второму измерению:

s = x.sum(axis=1)

Найдите, какие ячейки находятся выше порогового значения:

(x > 0.5).nonzero()

Удалите каждый срез с четным индексом по третьему измерению:

x[:, :, ::2]

Также многие полезные библиотеки работают с массивами NumPy. Например, библиотеки статистического анализа и визуализации.

Даже если у вас нет проблем с производительностью, изучение NumPy того стоит.

Алекс упомянул об эффективности памяти, а Роберто упомянул об удобстве, и это хорошие моменты. В качестве дополнительных идей я упомяну скорость и функциональность.

Функциональность: вы получаете много встроенных функций с NumPy, БПФ, свертками, быстрым поиском, базовой статистикой, линейной алгеброй, гистограммами и т. Д. И действительно, кто может жить без БПФ?

Скорость: вот тест по суммированию по списку и массиву NumPy, показывающий, что сумма в массиве NumPy в 10 раз быстрее (в этом тесте пробег может отличаться).

from numpy import arange
from timeit import Timer

Nelements = 10000
Ntimeits = 10000

x = arange(Nelements)
y = range(Nelements)

t_numpy = Timer("x.sum()", "from __main__ import x")
t_list = Timer("sum(y)", "from __main__ import y")
print("numpy: %.3e" % (t_numpy.timeit(Ntimeits)/Ntimeits,))
print("list:  %.3e" % (t_list.timeit(Ntimeits)/Ntimeits,))

который в моих системах (пока я выполняю резервное копирование) дает:

numpy: 3.004e-05
list:  5.363e-04

Вот хороший ответ из часто задаваемых вопросов на сайт scipy.org:

Какие преимущества массивы NumPy предлагают по сравнению со (вложенными) списками Python?

Списки Python - это эффективные универсальные контейнеры. Они поддерживают (довольно) эффективную вставку, удаление, добавление и конкатенацию, а понимание списков Python упрощает их создание и управление. Однако у них есть определенные ограничения: они не поддерживают «векторизованные» операции, такие как поэлементное сложение и умножение, а тот факт, что они могут содержать объекты разных типов, означает, что Python должен хранить информацию о типе для каждого элемента и должен выполнять код диспетчеризации типов. при работе с каждым элементом. Это также означает, что очень немногие операции со списками могут выполняться с помощью эффективных циклов C - каждая итерация потребует проверки типов и другого учета Python API.

Все подчеркнули почти все основные различия между массивом numpy и списком Python, я просто кратко их здесь:

1. Массивы Numpy имеют фиксированный размер при создании, в отличие от списков Python (которые могут расти динамически). Изменение размера ndarray создаст новый массив и удалит оригинал.

2. Все элементы в массиве Numpy должны иметь один и тот же тип данных (у нас также может быть гетерогенный тип, но это не позволит вам выполнять математические операции), и, следовательно, они будут одинакового размера в памяти

3. Облегченные массивы Numpy позволяют выполнять математические и другие операции с большим количеством данных. Обычно такие операции выполняются более эффективно и с меньшим количеством кода, чем это возможно при использовании последовательностей, встроенных в питоны.