Разница в типе массива с использованием numpy и cupy

Я использую библиотеку цепочки для своей модели и сталкиваюсь со следующей проблемой: скажем, у меня есть файл с тестовыми данными, имеющий 3 функции и метку (последний столбец) с ними. Он импортируется в виде списка. например

test_set = [[1,0,9,1],[7,0,8,1],[7,0,2,0],[8,0,1,0]]

Затем я беру метки, конвертируя данные в массив numpy и беря столбец меток, который позже преобразовываю в список для сравнения с предсказанными метками, например y_pred = [1,1,1,0]. т.е.

import numpy as np
y_true_np = list(np.array(test_set)[:,3])
print(y_true_np)
[1, 1, 0, 0]

Меня беспокоит то, что когда я запускаю свою модель на графическом процессоре, она использует Cuda.cupy вместо numpy, поскольку я использую библиотеку цепочки, и когда я получаю истинные метки, я получаю их как:

Там, в купи:

import cupy as cp
y_true_cp = list(cp.array(test_set)[:,3]) Or
y_true_cp = list(cuda.cp.array(test_set)[:,3])

Оба возвращают список массивов:

y_true_cp: [array(1), array(1), array(0), array(0)]

В качестве обходного пути я использую numpy в этом конкретном месте. Я что-то делаю неправильно при использовании Cupy, из-за чего я неправильно получаю значения?


python-3.x cupy chainer
person Gurpreet.S    schedule 21.11.2018    source источник

Ответы (3)


arrow_upward
3
arrow_downward

В то время как NumPy преобразует 0-мерные массивы в скаляры, CuPy этого не делает. https://docs-cupy.chainer.org/en/stable/reference/difference.html#zero-dimensional-array

В результате [array(1), array(1), array(0), array(0)] все данные массивов находятся на GPU. Я бы использовал cupy.asnumpy, если требуется эффективный массив ЦП.

y_true_cp = list(cp.asnumpy(cp.array(test_set)[:,3]))

person tos    schedule 22.11.2018

arrow_upward
1
arrow_downward

Нет необходимости проходить numpy.

Вход

import cupy as cp

test_set = [[1,0,9,1],[7,0,8,1],[7,0,2,0],[8,0,1,0]]
test_set = cp.array(test_set)

x_true = test_set[:, :3]
y_true = test_set[:, 3]
print("x_true:\n".format(x_true))
print("y_true:\n".format(y_true))

Выход

x_true:
[[1 0 9]
 [7 0 8]
 [7 0 2]
 [8 0 1]]
y_true:
[1 1 0 0]
person Yuki Hashimoto    schedule 22.11.2018

arrow_upward
0
arrow_downward

Как вы писали, похоже, что при переносе на list поведение отличается

import numpy as np
import cupy as cp

print(list(np.arange(3))  # --> [0, 1, 2]
print(list(cp.arange(3))  # --> [array(0), array(1), array(2)]

Однако в вашем случае, я думаю, вы можете просто использовать массив numpy или массив cupy без преобразования list.

y_true = test_set[:, 3]  # it should work for both numpy & cupy
y_true_np = cuda.to_cpu(y_true)  # If you want to convert the array to numpy
person corochann    schedule 22.11.2018