Преобразование массива индексов в массив с горячим кодированием numpy

Скажем, у меня есть массив 1d numpy

a = array([1,0,3])

Я хотел бы закодировать это как двумерный массив

b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])

Есть ли быстрый способ сделать это? Это быстрее, чем просто перебирать a для установки элементов b.


person James Atwood    schedule 23.04.2015    source источник


Ответы (20)


Ваш массив a определяет столбцы ненулевых элементов в выходном массиве. Вам также необходимо определить строки, а затем использовать причудливую индексацию:

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])
person YXD    schedule 23.04.2015
comment
@JamesAtwood это зависит от приложения, но я бы сделал max параметром, а не вычислял его из данных. - person Mohammad Moghimi; 08.02.2016
comment
что, если "а" было 2d? а ты хочешь 3-х разовую матрицу? - person A.D; 19.10.2017
comment
Может ли кто-нибудь указать на объяснение, почему это работает, но срез с [:, a] - нет? - person N. McA.; 16.02.2018
comment
@ AD Решение для двух- ›трехмерного случая: stackoverflow.com/questions/36960320/ - person cgnorthcutt; 29.09.2018
comment
Вы также можете использовать scipy.sparse. - person mathtick; 08.04.2019
comment
@ N.McA.У меня был тот же вопрос, и я нашел часть документации, где объясняется многомерное индексирование с помощью массивов: numpy.org/doc/stable/user/ - person Marcos Pereira; 19.08.2020

Если вы используете keras, для этого есть встроенная утилита:

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

И это почти то же самое, что и @ YXD answer (см. исходный код).

person Jodo    schedule 27.11.2017

Вот что я считаю полезным:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

Здесь num_classes обозначает количество имеющихся у вас классов. Итак, если у вас есть a вектор с формой (10000,), эта функция преобразует его в (10000, C). Обратите внимание, что a имеет нулевой индекс, т.е. one_hot(np.array([0, 1]), 2) даст [[1, 0], [0, 1]].

Я верю, что именно то, что вы хотели иметь.

PS: источник - Модели последовательности - deeplearning.ai

person D.Samchuk    schedule 11.03.2018
comment
Кроме того, в чем причина выполнения np.squeeze (), поскольку для получения (размера вектора a) многих массивов с горячим кодированием, используя np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using np.eye`, вы создаете диагональную матрицу с индексом каждого класса как 1 остаточный ноль, а затем с использованием предоставленных индексов путем a.reshape(-1) создания вывода, соответствующего индексу в np.eye(). Я не понимал необходимости np.sqeeze, поскольку мы используем его, чтобы просто удалить отдельные измерения, которых у нас никогда не будет, так как в выходном измерении всегда будет (a_flattened_size, num_classes) - person Anu; 14.03.2019

Вы также можете использовать функцию eye numpy:

numpy.eye(number of classes)[vector containing the labels]

person Karma    schedule 12.04.2018
comment
Для большей ясности может быть лучше использовать np.identity(num_classes)[indices]. Хороший ответ! - person Oliver; 02.09.2019
comment
Это единственный абсолютно питонический ответ во всей его краткости. - person Maksym Ganenko; 07.06.2021
comment
Это повторил ответ K3 --- rnc два года спустя, и, похоже, никто этого не заметил. - person questionto42; 16.07.2021

Вы можете использовать sklearn.preprocessing.LabelBinarizer:

Пример:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

выход:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

Помимо прочего, вы можете инициализировать sklearn.preprocessing.LabelBinarizer(), чтобы выходные данные transform были разреженными.

person Franck Dernoncourt    schedule 16.02.2017

Вы можете использовать следующий код для преобразования в горячий вектор:

пусть x - вектор нормального класса, имеющий единственный столбец с классами от 0 до некоторого числа:

import numpy as np
np.eye(x.max()+1)[x]

если 0 не класс; затем удалите +1.

person Inaam Ilahi    schedule 26.05.2019
comment
Это повторяет ответ K3 --- rnc три года спустя. - person questionto42; 16.07.2021

Для 1-горячего кодирования

   one_hot_encode=pandas.get_dummies(array)

Например

НАСЛАЖДАЙТЕСЬ КОДИРОВАНИЕМ

person Shubham Mishra    schedule 10.04.2020
comment
Спасибо за комментарий, но краткое описание того, что делает код, было бы очень полезно! - person Clarus; 11.04.2020
comment
пожалуйста обратитесь к примеру - person Shubham Mishra; 11.04.2020
comment
@Clarus Checkout в приведенном ниже примере. Вы можете получить доступ к одной горячей кодировке каждого значения в вашем массиве np, выполнив one_hot_encode [значение]. >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8 - person Deepak; 11.04.2020

Вот функция, которая преобразует одномерный вектор в двумерный одноразовый массив.

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

Ниже приведен пример использования:

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])
person stackoverflowuser2010    schedule 14.09.2016
comment
Обратите внимание, что это работает только с векторами (и нет assert для проверки формы вектора;)). - person johndodo; 13.05.2017
comment
+1 за обобщенный подход и проверку параметров. Однако, как правило, я предлагаю НЕ использовать утверждения для проверки входных данных. Используйте утверждения только для проверки внутренних промежуточных условий. Лучше преобразовать все assert ___ в if not ___ raise Exception(<Reason>). - person fnunnari; 23.09.2019

Я думаю, короткий ответ - нет. Для более общего случая в n измерениях я придумал следующее:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

Мне интересно, есть ли лучшее решение - мне не нравится, что мне нужно создавать эти списки в последних двух строках. В любом случае, я провел несколько измерений с timeit, и кажется, что версия на основе numpy (_5 _ / _ 6_) и итерационные версии работают примерно одинаково.

person David Nemeskey    schedule 11.10.2016

Просто чтобы подробнее рассказать о отличном ответе от K3 --- rnc, вот более общая версия:

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

Кроме того, вот быстрый и грязный тест этого метода и метода из принятого в настоящее время ответа от YXD (немного изменено, так что они предлагают тот же API, за исключением того, что последний работает только с 1D ndarrays):

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

Последний метод примерно на 35% быстрее (MacBook Pro 13 2015 г.), но первый более общий:

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
person Emil Melnikov    schedule 17.01.2018

Недавно я столкнулся с проблемой того же типа и нашел указанное решение, которое оказалось удовлетворительным только в том случае, если у вас есть числа, которые входят в определенную формацию. Например, если вы хотите быстро кодировать следующий список:

all_good_list = [0,1,2,3,4]

вперед, опубликованные решения уже упомянуты выше. Но что, если учесть эти данные:

problematic_list = [0,23,12,89,10]

Если вы сделаете это с помощью методов, упомянутых выше, у вас, скорее всего, получится 90 горячих столбцов. Это потому, что все ответы включают что-то вроде n = np.max(a)+1. Я нашел более универсальное решение, которое сработало для меня, и хотел бы поделиться с вами:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

Я надеюсь, что кто-то столкнулся с такими же ограничениями в вышеупомянутых решениях, и это может пригодиться

person Hans T    schedule 25.01.2018

Такой тип кодирования обычно является частью массива numpy. Если вы используете такой массив numpy:

a = np.array([1,0,3])

то есть очень простой способ преобразовать это в 1-горячую кодировку

out = (np.arange(4) == a[:,None]).astype(np.float32)

Вот и все.

person Sudeep K Rana    schedule 30.08.2018

  • p будет 2d ndarray.
  • Мы хотим знать, какое значение является самым высоким в строке, чтобы поставить там 1, а везде 0.

чистое и простое решение:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)
person MiFi    schedule 03.11.2018

Вот пример функции, которую я написал для этого на основе приведенных выше ответов и моего собственного варианта использования:

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)
person Aaron Lelevier    schedule 06.01.2018

Я добавляю для завершения простую функцию, используя только операторы numpy:

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

Он принимает в качестве входных данных матрицу вероятностей: например:

[[0.03038822 0.65810204 0.16549407 0.3797123 ] ... [0.02771272 0.2760752 0.3280924 0.33458805]]

И он вернется

[[0 1 0 0] ... [0 0 0 1]]

person Jordy Van Landeghem    schedule 05.06.2018

Вот автономное решение, не зависящее от размерности.

Это преобразует любой N-мерный массив arr неотрицательных целых чисел в одномерный N + 1-мерный массив one_hot, где one_hot[i_1,...,i_N,c] = 1 означает arr[i_1,...,i_N] = c. Вы можете восстановить ввод через np.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot
person eqzx    schedule 30.07.2018

Используйте следующий код. Работает лучше всего.

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

Нашел здесь PS Вам не нужно заходить в связь.

person Inaam Ilahi    schedule 27.02.2019
comment
Вам следует избегать использования циклов с numpy - person Kenan; 01.03.2019
comment
Он не отвечает на вопрос: есть ли быстрый способ сделать это? Это быстрее, чем просто перебирать a для установки элементов b. - person Alexandre Huat; 06.07.2020
comment
@AlexandreHuat Вы можете использовать функцию numpy np.eye () - person Inaam Ilahi; 22.10.2020
comment
Затем вы должны дать ответ, в котором говорите, что можно использовать `numpy.eye () (но это уже было сделано другим пользователем). Пожалуйста, внимательно прочитайте вопросы и уже опубликованные ответы, чтобы поддерживать качество stackoverflow и сообщества. - person Alexandre Huat; 22.10.2020

Используя этап конвейера Neuraxle:

  1. Настройте свой пример
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. Совершите фактическое преобразование
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. Утверждаю, что это работает
assert b_pred == b

Ссылка на документацию: neuraxle.steps. numpy.OneHotEncoder

person Guillaume Chevalier    schedule 10.12.2019

При использовании tensorflow есть one_hot():

import tensorflow as tf
import numpy as np

a = np.array([1, 0, 3])
depth = 4
b = tf.one_hot(a, depth)
# <tf.Tensor: shape=(3, 3), dtype=float32, numpy=
# array([[0., 1., 0.],
#        [1., 0., 0.],
#        [0., 0., 0.]], dtype=float32)>
person Alexandre Huat    schedule 20.10.2020

person    schedule
comment
Это решение - единственное, что полезно для входной N-D матрицы в одну горячую N + 1D-матрицу. Пример: input_matrix = np.asarray ([[0,1,1], [1,1,2]]); np.eye (3) [input_matrix] # вывод трехмерного тензора - person Isaías; 21.03.2017
comment
+1, потому что это должно быть предпочтительнее принятого решения. Однако для более общего решения values должен быть массивом Numpy, а не списком Python, тогда он работает во всех измерениях, а не только в 1D. - person Alex; 21.10.2017
comment
Обратите внимание, что использование np.max(values) + 1 в качестве количества сегментов может быть нежелательным, если ваш набор данных, скажем, выбран случайным образом и случайно он может не содержать максимального значения. Количество сегментов должно быть скорее параметром, и можно использовать утверждение / проверку, чтобы убедиться, что каждое значение находится в пределах 0 (включая) и количество сегментов (исключая). - person NightElfik; 19.01.2018
comment
Для меня это решение является лучшим и может быть легко обобщено на любой тензор: def one_hot (x, depth = 10): return np.eye (depth) [x]. Обратите внимание, что задание тензора x в качестве индекса возвращает тензор строк глаз x.shape. - person cecconeurale; 27.03.2018
comment
Простой способ понять это решение и почему оно работает для N-dims (без чтения numpy docs): в каждом месте исходной матрицы (values) у нас есть целое число k, и мы помещаем 1-hot vector eye(n)[k] в это место . Это добавляет измерение, потому что мы помещаем вектор в место скаляра в исходной матрице. - person avivr; 24.09.2019
comment
Для тех, кому интересно, тесты показывают, что этот код немного медленнее, чем принятый ответ (stackoverflow.com/a/29831596/8729073). - person Alexandre Huat; 20.10.2020