Установите библиотеку RAPIDS на блокнот Googe Colab

Мне было интересно, могу ли я установить библиотеку RAPIDS (выполнение задач машинного обучения полностью на графическом процессоре) в блокноте Google Colaboratory ?

Я провел небольшое исследование, но не смог найти способ сделать это ...


person Novak    schedule 17.12.2018    source источник


Ответы (4)


Похоже, что различные компоненты еще не могут быть установлены по протоколу pip, поэтому единственный способ получить их на colab - это построить их на colab, что может потребовать больше усилий, чем вы хотите вложить в это :) https://github.com/rapidsai/cudf/issues/285 - проблема, за которой следует следить за rapidsai / cudf ( предположительно другие rapidsai / libs последуют этому примеру).

person Ami F    schedule 17.12.2018
comment
Да, я так и думал. Спасибо :) - person Novak; 18.12.2018

Теперь это возможно с новыми экземплярами T4 https://medium.com/rapids-ai/run-rapids-on-google-colab-for-free-1617ac6323a8

Чтобы включить cuGraph, вы можете заменить команду wget на:

! conda install -c nvidia / label / cuda10.0 -c rapidsai / label / cuda10.0 -c pytorch \ -c numba -c conda-forge -c numba -c defaults \ boost cudf = 0.6 cuml = 0.6 python = 3.6 cugraph = 0,6 -y

person JoshP    schedule 28.02.2019
comment
Колаб появляется с Т4, должно ли это быть возможно сейчас? - person Prabindh; 28.04.2019
comment
medium.com/rapids-ai/ Да, это возможно, и вот блог о том, как это сделать. - person JoshP; 29.04.2019

Обновление за декабрь 2019 г.

Новый процесс для RAPIDS v0.11 +

Потому что

  • RAPIDS v0.11 имеет зависимости (pyarrow), которые не были охвачены предыдущим сценарием установки,
  • репозиторий notebooks-contrib, содержащий демонстрационные записные книжки RAPIDS (например, colab_notebooks) и сценарий установки Colab, теперь следует стандартной структуре веток RAPIDS *
  • и некоторым пользователям Colab по-прежнему нравится версия 0.10,

наш уважаемый повелитель блокнотов-contrib taureandyernv: теперь обновил скрипт

Если вы используете версию v0.11 или выше, обновляет библиотеку pyarrow до версии 0.15.x.

Вот ячейка кода для запуска в Colab для v0.11:

# Install RAPIDS
!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
  exec(open("update_pyarrow.py").read(), globals())

Чтобы узнать, как настроить Colab и реализовать этот сценарий, см. Как установить RAPIDS в Google Colab

- * например, branch-0.11 для v0.11 и branch-0.12 для v0.12, по умолчанию установлена ​​текущая версия

person gumdropsteve    schedule 02.01.2020
comment
У Colab теперь есть экземпляры Tesla P100, которые также совместимы с RAPIDS, поэтому, если вы получите T4 или P100, все в порядке, но K80 по-прежнему не подходит. - person gumdropsteve; 02.01.2020

Последнее решение;

!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

был отправлен несколько дней назад, см. проблемы # 104 или # 110 или полный rapids-colab.sh script для получения дополнительной информации.

Примечание: для инстилляции в настоящее время требуется экземпляр Tesla T4, проверить это можно с помощью;

# check gpu type
!nvidia-smi

import pynvml

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
  raise Exception("""Unfortunately this instance does not have a T4 GPU.
    
    Please make sure you've configured Colab to request a GPU instance type.
    
    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...""")
  
# got a T4, good to go 
else:
  print('Woo! You got the right kind of GPU!')
person gumdropsteve    schedule 25.07.2019