Мне было интересно, могу ли я установить библиотеку RAPIDS (выполнение задач машинного обучения полностью на графическом процессоре) в блокноте Google Colaboratory ?
Я провел небольшое исследование, но не смог найти способ сделать это ...
Мне было интересно, могу ли я установить библиотеку RAPIDS (выполнение задач машинного обучения полностью на графическом процессоре) в блокноте Google Colaboratory ?
Я провел небольшое исследование, но не смог найти способ сделать это ...
Похоже, что различные компоненты еще не могут быть установлены по протоколу pip, поэтому единственный способ получить их на colab - это построить их на colab, что может потребовать больше усилий, чем вы хотите вложить в это :) https://github.com/rapidsai/cudf/issues/285 - проблема, за которой следует следить за rapidsai / cudf ( предположительно другие rapidsai / libs последуют этому примеру).
Теперь это возможно с новыми экземплярами T4 https://medium.com/rapids-ai/run-rapids-on-google-colab-for-free-1617ac6323a8
Чтобы включить cuGraph, вы можете заменить команду wget на:
! conda install -c nvidia / label / cuda10.0 -c rapidsai / label / cuda10.0 -c pytorch \ -c numba -c conda-forge -c numba -c defaults \ boost cudf = 0.6 cuml = 0.6 python = 3.6 cugraph = 0,6 -y
Потому что
наш уважаемый повелитель блокнотов-contrib taureandyernv: теперь обновил скрипт
Если вы используете версию v0.11 или выше, обновляет библиотеку pyarrow до версии 0.15.x.
Вот ячейка кода для запуска в Colab для v0.11:
# Install RAPIDS
!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh
import sys, os
dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
exec(open("update_pyarrow.py").read(), globals())
Чтобы узнать, как настроить Colab и реализовать этот сценарий, см. Как установить RAPIDS в Google Colab
- * например, branch-0.11 для v0.11 и branch-0.12 для v0.12, по умолчанию установлена текущая версия
Последнее решение;
!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh
import sys, os
sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'
был отправлен несколько дней назад, см. проблемы # 104 или # 110 или полный rapids-colab.sh
script для получения дополнительной информации.
Примечание: для инстилляции в настоящее время требуется экземпляр Tesla T4, проверить это можно с помощью;
# check gpu type
!nvidia-smi
import pynvml
pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)
# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
raise Exception("""Unfortunately this instance does not have a T4 GPU.
Please make sure you've configured Colab to request a GPU instance type.
Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.
If you get a K80 GPU, try Runtime -> Reset all runtimes...""")
# got a T4, good to go
else:
print('Woo! You got the right kind of GPU!')