Colab (Google Colaboratory) приносит пользу людям, которые работают над проектами машинного обучения или глубокого обучения. Вы не можете получить доступ к HPC (высокопроизводительные вычисления) и не хотите тратить много средств на обучение модели, Colab - лучший выбор для вас. Сегодня я собираюсь показать вам, как превратить Colab в ваш HPC. Перед списком инструкций давайте посмотрим, что мы можем получить от Colab:

  1. Бесплатные ресурсы GPU и CPU
  2. Стабильный и высокоскоростной интернет (с Google Диском огромный набор данных больше не проблема)
  3. Бесплатное хранилище и огромное дополнительное хранилище, Google Диск
  4. Лучший способ комбинировать код, богатый текст, графики и даже математические формулы
  5. Доступ к Github, включая публичные и частные репозитории

Кроме того, вам разрешено выполнять команды Linux и редактировать файлы.

Теперь приступим к настройке Colab.

Часть 1. Шаги по подключению Colab к Google Диску

Вот шаги, чтобы подключить Colab к Google Drive

  1. Перейдите на https://colab.research.google.com и войдите в свою учетную запись Google, а затем создайте новую записную книжку.
  2. Введите приведенные ниже команды в ячейку кода и запустите ее (macOS: ⌘ + Enter, Windows: Ctrl + Enter)

Будет дана ссылка, по которой вы сможете получить код авторизации. Это может выглядеть так (рисунок 1):

3. Как только Colab подключится к вашему Google Диску, слева появится дерево каталогов (рисунок 2):

4. Полезные советы. Поскольку Google Диск подключен к / content / drive, полный путь для Google Диска должен быть / content / drive / MyDrive . Очень удобно создать символическую ссылку на каталог в / content / drive / MyDrive. Предположим, вы поместили свой набор данных в / content / drive / MyDrive / project1, следующие команды создают символическую ссылку ~ / project1 на / content / диск / MyDrive / project1.

После создания символической ссылки вы можете получить доступ к своему файлу, то есть dataset1. json в папке / content / drive / MyDrive / project1, используя приведенный ниже код:

Часть 2. Клонирование общедоступных и частных репозиториев из Github в Colab

Как и ожидалось, напрямую с помощью команды git можно клонировать общедоступные репозитории из Github. Например, приведенный ниже код клонирует общедоступный репозиторий в корневой каталог вашего Google Диска:

Проблема в том, как клонировать частные репозитории с Github. Скрипт поможет инициализировать основные настройки. Просто скопируйте и вставьте код в ячейку кода и запустите его.

Теперь вы можете клонировать свои личные репозитории.

Примечание

Поскольку машина Colab не хранит ваш ssh-ключ, лучше сделать резервную копию, а затем скопировать обратно в следующий раз.

# Backup
!mkdir -p ~/home/ssh && cp ~/.ssh/id_rsa ~/home/ssh/id_rsa
# Copy it back to ~/.ssh
!mkdir -p ~/.ssh && cp ~/home/ssh/id_rsa ~/.ssh/

Надеюсь, это поможет. Пожалуйста, дайте мне знать, если у вас возникнут проблемы с этим.