Colab (Google Colaboratory) приносит пользу людям, которые работают над проектами машинного обучения или глубокого обучения. Вы не можете получить доступ к HPC (высокопроизводительные вычисления) и не хотите тратить много средств на обучение модели, Colab - лучший выбор для вас. Сегодня я собираюсь показать вам, как превратить Colab в ваш HPC. Перед списком инструкций давайте посмотрим, что мы можем получить от Colab:
- Бесплатные ресурсы GPU и CPU
- Стабильный и высокоскоростной интернет (с Google Диском огромный набор данных больше не проблема)
- Бесплатное хранилище и огромное дополнительное хранилище, Google Диск
- Лучший способ комбинировать код, богатый текст, графики и даже математические формулы
- Доступ к Github, включая публичные и частные репозитории
Кроме того, вам разрешено выполнять команды Linux и редактировать файлы.
Теперь приступим к настройке Colab.
Часть 1. Шаги по подключению Colab к Google Диску
Вот шаги, чтобы подключить Colab к Google Drive
- Перейдите на https://colab.research.google.com и войдите в свою учетную запись Google, а затем создайте новую записную книжку.
- Введите приведенные ниже команды в ячейку кода и запустите ее (macOS: ⌘ + Enter, Windows: Ctrl + Enter)
Будет дана ссылка, по которой вы сможете получить код авторизации. Это может выглядеть так (рисунок 1):
3. Как только Colab подключится к вашему Google Диску, слева появится дерево каталогов (рисунок 2):
4. Полезные советы. Поскольку Google Диск подключен к / content / drive, полный путь для Google Диска должен быть / content / drive / MyDrive em. >. Очень удобно создать символическую ссылку на каталог в / content / drive / MyDrive. Предположим, вы поместили свой набор данных в / content / drive / MyDrive / project1, следующие команды создают символическую ссылку ~ / project1 на / content / диск / MyDrive / project1.
После создания символической ссылки вы можете получить доступ к своему файлу, то есть dataset1. json в папке / content / drive / MyDrive / project1, используя приведенный ниже код:
Часть 2. Клонирование общедоступных и частных репозиториев из Github в Colab
Как и ожидалось, напрямую с помощью команды git можно клонировать общедоступные репозитории из Github. Например, приведенный ниже код клонирует общедоступный репозиторий в корневой каталог вашего Google Диска:
Проблема в том, как клонировать частные репозитории с Github. Скрипт поможет инициализировать основные настройки. Просто скопируйте и вставьте код в ячейку кода и запустите его.
Теперь вы можете клонировать свои личные репозитории.
Примечание
Поскольку машина Colab не хранит ваш ssh-ключ, лучше сделать резервную копию, а затем скопировать обратно в следующий раз.
# Backup !mkdir -p ~/home/ssh && cp ~/.ssh/id_rsa ~/home/ssh/id_rsa # Copy it back to ~/.ssh !mkdir -p ~/.ssh && cp ~/home/ssh/id_rsa ~/.ssh/
Надеюсь, это поможет. Пожалуйста, дайте мне знать, если у вас возникнут проблемы с этим.