TPU или Tensor Processing Unit — это специализированный процессор AI для обучения моделей машинного обучения.
Он разработан Google для снижения затрат на электроэнергию и повышения производительности по сравнению с графическими и центральными процессорами.
Это ASIC (специальная интегральная схема), которая использовалась Google в поисковой системе, YouTube и других ее сервисах.
Он может обеспечить до 100 петафлопс в 1 модуле TPU.
Архитектура
Ядро TPU или TensorCore — это основной вычислительный блок, который работает как блоки матричного умножения (MXU). Каждый MXU может выполнять 16 000 операций умножения-накопления в каждом цикле.
У Google есть TPU v2, TPU v3, TPU v4 (последние).
TPU v4 имеет 2 TensorCore, где 1 TensorCore имеет четыре MXU, векторный модуль и скалярный модуль.
TPU доступны как:
- Одна плата ТПУ
- ТПУ стручок
- Кусочек ТПУ
TPU поддерживает TensorFlow, JAX и PyTorch с помощью библиотеки — libtpu
libtpuсодержит компилятор XLA, среду выполнения TPU и драйвер TPU.
Цены
TPU v4 Pod имеет цену от 12,8 до 103,04 долларов США в час (2 февраля 2023 г.) для различных модулей памяти и ядер.
Против GPU и CPU
Графические и центральные процессоры сильно отличаются от этих TPU. TPU специально разработаны для обучения и изучения моделей ML, тогда как GPU и CPU используются для более широкого круга задач, таких как рендеринг, обучающие модели, обработка данных и т. д.
С точки зрения моделей обучения, он в 15–30 раз быстрее, чем GPU и CPU, а также энергоэффективен.
Спасибо за прочтение. Следите за новостями.