TPU или Tensor Processing Unit — это специализированный процессор AI для обучения моделей машинного обучения.

Он разработан Google для снижения затрат на электроэнергию и повышения производительности по сравнению с графическими и центральными процессорами.

Это ASIC (специальная интегральная схема), которая использовалась Google в поисковой системе, YouTube и других ее сервисах.

Он может обеспечить до 100 петафлопс в 1 модуле TPU.

Архитектура

Ядро TPU или TensorCore — это основной вычислительный блок, который работает как блоки матричного умножения (MXU). Каждый MXU может выполнять 16 000 операций умножения-накопления в каждом цикле.

У Google есть TPU v2, TPU v3, TPU v4 (последние).

TPU v4 имеет 2 TensorCore, где 1 TensorCore имеет четыре MXU, векторный модуль и скалярный модуль.

TPU доступны как:

  • Одна плата ТПУ
  • ТПУ стручок
  • Кусочек ТПУ

TPU поддерживает TensorFlow, JAX и PyTorch с помощью библиотеки — libtpu

libtpuсодержит компилятор XLA, среду выполнения TPU и драйвер TPU.

Цены

TPU v4 Pod имеет цену от 12,8 до 103,04 долларов США в час (2 февраля 2023 г.) для различных модулей памяти и ядер.

Против GPU и CPU

Графические и центральные процессоры сильно отличаются от этих TPU. TPU специально разработаны для обучения и изучения моделей ML, тогда как GPU и CPU используются для более широкого круга задач, таких как рендеринг, обучающие модели, обработка данных и т. д.

С точки зрения моделей обучения, он в 15–30 раз быстрее, чем GPU и CPU, а также энергоэффективен.

Спасибо за прочтение. Следите за новостями.