Google недавно оголосила про випуск своїх нових моделей штучного інтелекту, відомих як Gemini, супроводжуючи це випуском останньої версії свого флагманського тензорного процесора (TPU) для навчання та виведення штучного інтелекту (ШІ). Цей крок Google розглядає як стратегічну спробу конкурувати з графічними процесорами, особливо з лідерами ринку — графічними процесорами (GPU) від Nvidia.
TPU v5p, який є найпотужнішим прискорювачем ШІ від Google, був задіяний для роботи на “AI Hypercomputer” — суперкомп’ютерній архітектурі, спеціально розробленій для виконання завдань штучного інтелекту. Це відрізняється від звичайних суперкомп’ютерів, які традиційно використовуються для наукових обчислень.
Остання версія TPU включає 8,960 чіпів на кожен вузол системи, що є значним зростанням порівняно з 4,096 у попередній версії v4. Вона також в чотири рази більше масштабована в плані FLOPs на вузол. Нові вузли забезпечують вражаючу пропускну здатність у 4,800Gbps і обладнані 95GB високошвидкісної пам’яті (HBM), порівняно з 32GB HBM RAM у TPU v4.
Важливою відмінністю між Nvidia H100 і Google TPU v5p є те, що Google не пропонує свої TPUs для продажу іншим компаніям; вони використовуються виключно всередині компанії для власних продуктів і сервісів. TPUs від Google вже довгий час використовуються для підтримки різноманітних сервісів, таких як Gmail, YouTube та Android. Нова версія також була використана для навчання моделі Gemini.
TPU v5p від Google навчає більші мовні моделі в 2.8 рази швидше, ніж TPU v4, і пропонує 2.1 рази більше цінності за гроші. В порівнянні з проміжною версією TPU v5e, випущеною раніше цього року, TPU v5p видається найбільш потужним варіантом, навіть якщо версія v5e пропонує найбільшу цінність, що стає 1.9 рази швидше, ніж TPU v4.
Цікаво, що TPU v5p виявився достатньо потужним для конкуренції з широко використовуваним графічним процесором H100 від Nvidia, який в чотири рази швидше обробляє робочі навантаження, ніж GPU A100 від Nvidia, згідно з даними компанії.
Однак TPU v4 від Google, згідно з дослідженням, опублікованим у квітні, є швидшим в 1.2-1.7 рази, ніж A100. Попередні розрахунки свідчать, що TPU v5p є приблизно в 3.4-4.8 рази швидшим, ніж A100, розміщуючи його на рівні або навіть вище за H100. Однак для остаточних висновків необхідні більш детальні тести.