Компанія xAI Ілона Маска навчає свій ШІ на найпотужнішому устаткуванні у світі

Голова ради директорів X Елон Маск оголосив про початок навчання GROK 3 у Мемфісі з використанням поточного покоління графічних процесорів NVIDIA H100.

Навчання «найпотужнішого у світі кластера ШІ» починається на 100 000 графічних процесорах NVIDIA H100.

Популярне підприємство голови ради директорів, xAI, офіційно розпочало навчання на найпотужніших графічних процесорах NVIDIA H100 для центрів обробки даних. Елон Маск з гордістю оголосив про це на сайті xAI: «Це найпотужніший кластер для навчання ШІ у світі!». Він назвав його «найпотужнішим кластером для навчання ШІ у світі». У своєму повідомленні він сказав, що суперкластер буде навчатися за допомогою 100 000 графічних процесорів H100 з рідинним охолодженням на єдиній RDMA-тканині, і привітав xAI, X і Team NVIDIA із запуском навчання в Мемфісі.

Навчання розпочалося о 4:20 ранку за місцевим часом у Мемфісі, і, згідно з іншим подальшим повідомленням, Елон сказав, що найпотужніший у світі ШІ буде готовий до грудня цього року. Як повідомляється, GROK 2 буде готовий до випуску наступного місяця, а GROK 3 - до грудня. Це сталося через два тижні після того, як xAI і Oracle розірвали контракт на постачання серверів вартістю 10 мільярдів доларів.

xAI орендувала в Oracle чіпи Nvidia AI, але вирішила будувати власні сервери і розірвала контракт з Oracle, який мав діяти кілька років. Тепер проєкт націлений на створення власного суперкомп'ютера, що перевершує Oracle, і досягається це за рахунок використання 100 000 високопродуктивних графічних процесорів H100. Кожен графічний процесор H100 коштує близько 30 000 доларів, і якщо в GROK 2 використовували 20 000 таких процесорів, то для GROK 3 знадобиться в п'ять разів більше потужності, щоб створити чатбота зі штучним інтелектом.

Це рішення стало несподіванкою, оскільки Nvidia збирається випустити нові графічні процесори H200 у третьому кварталі; масове виробництво H200 почнеться в другому кварталі, і в них буде використовуватися вдосконалена архітектура Hopper, що забезпечує кращу конфігурацію пам'яті для покращення часу відгуку генеративного ШІ. Слідом за H200 Nvidia анонсує графічні процесори B100 і B200 на базі Blackwell наприкінці 2024 року.

Гігафабрика обчислень xAI мала бути готовою до осені 2025 року, але, схоже, вона почала роботу раніше, ніж планувалося спочатку. За словами Елона, ця передова великомасштабна мовна модель буде повністю навчена до кінця 2024 року і стане найшвидшим ШІ, який коли-небудь бачив світ.