Компания xAI Илона Маска обучает свой ИИ на самом мощном оборудовании в мире

Председатель совета директоров X Элон Маск объявил о начале обучения GROK 3 в Мемфисе с использованием текущего поколения графических процессоров NVIDIA H100.

Обучение «самого мощного в мире кластера ИИ» начинается на 100 000 графических процессорах NVIDIA H100.

Популярное предприятие председателя совета директоров, xAI, официально начало обучение на самых мощных графических процессорах NVIDIA H100 для центров обработки данных. Элон Маск с гордостью объявил об этом на сайте xAI: «Это самый мощный кластер для обучения ИИ в мире!». Он назвал его «самым мощным кластером для обучения ИИ в мире». В своем сообщении он сказал, что суперкластер будет обучаться с помощью 100 000 графических процессоров H100 с жидкостным охлаждением на единой RDMA-ткани, и поздравил xAI, X и Team NVIDIA с запуском обучения в Мемфисе.

Обучение началось в 4:20 утра по местному времени в Мемфисе, и, согласно другому последующему сообщению, Элон сказал, что самый мощный в мире ИИ будет готов к декабрю этого года. Как сообщается, GROK 2 будет готов к выпуску в следующем месяце, а GROK 3 - к декабрю. Это произошло через две недели после того, как xAI и Oracle расторгли контракт на поставку серверов стоимостью 10 миллиардов долларов.

xAI арендовала у Oracle чипы Nvidia AI, но решила строить собственные серверы и расторгла контракт с Oracle, который должен был действовать несколько лет. Теперь проект нацелен на создание собственного суперкомпьютера, превосходящего Oracle, и достигается это за счет использования 100 000 высокопроизводительных графических процессоров H100. Каждый графический процессор H100 стоит около 30 000 долларов, и если в GROK 2 использовалось 20 000 таких процессоров, то для GROK 3 потребуется в пять раз больше мощности, чтобы создать чатбота с искусственным интеллектом.

Это решение стало неожиданностью, поскольку Nvidia собирается выпустить новые графические процессоры H200 в третьем квартале; массовое производство H200 начнется во втором квартале, и в них будет использоваться усовершенствованная архитектура Hopper, обеспечивающая лучшую конфигурацию памяти для улучшения времени отклика генеративного ИИ. Вслед за H200 Nvidia анонсирует графические процессоры B100 и B200 на базе Blackwell в конце 2024 года.

Гигафабрика вычислений xAI должна была быть готова к осени 2025 года, но, похоже, она начала работу раньше, чем планировалось изначально. По словам Элона, эта передовая крупномасштабная языковая модель будет полностью обучена к концу 2024 года и станет самым быстрым ИИ, который когда-либо видел мир.