Стартап Cerebras надеется превзойти Nvidia с новым процессором искусственного интеллекта

Cerebras Systems Inc., стартап, который стремится бросить вызов Nvidia Corp. в области вычислений с искусственным интеллектом, представил новый чип, который, по его словам, превзойдет конкурентов в управлении моделями искусственного интеллекта и генерации ответов.

Компания из Кремниевой долины предлагает чип как часть вычислительных систем, которые операторы центров обработки данных могут покупать и запускать самостоятельно. Он также будет доступен в виде платного сервиса, которым управляет Cerebras.

Основатель и главный исполнительный директор Cerebras Эндрю Фельдман сказал, что его компьютеры перевернут индустрию, сделав системы искусственного интеллекта более отзывчивыми — переход, который он сравнивает с переходом на высокоскоростной Интернет.

Кремниевая пластина размером с обеденную тарелку настолько велика, что стартап заявляет, что ему удалось установить 44 ГБ SRAM с пропускной способностью 21 Пбит / с. Для сравнения, пропускная способность одного HBM3e от Nvidia H200 составляет всего 4,8 Тбит / с.

По словам генерального директора Эндрю Фельдмана, благодаря использованию SRAM устройство способно генерировать более 1800 токенов в секунду при запуске Llama 3.1 8B с 16-битной точностью, по сравнению с более чем 242 токенами в секунду на самом производительном экземпляре H100.

Компания Cerebras утверждает, что ее системы CS-3, работающие под управлением Llama 3.1 8B, могут выдавать 1800 токенов в секунду

“До сегодняшнего дня мы жили в эпоху удаленного доступа”, — сказал он на мероприятии в Сан-Франциско в преддверии анонса новых продуктов и услуг. “Для достижения этого невозможно объединить никакое количество графических процессоров”.

По словам Фельдмана, ключевое преимущество заключается в том, как в его продуктах используется память. Эта возможность встроена прямо в чипы Cerebras, в отличие от графических процессоров и других процессоров, которым для доступа к информации необходимо подключаться к памяти через интерфейсы.