На форуме Hot Chips 2023, помимо анонса Intel своего чипа для центров обработки данных, компания Samsung Electronics объявила о результатах своих исследований в области высокоскоростной памяти (HBM) с обработкой в памяти (PIM) и DDR с низким энергопотреблением (LPDDR)-PIM в рамках усилий по сосредоточению внимания на разработках в секторе искусственного интеллекта.
Ранее Samsung и AMD начали сотрудничество, связанное с технологией PIM. Компания Samsung установила память HBM-PIM на коммерческую карту ускорителя графического процессора AMD MI-100. Согласно результатам исследования Samsung, применение HBM-PIM в генеративном искусственном интеллекте более чем удвоит производительность ускорителя и эффективность энергопотребления по сравнению с существующими HBM.
Чтобы решить проблему с памятью, которая начала возникать в полупроводниковом секторе искусственного интеллекта в последние годы, значительное внимание было уделено технологиям памяти следующего поколения, таким как HBM-PIM. HBM-PIM выполняет вычислительную обработку внутри самой памяти . Это упрощает передачу данных, тем самым повышая производительность и энергоэффективность. Кроме того, для проверки модели Mixture of Experts (MoE) компания Samsung использовала 96 устройств MI-100, оснащенных HBM-PIM, для создания кластера HBM-PIM. В модели MoE ускоритель HBM-PIM удвоил производительность и утроил энергоэффективность по сравнению с HBM.
Источники в отрасли объяснили, что скорость развития памяти была медленнее, чем развитие технологии ускорителей искусственного интеллекта. Чтобы устранить это узкое место, необходимо расширить применение полупроводников следующего поколения, таких как HBM-PIM. Кроме того, в таких секторах, как LLM, многие наборы данных часто используются повторно. Следовательно, использование вычислений HBM-PIM также может уменьшить перемещение данных.
С другой стороны, Samsung также представила «LPDDR-PIM», который объединяет мобильную DRAM с PIM для обеспечения прямой обработки и вычислений на периферийных устройствах. Примечательно, что поскольку LPDDR-PIM предназначен для периферийных устройств, он обеспечивает меньшую пропускную способность (102,4 ГБ/с) и экономит 72 % энергии по сравнению с DRAM.
Ранее Samsung раскрыла свои планы по созданию памяти для искусственного интеллекта во время отчета о финансовых результатах за 2К23. Компания ответила, что не только проводит тестирование памяти HBM3 , но также активно разрабатывает новые продукты памяти с искусственным интеллектом и технологию PIM. Заглядывая в будущее, можно сказать, что до коммерциализации как HBM-PIM, так и LPDDR-PIM еще далеко. По сравнению с существующими HBM, PIM довольно дороги.