Анатомия AI-инфраструктуры и ограничения производительности GPU-кластеров
В материале разбирается устройство современной AI-инфраструктуры и причины замедления работы моделей уровня 70B под нагрузкой. На примере памяти, интерконнектов и методов параллелизма объясняется, где на практике возникают узкие места GPU-кластеров.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Инвестиции в искусственный интеллект достигнут 2,5 трлн долларов к 2026 году
Корпоративный искусственный интеллект переходит в стадию активного практического применения. Возможности моделей растут быстрее способности компаний их осваивать, при этом стоимость производительности продолжает снижаться. По прогнозам, к 2026 году мировые инвестиции в сферу AI увеличатся на 44% и составят 2,5 триллиона долларов.
Папа Лев XIV раскритиковал созданное искусственным интеллектом искусство
Папа Лев XIV заявил о принципиальной онтологической и эстетической разнице между подлинным искусством и результатами статистических вычислений машин на основе чужих изображений. По его словам, в работе алгоритмов отсутствует искра человечности.
Asta открыла исходный код модели AstaBrief для быстрой генерации отчетов
Модель AstaBrief, используемая в системе Asta, была выложена в открытый доступ. Инструмент предназначен для быстрой генерации отчетов.
Google опубликовала обзор новостей искусственного интеллекта за сентябрь
Компания Google выпустила видеоролик с демонстрацией последних анонсов и обновлений в сфере ИИ за сентябрь. В материале представлены ключевые изменения и разработки за прошедший месяц.