Исследование влияния транспорта KV-кэша на инференс MiniMax-M3 на NVIDIA B200
В исследовании протестировали влияние сетевого транспорта KV-кэша на производительность разделенного инференса модели MiniMax-M3, где стадии prefill и decode выполняются на разных GPU-узлах. На кластере из двух узлов с ускорителями NVIDIA B200 и движком sglang сравнили работу протоколов RDMA/InfiniBand с GPUDirect и TCP/Ethernet. Анализ охватил метрики четырех уровней наблюдения на основе 268 прогонов.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Industrial Next ускоряет перенастройку заводских роботов для сложных задач
Компания Industrial Next помогает производителям автоматизировать сложные и деликатные процессы, ранее требовавшие человеческого труда. Разработка призвана сократить время переключения промышленных роботов между задачами с недель до считанных минут.
Глава Cerebras призвал индустрию прекратить алармистские заявления об ИИ
Генеральный директор Cerebras Andrew Feldman на конференции TechCrunch Disrupt призвал лидеров рынка перестать распространять предупреждения о катастрофических рисках ИИ. По его словам, чрезмерная концентрация внимания на угрозах заглушает обсуждение потенциальной пользы технологии.
Влияние искусственного интеллекта на будущее специалистов в сфере IT
Автор материала рассматривает влияние развития искусственного интеллекта на привычную IT-индустрию. В публикации анализируется, какие действия необходимо предпринять специалистам сегодня, чтобы адаптироваться к изменениям и не остаться без работы.
Опыт использования ChatGPT и Codex в клиентской веб-разработке
Веб-разработчик поделился опытом применения ChatGPT и Codex при создании клиентских сайтов на WordPress и Laravel. В процессе работы были выявлены повторяющиеся ошибки языковых моделей и сформированы методы их обхода.