Тестирование Tesla V100 32 ГБ для запуска локальных ИИ-моделей
Серверная видеокарта Tesla V100 с 32 ГБ памяти позволяет целиком запускать модели на 30 млрд параметров, а при дополнительной оптимизации — до 120 млрд параметров. Автор статьи собрал домашний сервер на базе этой карты для локального запуска моделей и провел замеры производительности. В процессе тестов он также разобрал допущенные ошибки измерения скорости.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Anthropic протестировала запуск ИИ на сети из дешевых ТВ-приставок
Исследователи Anthropic объединили 15 недорогих Android TV-приставок в сеть и успешно запустили на них нейросеть, распределив нагрузку между устройствами. Эксперимент был проведен для оценки риска того, сможет ли автономный ИИ-агент самовоспроизводиться на обычной домашней технике вместо захвата мощных серверов.
Epic Games переходит на модель разработки игр с приоритетом ИИ
Epic Games планирует внедрить подход «AI first», предполагающий отказ от написания кода вручную и создания арта без применения нейросетей. Изменения в процессе производства связывают с отложенным шутером по франшизам Marvel и Star Wars.
Сравнение ответов моделей Qwen и DeepSeek с помощью PlyLoom
В эксперименте сопоставили графовые ответы моделей Qwen 3.8 Max и DeepSeek V4 на один и тот же перекрестный вопрос. Полученные результаты загрузили в инструмент PlyLoom для проведения анализа и сравнения.