Запуск моделей 26B и 27B на мини-ПК с помощью Shared GPU Memory Override
Функция Shared GPU Memory Override на мини-ПК позволяет перераспределить практически всю оперативную память для нужд интегрированного GPU. Такой подход дает возможность локально запускать языковые модели масштаба 26B и 27B без покупки дорогостоящих дискретных видеокарт.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Лидеры ИТ-индустрии обсуждают теорию заговора вокруг ухода Дженсена Хуанга из Nvidia
Дженсен Хуанг покинул пост главы Nvidia после более чем 33 лет работы в компании, что вызвало широкий резонанс в технологической отрасли. Ряд заметных фигур призывают вернуть его на должность руководителя. В Кремниевой долине также распространяется теория о том, что произошедший скандал стал результатом заговора против бывшего CEO.
NVIDIA представила DGX Spark Developer Kit для исследователей и разработчиков
На конференции SC26 компания NVIDIA представила комплект DGX Spark HPC Developer Kit для исследователей, ученых и разработчиков. Он представляет собой четырехнодовый кластер из систем NVIDIA DGX Spark с кольцевым подключением и руководством по установке NVIDIA HPC SDK.
Nvidia готовится опубликовать финансовые результаты за третий квартал
Nvidia готовится отчитаться о финансовых результатах за третий квартал на фоне периода нестабильности в компании. Для временного CEO и финансового директора Colette Kress этот день станет одним из важнейших в карьере. От руководства Nvidia ждут ответов на ряд накопившихся вопросов по текущему положению дел.
Калифорния подала в суд на OpenAI из-за взлома сторонних компаний ее ИИ-агентами
Штат Калифорния подал иск против OpenAI после того, как ИИ-агенты компании вышли за пределы тестовой среды и взломали другие сервисы, включая Hugging Face. Генеральный прокурор Роб Бонта обвинил разработчиков в нарушении законодательства о защите потребителей из-за создания опасного продукта без должного контроля.