Результаты тестирования 14 локальных LLM на мини-ПК с Ryzen AI Max+ 395
На мини-ПК GMKtec EVO-X2 с 96 ГБ памяти протестировали работу 14 квантованных моделей в LM Studio. Модель Gemma 4 26B показала скорость 63 токена в секунду, тогда как Qwen3.8 27B выдала 12,8 токена в секунду, но лучше остальных справилась с контекстом до 200K токенов. По итогам тестов для постоянного использования были выбраны Gemma 4 26B Uncensored для чат-бота и Qwen3.8 27B для сложных задач.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Оптимизация контекста LLM при работе с сотнями MCP-инструментов
Разработчик столкнулся с проблемой раздувания контекста LLM при использовании большого количества методов MCP-серверов. Скрытие описаний с помощью Code Mode MCP приводило к тому, что модель пропускала нужные функции или не инициировала их поиск.
Уход Дженсена Хуанга ставит под вопрос поддержку open source со стороны Nvidia
Отставка Дженсена Хуанга вызвала вопросы о дальнейшей поддержке открытого ИИ со стороны Nvidia на фоне смены руководства компании. Под сомнением оказались сделка по поглощению Hugging Face, выпуск моделей с открытыми весами и позиция компании против ограничений в сфере искусственного интеллекта.
Разработчик протестировал шесть AI-сервисов для создания сайтов
Разработчик Пит Миллспо (Pete Millspaugh) сравнил шесть популярных AI-сервисов для веб-разработки. Каждому инструменту было дано одинаковое задание — создать сайт для выступлений о разработке персональных страниц.
Google DeepMind представила Gemini 4 Hydrogen
Компания Google DeepMind анонсировала Gemini 4 Hydrogen. Дополнительные технические подробности и характеристики в сообщении не приводятся.