· Хабр

Языковую модель stories260K ускорили до 406 токенов в секунду на ESP32-S3

Разработчик оптимизировал запуск языковой модели stories260K на микроконтроллере ESP32-S3, достигнув скорости 406 токенов в секунду. Такого результата удалось добиться с помощью квантования, векторных инструкций чипа, параллелизации на два ядра и оптимизации работы с памятью. В итоге модель архитектуры Llama-2 работает на недорогом чипе в 18 раз быстрее базовой версии без использования внешних ускорителей.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

Типографика текстов влияет на вердикты российских вузовских ИИ-детекторов

Тестирование продемонстрировало существенное влияние типографики текстов на вердикт российских вузовских ИИ-детекторов. Полученные результаты показывают зависимость работы систем проверки от внешнего оформления материала.

· Хабр · Open source · Исследования

Google Research представила открытый фреймворк Harness² для ИИ-агентов

Google Research выпустила открытый фреймворк Harness² для самоулучшения ИИ-агентов. Решение позволяет агентам в OpenCode и Codex автоматически корректировать инструкции, навыки и другие компоненты в процессе работы, заменяя трудоемкую ручную настройку окружения.

· Ars Technica · Бизнес · Железо

Сторонники Jensen Huang готовят план по его возвращению на пост главы Nvidia

Сторонники Jensen Huang создали специальный штаб, чтобы вернуть его к руководству Nvidia. Сам Huang рассматривает возможность возвращения всего через несколько дней после отставки на фоне скандала.

· The Verge · Продукты

Google Maps научился составлять маршруты путешествий с помощью ИИ

Google запустила новую функцию планирования поездок на базе искусственного интеллекта в Google Maps. Обновление для встроенного чат-бота Ask Maps на основе Gemini позволяет создавать персональные маршруты на один или несколько дней с актуальной информацией о каждой остановке. Это упрощает организацию поездок и расширяет возможности приложения как полноценного персонального гида.