Языковую модель stories260K ускорили до 406 токенов в секунду на ESP32-S3
Разработчик оптимизировал запуск языковой модели stories260K на микроконтроллере ESP32-S3, достигнув скорости 406 токенов в секунду. Такого результата удалось добиться с помощью квантования, векторных инструкций чипа, параллелизации на два ядра и оптимизации работы с памятью. В итоге модель архитектуры Llama-2 работает на недорогом чипе в 18 раз быстрее базовой версии без использования внешних ускорителей.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Типографика текстов влияет на вердикты российских вузовских ИИ-детекторов
Тестирование продемонстрировало существенное влияние типографики текстов на вердикт российских вузовских ИИ-детекторов. Полученные результаты показывают зависимость работы систем проверки от внешнего оформления материала.
Google Research представила открытый фреймворк Harness² для ИИ-агентов
Google Research выпустила открытый фреймворк Harness² для самоулучшения ИИ-агентов. Решение позволяет агентам в OpenCode и Codex автоматически корректировать инструкции, навыки и другие компоненты в процессе работы, заменяя трудоемкую ручную настройку окружения.
Сторонники Jensen Huang готовят план по его возвращению на пост главы Nvidia
Сторонники Jensen Huang создали специальный штаб, чтобы вернуть его к руководству Nvidia. Сам Huang рассматривает возможность возвращения всего через несколько дней после отставки на фоне скандала.
Google Maps научился составлять маршруты путешествий с помощью ИИ
Google запустила новую функцию планирования поездок на базе искусственного интеллекта в Google Maps. Обновление для встроенного чат-бота Ask Maps на основе Gemini позволяет создавать персональные маршруты на один или несколько дней с актуальной информацией о каждой остановке. Это упрощает организацию поездок и расширяет возможности приложения как полноценного персонального гида.