Эксперимент с пространственным вниманием и контекстом 16K на RTX 3050
Проведен эксперимент по замене механизма полного внимания в небольшой языковой модели разреженным графом на видеокарте RTX 3050. Подход использует расстояния между обучаемыми координатами для определения весов связей с целью ускорить обучение на последовательностях длиной 16K.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Google AI представила Gemini Decisions API для мультимодальных решений
Google AI анонсировала Gemini Decisions API на базе модели Gemini Decision. Новый интерфейс предназначен для быстрого принятия калиброванных мультимодальных решений.
Опыт внедрения мультиагентной AI-системы для диагностики проблем в production
Разработчики автоматизировали ночную диагностику скрытых сбоев в production с помощью мультиагентной системы. В статье представлен опыт построения архитектуры на базе LLM и причины отказа от передачи всех логов модели напрямую.
Использование ИИ в игре Big Walk вызвало споры среди судей Indie Game Festival
Разработчики игры Big Walk применили искусственный интеллект для исправления бага в коде. Это привело к дискуссии в инди-сообществе, поскольку многие судьи Indie Game Festival выступают против любого использования ИИ при написании кода.
Организация личной медицинской истории с помощью ИИ-модели
Представлен подход к структурированию, хранению и обработке личных медицинских документов с использованием ИИ. Автор описал техническое устройство системы, её возможности и ограничения, а также опубликовал готовый шаблон с открытым исходным кодом на GitHub.