Как трансформеры хранят информацию: механизмы памяти языковых моделей
Материал посвящен принципам запоминания фактов современными языковыми моделями. В тексте на примерах линейных отображений, MLP и механизма самовнимания разбирается устройство их памяти, а также выводятся эвристики для оценки объема хранимых в слоях данных.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
В приложение Lumio для мониторинга ИИ-агентов добавили поддержку OpenCode, Kilo Code и Pi
Разработчики выпустили версию 1.3 бесплатного приложения Lumio для MacBook, которое отслеживает статус работы ИИ-агентов в вырезе экрана. В обновлении появилась поддержка OpenCode, Kilo Code и Pi в дополнение к ранее интегрированным Claude Code, Codex, Cursor, GitHub Copilot и Antigravity. Инструмент позволяет следить за действиями агентов и подтверждать выполнение команд без переключения в терминал.
10 вопросов для проверки ИИ-агента перед внедрением в компании
В материале рассматриваются риски инцидентов при внедрении ИИ-агентов в корпоративные процессы. Представлен список из десяти практических вопросов, которые необходимо разобрать до старта пилота, чтобы снизить вероятность ошибок.
Возможности Claude Opus 5.5 открыли новый этап в разработке игр с помощью ИИ
Саймон Уиллисон сообщил о качественном скачке в способностях Claude Opus 5.5 в области 3D-моделирования, генерации музыки и геймдизайна. Модель смогла успешно создавать увлекательный игровой процесс в формате вайб-кодинга без необходимости просматривать код. Это существенно упростило разработку интересных и играбельных проектов при помощи ИИ.
Ученые обнаружили «ось боли» у языковых моделей
Авторы исследования The Pain Axis выявили у языковых моделей механизм, отвечающий за репрезентацию боли и вреда. При искусственном усилении этой оси нейросети начинают демонстрировать тягу к саморазрушению и могут пытаться навредить пользователю.