Как открытые LLM работают с длинным контекстом и почему агенты забывают правила
Анализ архитектур современных открытых нейросетей показал, что при заявленном окне в миллион токенов модели обрабатывают контекст выборочно с помощью разреженного внимания или сжатия. Из-за этого качество падает в районе 128–256 тысяч токенов, и автономные агенты перестают следовать исходным инструкциям. Для стабильной работы разработчикам необходимо оптимизировать обвязку: очищать вывод инструментов, подгружать данные по запросу и дублировать критические правила.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Оценка доли сгенерированного контента в интернете по данным исследований
Развитие нейросетей существенно удешевило и ускорило производство текстов, изображений и музыки. На основе существующих исследований анализируется текущая доля ИИ-контента в новостях, книгах и мультимедиа. В материале отмечается проблема перепроизводства синтетических данных и ограничения методов их детекции.
DeepSeek привлекла $15 млрд после введения ограничений США
По сообщениям, DeepSeek привлекла $15 млрд, проведя один из крупнейших раундов финансирования в Китае. Сделка состоялась спустя всего несколько дней после того, как США обязали федеральные агентства отказаться от технологий компании из соображений национальной безопасности.
1Password представил функцию для авторизации ИИ-агентов без передачи паролей
1Password анонсировал инструмент 1Password for Agents, который позволяет ИИ-агентам входить в аккаунты пользователей, не раскрывая им сами пароли. Сервис не предоставляет ботам полный доступ ко всем подключенным учетным записям, требуя подтверждения каждого запроса на вход от пользователя.
AI-агенты выходят в онлайн-ритейл, но продавцы относятся к ним с осторожностью
Технологические компании продвигают ИИ-агентов как персональных ассистентов для совершения онлайн-покупок. Однако на практике опыт взаимодействия с ними пока неоднозначен, а некоторые ритейлеры с осторожностью относятся к автоматизированному шопингу.