Подходы к оценке агентных систем и калибровке LLM-судей
Представлен практический разбор методологии оценки агентных систем с переходом к измеримым метрикам. Автор рассматривает проверку траекторий вызова инструментов, настройку LLM-судей и правила привлечения асессоров. Описанный подход объединен в пайплайн с контрольными гейтами перед релизом функционала в продакшен.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опыт тестирования девяти ИИ-моделей для автоматического ревью кода
Разработчик проекта Чароит протестировал девять моделей, включая Gemini, DeepSeek, Qwen, Sonnet и Opus, для проверки кода перед мержем. Доступ к моделям осуществлялся через Fireworks, OpenRouter и Nebius, а вердикты Sonnet дополнительно анализировала Haiku. В материале представлены замеры качества работы моделей и критерии финального выбора.
Исследователь из Goodfire предложил новый взгляд на природу нейросетей
Исследователь ИИ-стартапа Goodfire Ник Каммарата опубликовал масштабный материал о принципах работы нейронных сетей. Его заявления вызвали широкий резонанс и активные дискуссии в профессиональном сообществе. Автор публикации утверждает, что ранее индустрия неверно интерпретировала природу работы нейросетей.
Разработка синтаксиса языка Nova в диалогах с Claude
Создатель нового бэкенд-языка программирования Nova поделился опытом совместного проектирования синтаксиса с моделью Claude. Публикация включает разбор 11 споров об архитектурных решениях и чек-лист о том, когда разработчику стоит соглашаться или спорить с ИИ.
Клоны игр на базе ИИ вынуждают инди-разработчиков скрывать свои проекты
Инди-разработчики опасаются публично показывать свои проекты из-за риска создания их клонов с помощью искусственного интеллекта. Задержка демоверсии для фестиваля Steam Next Fest стала показателем нарастающей проблемы для создателей независимых игр.