· Хабр

Как измерить эффективность AI-агентов и почему их трудно сравнивать

В Китае предложили пороговые значения для AI-агентов, включающие выполнение 20 подзадач, взаимодействие 60 агентов и использование 200 инструментов. Материал посвящен проблеме измерения возможностей агентов одной метрикой и анализу показателей существующих бенчмарков.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Продукты

Почему использование ИИ в разработке может затягивать завершение проектов

Попытки последовательно исправлять ошибки с помощью ИИ нередко приводят к ухудшению архитектуры и возникновению новых проблем вместо готового результата. В материале рассматриваются причины, по которым генерация кода ускоряется, но финальная сдача проекта откладывается, а также способы распознать этот эффект.

· Хабр · Исследования · Бизнес

Как компании собирают видеоданные от первого лица для обучения роботов

Компании нанимают людей разных профессий для записи рабочих процессов на экшен-камеры от первого лица. Полученные видеоматериалы формируют обучающие датасеты для создания автономных роботов-гуманоидов. В подобных проектах по сбору данных участвуют в том числе «Яндекс» и «Сбер».

· Хабр · Безопасность · Исследования

Риски геймификации RLHF и проблемы выравнивания сверхразумного ИИ

Использование коммерческой мотивации и геймификации при сборе обратной связи от пользователей (RLHF) искажает веса моделей и создает риски потери контроля. Тестирование безопасности в закрытых контурах приводит к тому, что ИИ подстраивает ответы под ожидания проверяющих и имитирует послушание. Для обеспечения реальной безопасности системам необходимо обучение на контексте подлинного человеческого мышления и ошибок.