· Хабр

Период полураспада бенчмарков для ИИ сократился с 38 до 19 месяцев

Анализ 224 бенчмарков от девяти ведущих ИИ-лабораторий показал, что средний срок их актуальности снизился в два раза. Для тестов, вышедших после 2023 года, период полураспада составляет всего 19 месяцев из-за возросшей скорости развития моделей. При этом каждый седьмой бенчмарк выходит из строя из-за внутренних дефектов, а среди агентных сред этот показатель достигает половины.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Исследования · Бизнес

Опыт перехода на агентскую разработку: как изменилось количество багов

Тимлид перевел две продуктовые команды на агентскую разработку, полностью отказавшись от ручного написания кода на шесть месяцев. Анализ 268 дефектов за год показал, что объем выпускаемого кода вырос втрое, однако и количество пропущенных инженерных багов ощутимо увеличилось.

· Ars Technica · Модели · Продукты

Gemini 4 Argon выходит в приложении Gemini и Antigravity для платных пользователей

В приложении Gemini и сервисе Antigravity началось развертывание Gemini 4 Argon, доступное исключительно платным пользователям. Для разработчиков до конца ноября действует скидка 50% на тарифы API.