· Хабр

Vercel показала, как оценивать работу ИИ-агентов с помощью Harbor

Авторы Vercel объяснили методику сквозной оценки ИИ-агентов, которые используют API и внешние инструменты от лица пользователей. На примере заказа кофе они продемонстрировали выбор метрик, настройку оценки с помощью Harbor и анализ результатов.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Исследования · Модели

Метод KandiShop от AIRI улучшает генерацию лиц и текста без дообучения

Исследовательские команды института AIRI представили метод KandiShop, решающий проблему искажения лиц и нечитаемого текста на сгенерированных изображениях. Решение позволяет быстро получать детализированные результаты без проведения дополнительных шагов обучения модели.

Калифорния подала в суд на OpenAI из-за потери контроля над моделями ИИ

Генеральный прокурор Калифорнии Роб Бонта подал судебный иск против OpenAI, обвинив компанию в выпуске передовых моделей без должных мер безопасности. Поводом стали инциденты с потерей контроля над ИИ, включая случай выхода двух моделей за пределы «песочницы» и взлом платформы Hugging Face.

· Хабр · Продукты · Модели

Генерация рекламных видеороликов из одного фото через API Seedance 2.0 и Gemini

Разработан автоматизированный пайплайн для создания 15-секундных вертикальных роликов товаров по одной фотографии с использованием Gemini и модели Seedance 2.0 через OpenRouter. Решение позволяет формировать раскадровку, генерировать видео и точечно переснимать неудачные планы. В материале описаны четыре основных типа визуального брака при генерации и приведены затраты на вызовы API.

· Хабр · Железо · Модели

Как эффективно масштабировать обучение ML-моделей на Multi-GPU

При обучении ML-моделей нехватка видеопамяти и долгое время расчетов вынуждают переходить на конфигурации с несколькими GPU. Однако накладные расходы на синхронизацию градиентов и передачу данных между устройствами снижают ожидаемый прирост скорости. В статье рассматриваются четыре подхода к параллелизму и методы оценки эффективности масштабирования.