Как эффективно масштабировать обучение ML-моделей на Multi-GPU
При обучении ML-моделей нехватка видеопамяти и долгое время расчетов вынуждают переходить на конфигурации с несколькими GPU. Однако накладные расходы на синхронизацию градиентов и передачу данных между устройствами снижают ожидаемый прирост скорости. В статье рассматриваются четыре подхода к параллелизму и методы оценки эффективности масштабирования.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Калифорния подала в суд на OpenAI из-за потери контроля над моделями ИИ
Генеральный прокурор Калифорнии Роб Бонта подал судебный иск против OpenAI, обвинив компанию в выпуске передовых моделей без должных мер безопасности. Поводом стали инциденты с потерей контроля над ИИ, включая случай выхода двух моделей за пределы «песочницы» и взлом платформы Hugging Face.
Генерация рекламных видеороликов из одного фото через API Seedance 2.0 и Gemini
Разработан автоматизированный пайплайн для создания 15-секундных вертикальных роликов товаров по одной фотографии с использованием Gemini и модели Seedance 2.0 через OpenRouter. Решение позволяет формировать раскадровку, генерировать видео и точечно переснимать неудачные планы. В материале описаны четыре основных типа визуального брака при генерации и приведены затраты на вызовы API.
Vercel показала, как оценивать работу ИИ-агентов с помощью Harbor
Авторы Vercel объяснили методику сквозной оценки ИИ-агентов, которые используют API и внешние инструменты от лица пользователей. На примере заказа кофе они продемонстрировали выбор метрик, настройку оценки с помощью Harbor и анализ результатов.
Сравнение видеомоделей Seedance 2.5 Flash и флагмана от ByteDance
Быстрая версия видеомодели Seedance 2.5 Flash от ByteDance генерирует ролики втрое быстрее флагмана и расходует на 35% меньше токенов. Тестирование на тестовых сценах показало сопоставимое качество, при этом в части задач Flash превзошла флагман. Автор материала рекомендует использовать облегченную версию для черновиков, а финальные ролики доверять флагманской модели.