Особенности проектирования сети для ИИ-нагрузок и распределенного обучения
При распределенном обучении моделей недооценка сетевой архитектуры приводит к задержкам и простою GPU-кластеров. В материале рассматриваются ограничения стандарта InfiniBand и его сравнение с RoCEv2. Также описан опыт решения сетевых задач при создании комплекса «Скала^р МИИ».
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Авито рассказала о внедрении LLM в модерацию объявлений
Команда Авито поделилась опытом внедрения больших языковых моделей в процесс проверки объявлений. В публикации описано, какую инфраструктуру потребовалось построить вокруг модели, чтобы решение выдержало продакшн-нагрузки.
Опыт применения ИИ для управления техническим долгом в легаси-проектах
Вопреки мнению о неэффективности искусственного интеллекта в устаревших системах, технологии применяются для модернизации существующего кода. Лид группы проектов компании «Совкомбанк Технологии» рассказала о практике использования ИИ для закрытия технических задач и систематического рефакторинга.
НЛМК ИТ переписала legacy-систему с помощью команды ИИ-агентов
Компания НЛМК ИТ применила ИИ-агентов под управлением одного инженера для миграции устаревшей системы на новую платформу. В результате трудозатраты на этапе разработки сократились в 10 раз. После завершения миграции ИИ-агента интегрировали в новую систему для постоянной поддержки пользователей.
Разработка ИИ-системы для автоматической обработки заказов в DIY-ритейле
Компания Рафт разработала end-to-end ИИ-систему для автоматической обработки неструктурированных заявок от клиентов в DIY-ритейле. Решение разбирает входящие письма, таблицы и PDF-файлы, подбирает нужные товары и формирует готовое коммерческое предложение. В материале рассматриваются подходы к оптимизации затрат на LLM и результаты проверки гипотез.