ИИ как судья: ограничения и особенности взаимной оценки нейросетей
Использование одной нейросети для оценки ответов другой модели помогает автоматизировать масштабные проверки, однако модель-судья подвержена аналогичным ошибкам. В материале рассматриваются уязвимые места метода LLM-as-a-judge и правила построения системы оценки для получения корректных результатов.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Миграция генерации видео с Veo 3.1 на Gemini Omni Flash в Gemini API
Google отключает preview-версии модели Veo 3.1 в Gemini API и предлагает перейти на Gemini Omni Flash. Новая модель отличается архитектурой запросов, схемой передачи изображений и отсутствием параметра длительности. В материале рассмотрены особенности адаптации API, сравнение качества генерации и расчет стоимости клипов.
Использование игровых комплектующих для сборки серверов машинного обучения
Инженер ЦОД рассмотрел возможность сборки сервера на базе потребительского железа для задач локального машинного обучения, инференса и обработки данных. В материале приводится сравнение такой конфигурации с серверными решениями, а также анализируются риски и экономическая целесообразность подобного подхода.
Модель GigaAM-v3 дообучили для лучшего распознавания IT-терминов
Разработчики сервиса диктовки Glas дообучили модель распознавания речи GigaAM-v3 на 25 часах аудио. На тестовых записях метрика WER снизилась с 8,81% до 5,76%, а доля правильного написания IT-терминов выросла с 43,8% до 86,7%. При этом в бета-версии участились пропуски слов и ухудшилась расстановка регистра и знаков препинания на обычной речи.
Интеграция RAG и агента для поиска по документации в Рунити
Центр гибридного интеллекта Рунити развил корпоративный RAG-поиск по страницам Confluence до уровня рабочего агента для разработчиков. Инженеры столкнулись с проблемами проверки прав доступа и долгого ожидания ответов при объединении поиска и LLM-агента. Решение призвано облегчить доступ к внутренней архитектуре и задачам в Jira непосредственно во время работы с кодом.