Утечка данных в датасете Ultralytics привела к ложной точности YOLO11n
При дообучении модели YOLO11n на датасете medical-pills от Ultralytics была зафиксирована метрика mAP50 на уровне 0,991. Проверка набора данных показала, что все валидационные кадры имели почти точные копии в обучающей выборке, из-за чего модель оценивала запоминание, а не обобщение. Для выявления подобных утечек автор предложил использовать перцептивное хеширование dHash.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Модель GigaAM-v3 дообучили для лучшего распознавания IT-терминов
Разработчики сервиса диктовки Glas дообучили модель распознавания речи GigaAM-v3 на 25 часах аудио. На тестовых записях метрика WER снизилась с 8,81% до 5,76%, а доля правильного написания IT-терминов выросла с 43,8% до 86,7%. При этом в бета-версии участились пропуски слов и ухудшилась расстановка регистра и знаков препинания на обычной речи.
ИИ как судья: ограничения и особенности взаимной оценки нейросетей
Использование одной нейросети для оценки ответов другой модели помогает автоматизировать масштабные проверки, однако модель-судья подвержена аналогичным ошибкам. В материале рассматриваются уязвимые места метода LLM-as-a-judge и правила построения системы оценки для получения корректных результатов.
Интеграция RAG и агента для поиска по документации в Рунити
Центр гибридного интеллекта Рунити развил корпоративный RAG-поиск по страницам Confluence до уровня рабочего агента для разработчиков. Инженеры столкнулись с проблемами проверки прав доступа и долгого ожидания ответов при объединении поиска и LLM-агента. Решение призвано облегчить доступ к внутренней архитектуре и задачам в Jira непосредственно во время работы с кодом.
Обзор 10 API-роутеров с бесплатным или недорогим доступом к LLM
Опубликован обзор 10 API-роутеров, предоставляющих бесплатные модели, квоты или стартовые бонусы для работы с DeepSeek, GLM, GPT и другими нейросетями. Сервисы протестированы на работу API, лимиты, рублевую оплату и доступность из России без VPN. Материал включает сводные таблицы с условиями платформ, среди которых OpenRouter, VseGPT, RockAPI и другие.