Testence: автоматизация создания автотестов с помощью ИИ-агента
Разработчик представил Testence — инструмент для передачи рутинных проверок интерфейса ИИ-агенту. Решение нацелено на создание автотестов, которые в дальнейшем могут выполняться автономно. При этом автор поднял вопрос точности и релевантности сформированных моделью проверок.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Kokoc Performance представила руководство по продвижению сайтов в нейросетях
Команда Kokoc Performance подготовила пошаговый план по GEO — продвижению ресурсов в поисковой выдаче нейросетей. Руководство описывает этапы работы, методы сбора данных и способы оценки результатов. Эксперты отмечают перспективность канала на фоне постепенного смещения поисковых запросов пользователей из классических поисковиков в генеративные AI-сервисы.
Проверка корректности работы RAG-систем после восстановления от сбоев
После системных сбоев ИИ-помощники могут выдавать ответы на основе устаревших документов, некорректно восстанавливать отозванные права доступа и дублировать ранее совершенные действия. В материале рассматриваются способы валидации и предотвращения подобных ошибок при восстановлении RAG-приложений.
Qwen2.5-1.5B обучили извлечению сущностей из документов на уровне 14B-модели
Разработчики обучили компактную нейросеть Qwen2.5-1.5B распознавать сущности в судебных актах с макро-F1 0.70, приблизившись к результату Ministral 3 14B с 0.71. На видеокарте A5000 решение обрабатывает документы в 2.2 раза быстрее, чем 14B-модель на A100. Такой подход позволяет юристам анализировать конфиденциальные дела локально без внешних API и дорогого оборудования.
Методы выявления галлюцинаций и ошибок контекста в RAG-системах
RAG-системы могут формировать уверенный ответ со ссылкой на документ, который фактически не использовался при генерации. За таким поведением могут стоять сбои retrieval, игнорирование контекста или использование параметрической памяти модели. В материале рассматривается, как проверять причинную связь между контекстом и ответом и определять проблемный этап пайплайна.