Разбор модели Jev: что известно о новой ИИ-системе
В материале рассматривается модель Jev, вызвавшая активные обсуждения в сообществе специалистов по ИИ. Автор разбирает возможности новой системы, решаемые ею задачи и основания для перевода рабочих процессов на это решение.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Проблема согласованных ошибок в коде и тестах от ИИ-агентов
При генерации кода и тестов ИИ-агент может перенести одинаковые ошибки в обе части, из-за чего некорректный патч успешно проходит проверки. Непонимание исходных требований сохраняется на всех этапах работы модели. Впоследствии это усложняет отладку, так как исправление реализации приводит к падению зависимых тестов.
Опыт автоматизации проверки товаров с помощью Jev вместо стандартных LLM
Интернет-магазин компьютерной техники использовал решение Jev для автоматической проверки новых товаров. Это позволило устранить бэклог из 100 тысяч заявок и сократить бюджетные расходы на 90% по сравнению со стандартными LLM.
Как тестировать и выбирать LLM под прикладные рабочие задачи
Руководитель проектов по внедрению систем на базе ИИ описал подход к тестированию языковых моделей на реальных рабочих задачах. Автор отмечает, что публичных бенчмарков недостаточно, поэтому для оценки работы с кодом и сложными документами необходимы собственные критерии приёмки.
MIT Technology Review: большие языковые модели не способны к рассуждению
Соавтор системы AlphaGo вспоминает знаменитый 37-й ход программы во второй партии матча по игре в го в марте 2016 года, который комментаторы посчитали ошибочным. На основе опыта создания подобных алгоритмов автор рассуждает о пределах возможностей ИИ и утверждает, что большие языковые модели не обладают навыком логического мышления.