OpenAI отозвала рекомендацию по бенчмарку SWE-Bench Pro из-за ошибок в тестах
OpenAI отозвала рекомендацию оценивать ИИ-агентов для программирования по SWE-Bench Pro, признав наличие ошибок примерно в 30% задач. Ранее компания также отказалась от SWE-bench Verified из-за утечки заданий в обучающие выборки моделей. На фоне кризиса доверия к существующим тестам исследователи NVIDIA занялись изучением новых подходов к оценке кодовых моделей.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
В SymbioWay разрешили использовать ИИ-агентов на технических собеседованиях
Кандидаты все чаще применяют скрытые ИИ-суфлеры и LLM на онлайн-интервью, из-за чего классический лайвкодинг и типовые алгоритмические задачи теряют смысл. В компании SymbioWay решили официально разрешить использование нейросетей, изменив задания так, чтобы проверить архитектурные навыки и глубокое понимание кода.
ИИ написал алгоритм для прохождения классического Арканоида по картинке с экрана
Нейросеть Claude проанализировала экран DOS-игры 1988 года без использования API и написала автономную программу для ее прохождения. Созданный алгоритм сумел успешно победить финального босса во всех тестовых партиях. Автор проекта продемонстрировал реализацию концепции Software 3.0 Андрея Карпатого на практическом примере.
Инфостарт представил подборку кейсов по внедрению ИИ в разработку на 1С
Сообщество Инфостарт опубликовало дайджест материалов с практическими примерами использования искусственного интеллекта в экосистеме 1С. Публикации освещают подключение ИИ-агентов, автоматизацию написания кода и ускорение рабочих процессов специалистов.
Проблема коммерциализации знаний и разделения труда с ИИ
В публикации анализируется, как инструменты систематизации знаний и ИИ-модели используются для ограничения доступа людей к информации. Автор сравнивает коммерциализацию общедоступных знаний с сюжетом романа «Продавец воздуха». В статье также рассматриваются варианты более разумного разделения труда между людьми и моделями.