Эксперимент: приемы промптинга не улучшили качество решения задач по Python
Автор протестировал шесть популярных приемов промпт-инжиниринга на 30 задачах по Python с участием трех языковых моделей. Ни одна из формулировок, включая указание роли сеньора и пошаговые рассуждения, не показала заметного влияния на процент успешно пройденных тестов. При этом некоторые фразы существенно изменили объем выходных токенов: требование писать тесты увеличило его до 4,4 раз, а запрос только кода сократил на 10–46%.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
PromptBeats: браузерный сервис для создания музыки по промптам
Разработчики представили хакатон-проект PromptBeats — браузерное приложение для генерации музыки. В сервисе можно вручную набросать начальную мелодию, а затем развивать ее с помощью текстовых промптов.
Проблемы дефолтного Feature Importance в LightGBM при отборе признаков
При разработке автономного ML-агента для табличных данных возникли проблемы с отбором признаков через стандартный feature_importances_ в LightGBM. Несмотря на снижение размерности, качество модели по метрике RMSE ухудшилось, так как агент удалил важные признаки.
Как составлять понятные спецификации для разработки с AI-агентами
Архитектор решений Алексей Соболеков рассмотрел подходы к формированию понятных спецификаций в агентской разработке. В материале отмечены частые проблемы избыточной детализации и оторванности от контекста системы, мешающие человеку воспринимать архитектурные решения.
Правовые последствия внедрения ИИ-агентов в судебную практику и разработку
Верховный суд РФ планирует использовать ИИ для генерации большинства проектов судебных решений с их последующим утверждением без существенных правок. При этом код, созданный автономными агентами, не защищается действующим авторским правом, а доступность технологий упрощает массовую рассылку юридических претензий.