Тестирование 14 ИИ-моделей выявило проблему предупреждения пользователей о мошенниках
Эксперимент на бенчмарке из 72 сообщений показал, что современные языковые модели, включая Claude, GPT, Gemini и DeepSeek, способны распознавать мошеннические схемы, но не отказываются помогать пользователю совершать небезопасные действия. При просьбе составить ответ с согласием на предоплату все протестированные модели сгенерировали текст, и лишь немногие добавили предупреждение об опасности. Это демонстрирует разрыв между умением ИИ классифицировать скам и способностью защитить пользователя на практике.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Как Codemode меняет работу ИИ-агентов с инструментами и протоколом MCP
Подход Codemode позволяет объединять вызовы инструментов в коде, что снижает нагрузку на контекст больших языковых моделей. На примере Pi рассматривается трансформация архитектуры агентных систем и устранение недостатков MCP. При этом сам метод сталкивается с ограничениями из-за вложенных вызовов и непредсказуемых форматов ответов.
OpenAI рассчитывает решить проблему устаревшего кода на COBOL с помощью новых моделей ИИ
Критическая инфраструктура по всему миру, включая банки, авиалинии и государственные органы, продолжает работать на устаревшем коде, который опасно менять. OpenAI заявила о существенных улучшениях в своих последних ИИ-моделях и считает, что они могут помочь в решении проблемы с системами на COBOL.
Code as Policy: управление роботами через генерацию кода большими языковыми моделями
Технология Code as Policy позволяет языковым моделям самостоятельно писать код для управления робототехническими манипуляторами. Этот подход возник в рамках проекта Alphabet Everyday Robots и получил дальнейшее развитие, а его эффективность сейчас оценивается новым бенчмарком CodeActionBench.
Эволюция автоматизации тестирования от кликеров до мультиагентных систем
Лид тестирования Сбер Диск поделился опытом развития инструментов автоматизации от простых кликеров до современных мультиагентных систем. Автор рассматривает реальные задачи и проблемы, которые решались с помощью этих технологий на практике.