Анализ поверхности атаки и AI Red Team для защиты приложений на базе LLM
С появлением приложений на базе LLM для обеспечения безопасности требуется не только проверка кода и инфраструктуры, но и тестирование работающего AI-интерфейса. AI Red Team проверяет поведение модели под воздействием атакующих запросов и измеряет устойчивость к нежелательному контенту. Такой подход позволяет отслеживать регрессии между версиями и встраивать защиту ИИ-функций в инженерный цикл разработки.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Как настроить ИИ-агента для написания мобильных E2E-тестов по стандартам проекта
Инженер Авито представил подход к созданию мобильных E2E-тестов для iOS и Android с помощью ИИ-агентов без потери качества. Решение оформлено как универсальный скилл, который генерирует компилируемый код на Swift и Kotlin с учетом инфраструктуры конкретного репозитория. Это позволяет автоматизировать рутину и получать воспроизводимые тесты вместо разрозненных фрагментов кода.
Агентный ИИ: как языковые модели переходят от генерации текста к решению задач
Автор обобщил материалы своих выступлений в РАН и ТулГУ, посвященных развитию агентного искусственного интеллекта. В статье рассматриваются архитектура автономных агентов, способы их координации, а также отличия таких систем от стандартных языковых моделей. Особое внимание уделено применению ИИ-агентов в научных исследованиях и вопросам доверия к результатам их работы.
Lenta Tech запустила MCP-сервер для покупок через ИИ-помощников
Команда Lenta Tech подключила официальный MCP-сервер, который позволяет нейросетям обращаться к каталогу товаров сети «Лента». Пользователи могут искать продукты прямо через диалог с ИИ в приложениях с поддержкой протокола MCP. Интеграция выполняется добавлением адреса сервера в клиентскую программу.
Anthropic запустила бета-тест Claude Meetings для Google Meet
Anthropic начала бета-тестирование функции Claude Meetings, которая подключает ассистента к видеозвонкам отдельным участником. Во время созвона агент следит за разговором, конспектирует его и выполняет поручения в реальном времени. На текущий момент сервис работает только с Google Meet.